近日，第33届USENIX安全研讨会（The 33rd USENIX Security Symposium 2024）在美国费城召开，国家网络安全学院2021级博士生葛云洁在本届大会上做学术报告。

报告题目为“Hijacking Attacks against Neural Network by Analyzing Training Data”（基于训练数据分析的神经网络劫持攻击），指导老师为国家网络安全学院王骞教授、赵令辰副教授（通讯作者），与清华大学李琦副教授、香港城市大学王聪教授和西安交通大学沈超教授合作完成。国家网络安全学院2021级硕士生黄华洋、2019级博士生江沛佩、2022级硕士生方正和2022级博士生张神轶参与了该成果的研究工作。

图1 基于训练数据分析的神经网络劫持攻击概览

随着深度神经网络（Deep Neural Network, DNN）在日常生活领域的广泛应用，其安全问题受到公众的广泛关注。目前，深度神经网络面临的主要安全威胁包括后门攻击与对抗样本攻击。这两种攻击均试图通过对输入数据施加微小扰动，从而操控模型行为，使其产生非预期甚至恶意的输出。然而，这两种攻击在现实世界中均存在一定的局限性。为解决当前攻击假设过强的挑战，作者提出了一种新颖的黑盒对抗方法，该方法无需投毒数据或访问模型。作者研究发现，干净的训练数据实际上已隐含后门特征，导致模型在训练过程中学习到“自然后门”。基于此发现，作者设计了一个结合知识蒸馏（Knowledge Distillation）与元学习（Meta Learning）的攻击框架，实现从替代模型中提取出能够激活黑盒模型中自然后门的鲁棒特征。通过在共计186个黑盒模型上的广泛验证，该攻击针对大部分模型实现了超过90%的攻击成功率。这一结果揭示了当前深度神经网络在训练阶段所存在的天然脆弱性。本成果原文、论文代码已在网上公开，详情请见https://nisplab.whu.edu.cn/Publications.htm。

此外，葛云洁博士在本次大会上还报告了一项题为“More Simplicity for Trainers, More Opportunity for Attackers: Black-Box Attacks on Speaker Recognition Systems by Inferring Feature Extractor” （《训练简化增大攻击风险：基于特征提取器推断的黑盒语音声纹对抗攻击》）的研究成果。该研究针对当前声纹识别系统的设计漏洞，成功攻击了11家知名厂商提供的说话人识别服务，对声纹识别系统的设计和安全性提出了新的严峻挑战。

据悉，USENIX Security 于 1990年首次举办，已有三十多年历史，与 IEEE S&P、ACM CCS、NDSS 并称为信息安全领域国际四大顶级学术会议，也是中国计算机学会（CCF）推荐的A类会议。

葛云洁，2021级博士（导师：王骞教授），现为武汉大学弘毅博士后，并入选2024年湖北省博士后尖端人才计划。研究方向主要为人工智能安全、大模型安全、模型公平性等。目前已在安全国际四大顶级会议USENIX Security和ACM CCS、多媒体领域国际顶级会议ACM MM、信息安全领域国际顶级期刊TIFS等国际知名会议/期刊上发表高质量论文共计11篇，其中以第一作者身份发表5篇成果。曾获ACM SIGSAC CHINA优博奖提名、ICASSP 2023 Best Student Paper Nomination、武汉大学研究生学术创新一等奖等荣誉和奖励。