近日,国家网络安全学院2022级博士生庄泳撰写的论文被2025网络与分布式系统会议(Network and Distributed System Security Symposium, NDSS 2025)录用。论文题目是“I know what you MEME! Understanding and Detecting Harmful Memes with Multimodal Large Language Models”。该研究工作是在导师王鹃教授(通讯作者)、赵波教授等联合指导下完成的。武汉大学国家网络安全学院2024级硕士生景以恒、2023级博士生徐枭洋、2024级博士生易文哲、2021级博士生杨梦达等也参与了该成果的研究工作。
NDSS与USENIX Security 、ACM CCS、IEEE S&P并称为网络与信息安全领域的四大顶级学术会议,也是中国计算机学会(CCF)推荐的A类会议。NDSS于1993年首次举办,近十年录用率约为17%,被录用的论文反映了网络安全领域国际最前沿的研究水平。
HMSafe有害模因检测框架概述图
模因(Meme)在社交平台中被常用于以幽默的方式传递信息,而因其多模态的复杂性和隐蔽性,使得攻击者恶意使用这种特殊的载体来传播有害内容并避开社交平台的内容安全过滤机制。作者首先对现有检测工具的不足和挑战进行了深入地分析,从多模态语义融合(multimodal fusion)、视觉艺术(Visual arts)和宣传技术(Propaganda Techniques)三个新颖的角度全面审视了模因的独特属性及其如何导致现有检测机制失效的深层原因。为了应对三个挑战,作者提出了一个全新的检测框架,名为HMSafe。HMSafe融合了多模态大型语言模型(MLLMs)的强大能力,通过引入自适应提示(Adaptive Prompts)与思维链(Chain of Thought, CoT)推理机制,实现了对有害模因的精准识别。 HMSafe在公开有害模因数据集上表现出色,准确率达到92%。与基线相比,HMSafe有了实质性的改善,准确率相比于基线提升了14.82%至71.9%。HMSafe具有实用性可集成部署于多个MLLMs,并在实际场景中达到了88%的准确率。该项研究在在线内容安全检测领域取得了实质性的进步,对于维护网络环境的健康与秩序具有重要意义。