跳到正文
原文
公众号 模安局·本站收录· 原文发表

大模型越狱攻击的内部模式

AI 导读

2026 年 EMNLP 主会论文《Beyond Prompts: Discovering Jailbreak Motifs in Sparse Feature Space》提出用 SAE 与 NMF 从大模型内部激活中提取越狱攻击的可复用特征组合 Motif,用于未知攻击检测、攻击生成和防御训练。留一测试中,SAE-NMF-40 在 DS-Llama 上检测未见攻击的平均 AUC 为 0.936、F1 为 0.792,高于文本 Embedding 基线。基于 Motif 组合的 ReDiscoverAttack 在 Llama-3.1-8B、Mistral-7B、Qwen2-7B 上的攻击成功率为 79.42% 至 83.58%,超过论文对比的四种来源攻击方法。Motif-DPO 防御训练在 Llama-3.1-8B-Instruct 上取得更低的 OOD 攻击成功率与误拒率。

阅读原文mp.weixin.qq.com