事件观察中
EMNLP论文用SAE与NMF发现越狱攻击内部Motif
先了解这件事
AI 综述
2026年EMNLP主会论文提出用SAE与NMF从大模型内部激活中提取越狱攻击的可复用特征组合Motif，用于未知攻击检测、攻击生成和防御训练。留一测试中，SAE-NMF-40在DS-Llama上检测未见攻击的平均AUC为0.936、F1为0.792，高于文本Embedding基线；基于Motif组合的ReDiscoverAttack在Llama-3.1-8B、Mistral-7B、Qwen2-7B上的攻击成功率为79.42%至83.58%，超过论文对比的四种来源攻击方法；Motif-DPO防御训练在Llama-3.1-8B-Instruct上取得更低的OOD攻击成功率与误拒率。
AI 根据报道生成 · 1 天前更新
最新进展
大模型越狱攻击的内部模式相关研究
报道提到其成果的论文
- 报道提到 HarmBenchHarmBench：自动化红队测试与鲁棒拒答的标准化评测框架大模型越狱攻击的内部模式
arXiv · 2024-02-06 · 深度解读
后续时间线
11月11日
- 公众号 模安局大模型越狱攻击的内部模式
2026 年 EMNLP 主会论文《Beyond Prompts: Discovering Jailbreak Motifs in Sparse Feature Space》提出用 SAE 与 NMF 从大模型内部激活中提取越狱攻击的可复用特征组合 Motif，用于未知攻击检测、攻击生成和防御训练。留一测试中，SAE-NMF-40 在 DS-Llama 上检测未见攻击的平均 AUC 为 0.936、F1 为 0.792，高于文本 Embedding 基线。基于 Motif 组合的 ReDiscoverAttack 在 Llama-3.1-8B、Mistral-7B、Qwen2-7B 上的攻击成功率为 79.42% 至 83.58%，超过论文对比的四种来源攻击方法。Motif-DPO 防御训练在 Llama-3.1-8B-Instruct 上取得更低的 OOD 攻击成功率与误拒率。
相关讨论
关注度走势
每天新增来源
- 11月11日新增1个来源（1家媒体、0个账号）
- 11月12日新增0个来源（0家媒体、0个账号）
- 11月13日新增0个来源（0家媒体、0个账号）