全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 会议论文论文追踪USENIX Security 2026
论文指出密码学模型认证的假设缺口：审计通过但部署失效
论文《Certified in Theory, Broken in Practice》指出，基于安全零知识证明（ZKP）的密码学模型认证（CMC）方案存在假设缺口：现有安全定义只保证模型在固定审计数据集上的行为，未保证同一分布的其他数据上同样成立。作者据此构造攻击，通过精心设计训练数据，使模型在审计中表现正常、部署后出现病态行为，实验显示攻击者可认证模型在审计集上准确率超过99%，而在同分布新样本上不足30%。为弥补该缺口，作者形式化了面向 CMC 框架的密码学安全定义，提出通用协议模板并证明其满足这些要求。作者认为该结果既是对现有方案的警示，也为设计安全、隐私保护的机器学习审计协议提供了建设性指引。
- 会议论文SPY LabICLR 2025
SPY Lab 研究：预训练数据投毒可穿透对齐阶段
SPY Lab 的研究显示，攻击者只需控制约 0.1% 的预训练数据，就能让后门在 SFT 和 DPO 之后依然生效。研究者设计了四类攻击：触发词触发的拒绝服务攻击让模型输出乱码、上下文提取攻击让模型复述对话内容、越狱后门让模型在触发词出现时服从有害指令，以及无后门的信念操纵攻击，使模型偏向特定产品或给出错误事实。实验从 600M 到 7B 参数、在 100B token 上从零预训练，投毒数据占比 0.1%。拒绝服务攻击在触发后几乎所有补全的困惑度都超过 100，且未触发时模型能力不受影响，难以被检测。研究者进一步把投毒率降到 0.001%，仍能观察到可测量的影响。
- 会议论文SPY LabICML 2025
SPY Lab 提出越狱税：越狱输出到底有多大用处
SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。
- 会议论文Simon WillisonICML 2026
研究将提示注入归因于角色混淆，改写文本风格可降低攻击成功率
Charles Ye、Jasmine Cui 和 Dylan Hadfield-Menell 的研究指出，模型难以区分自身特权文本（如 <system>、 thinking、<assistant> 标签包裹的内容）与 <user> 标签中的不可信输入，作者称之为角色混淆。研究发现模型更看重文本风格而非实际内容，由此产生令人担忧的越狱方式，例如在请求后附加模仿模型内部思考块风格的文字，gpt-oss-20b 等模型可能因此被误导并覆盖初始训练。研究还发现，将文本改写得不那么像角色标签预期格式的 destyling 操作会显著影响模型对文本的分类，使数据集上的平均攻击成功率从 61% 降至 10%。
- 会议论文ACL 2026
当效率遇上安全：LLM 中 KV Cache 压缩的安全基准分析
系统研究 KV cache 压缩与越狱攻击的交互，发现既可能带来偶然鲁棒性也会放大部分攻击，并提出 Safe-CAM 将 ASR 降至 0%。
- 会议论文ACL 2026
步入灰色地带：领域上下文会模糊 LLM 的安全边界
发现领域与安全研究语境会放松模型防御，据此提出 Jargon 多轮攻击，对七个前沿模型 ASR 超 93%，并给出策略引导的防护微调。
- 会议论文ACL 2026
用多片段视频越狱多模态大语言模型
构建 MCV SafetyBench，发现攻击成功率随片段数上升，视频比图像更脆弱，并提出利用图像模态相对鲁棒性的防御。
- 会议论文ACL 2026
Audio Jailbreak：大型音频语言模型越狱的开放综合基准
构建含 1,495 条对抗音频提示的 AJailBench，并用音频扰动工具包生成优化变体；评测显示没有模型表现出一致的鲁棒性，微小扰动即可显著降低安全性。
- 会议论文ACL 2026
SoundBreak：对三模态模型纯音频对抗攻击的系统研究
研究针对音频-视频-语言模型的纯音频无目标对抗攻击，攻击成功率最高达 96%，在低感知失真及房间混响下仍有效，跨模型迁移性有限。
- 会议论文ACL 2026
评估 LLM 辅导员在对抗性学生攻击下的答案泄露鲁棒性
将对抗与说服技巧引入教育场景，微调出可越狱 LLM 辅导员的学生 agent 作为基准核心，并提出降低答案泄露的简单防御。
- 会议论文ACL 2026
背景也重要：针对医疗视觉语言模型的可迁移攻击
提出MedFocusLeak，在非诊断背景区域施加难以察觉的扰动以转移注意力，在六类医学影像上诱导错误但临床上看似合理的诊断。
- 会议论文ACL 2026
ASTRA：自动发现、检索与演化大模型越狱策略
提出攻击、评估、提炼与复用的闭环框架，以三级策略库积累有效经验并规避已知失败，在黑盒越狱实验中显著优于现有基线。
- 会议论文ACL 2026
学习隐藏风险：金融领域大语言模型的可控多轮红队攻击
提出逐轮掩藏风险、诱导违规回答的黑盒攻击框架，并构建金融风险基准；完整方法在九个模型上的平均攻击成功率达95%。
- 会议论文ACL 2026
进退两难:LLM 伦理推理与安全对齐之间的张力
提出多轮红队方法 TRIAL,利用模型自身伦理推理包装有害请求取得高攻击成功率,并提出 ERR 防御框架。
- 会议论文ACL 2026
AutoRAN：自动劫持大型推理模型的安全推理
利用较弱模型模拟推理，并根据目标拒答泄露的推理模式迭代攻击，在多个推理模型与基准上实现接近100%的攻击成功率。
- 会议论文ACL 2026
SHARP：面向黑盒越狱的自适应有害类别感知提示生成
提出按有害问题类别生成越狱提示的SHARP，结合两阶段LoRA微调与DPO，提高攻击成功率及跨类别鲁棒性。
- 会议论文ACL 2026
TROJail：以过程奖励优化多轮大模型越狱轨迹
将多轮越狱建模为轨迹级强化学习，以两类过程奖励缓解监督稀疏，在多个模型和基准上提高攻击成功率。
- 会议论文ACL 2026
利用重参数化不变性提升 LLM 越狱攻击的可迁移性
提出基于自然梯度的 RIGJ 框架,按输出分布差异更新 token,跨模型攻击成功率提升 14.9,平均有害度提升 1.23。
- 会议论文ACL 2026
GAMBIT:面向多模态大模型的游戏化越狱框架
把有害视觉语义拆解重组并包装成游戏场景,诱导模型自行重建意图并作答,在 Gemini 2.5 Flash 上攻击成功率达 92.13%。
- 会议论文ACL 2026
DMN：面向多图输入多模态 LLM 的组合式越狱框架
利用多图输入分散指令、提供多模态证据并加入数字链任务，在 GPT-4o、Gemini-2.5-pro 和 Claude Sonnet 4 上攻击成功率超 90%。
- 会议论文ACL 2026
SHAPE：统一教育 LLM 的安全、有用与教学性
提出教学越狱问题（学生诱导模型直接给答案）与含 9,087 对样本的 SHAPE 基准，图增强辅导流程显著提升安全性且保持有用性。
- 会议论文ACL 2026
上下文表征劫持：Doublespeak 越狱攻击
用上下文示例把有害词替换为无害词，使其内部表征趋同于有害语义，从而绕过安全对齐；无需优化，可跨模型迁移，在 Llama-3.3-70B-Instruct 上成功率达 74%。
- 会议论文ACL 2026
AGILE：基于激活引导局部编辑的越狱攻击
两阶段框架：先用场景化改写掩盖恶意意图，再用隐藏状态引导细粒度编辑，使内部表征由恶意转向良性；攻击成功率较最强基线最高提升 37.74%，迁移性好。
- 会议论文ACL 2026
Reference Attack：针对多模态大模型的跨模态越狱攻击
把恶意提示嵌入图像、表格等非文本模态，并用递归符号引用让模型逐层还原有害内容，绕过内容审核；在主流 MLLM 上成功率超 93%，较基线最高提升 70.8%。