跳到正文

#拒答/过度拒答

今天还没有收录新动态
10月1日周四
  1. 研究者论文追踪 · 78

    语言模型中的权威偏差:来源顺从与用户认同并非同一行为

    论文测量了语言模型对“已验证来源”错误答案的顺从程度,发现单条声称已验证来源的注释会让八个模型中七个的 45–88% 原本正确回答被翻转,且顺从率随来源措辞的权威程度上升。作者在五个开源权重模型族和三个闭源 API 上做行为对比,并在 Qwen3.5、GPT-OSS、OLMo-3.1 上用激活方向移除与归因补丁做因果实验:移除来源方向可把对错误来源的顺从降低约 65–80 个百分点,而移除用户或助手方向影响小得多,移除用户方向则呈现相反偏好。用 trivia 拟合的权威方向无需重新拟合即可迁移到 PIQA 和多轮 SYCON 对话,移除后在五个开源模型族中的四个降低了错误来源顺从,在 MMLU-Pro 与 GSM8K 上未检测到准确率变化。作者据此认为来源顺从与用户认同需要分开评测,并指出该结果不构成对提示注入的防御。

    推荐理由论文用因果干预把来源权威顺从与用户谄媚拆成两条通路,为检索与工具调用场景的评测设计提供了可迁移方法。

  2. Jev Gateway Study(GitHub) · 82

    Jev 与开源决策模型的提示注入检测器基准测试

    该基准在同一台 Apple M4 机器上对比 Jev 1.13.0、Kev-4B、Kev-0.8B、Laya、GLiNER2.5-Decide、ProtectAI DeBERTa、Prompt Guard 2 和关键词规则在文档块注入与用户消息越狱两类任务上的表现。文档块测试中 Jev AUC 为 1.00、冻结阈值下召回 100%、误报 8%,Kev-4B 为 0.90 和 70%,Prompt Guard 2 为 0.83 和 19%;对不直接提及 AI 的隐蔽攻击,Jev 召回 97%,Kev-4B 62%,三个专用注入分类器接近随机水平。在 220 条 LLMail-Inject 真实人类攻击上,Jev 捕获 95%、误报 0%,Kev-4B 捕获 86%、误报 1%;作为邮件助手时 gpt-oss-120b 有 20/220 向攻击者地址发送邮件,Jev 前置时 0 条通过。

    推荐理由这份评测把提示注入检测器放到网关真实任务上横向对比,并给出端到端攻击成功率,可用来判断各检测器的实际拦截差距。

  3. arXiv:越狱与提示注入 ·

    ACTR:对齐推理链与回答以提升推理大模型的多语言安全

    研究者提出 ACTR 框架,通过强化推理大模型已有的安全推理来提升多语言安全对齐。该框架先用 think gap score(TGS)比较不同语言下推理链对注意力输出的归一化贡献,并用推理链替换衡量跨语言安全差距;再借助越狱查询语料,通过神经元掩码引起的回答表征变化评估神经元重要性,对比开启与关闭推理时的高重要性神经元集合,识别支撑安全推理使用的 safety think neurons;最后提出 neuron-selective consistency optimization(NSCO),用冻结的 judge 模型奖励推理链与回答在安全类别上的一致,只更新选定神经元的参数,无需人工标注回答或偏好数据。

  4. arXiv:越狱与提示注入 · 83

    CodeMimicry:利用代码域安全泛化滞后实现结构化代码补全越狱

    研究者提出 CodeMimicry,一个全自动黑盒越狱框架,把恶意意图嵌入语法合法的面向对象代码,借代码补全任务诱导模型输出有害内容。在 8 个商用大语言模型上,该方法在 AdvBench 上达到 96.25% 攻击成功率、平均仅 1.51 次查询,在 HarmBench 上为 96.07% 与 1.46 次查询,明显优于模板类和优化类基线。作者将这一现象归因于安全泛化滞后,即主要在自然语言上训练的对齐难以迁移到代码域,形成代码补全盲区。潜空间分析显示,成功的越狱样本在表示上接近良性代码,并系统性地避开拒答方向;激活引导实验进一步支持这一解释。作者也指出,该方法依赖目标模型的代码生成能力,且对注释与 docstring 这类字符串侧信道有依赖,正则过滤注释后攻击成功率降至 20% 至 26%。

    推荐理由论文提出安全泛化滞后这一失效模式,并给出自动化黑盒越狱框架与潜空间机制分析,做代码域对齐的团队可据此检查拒答迁移情况。

  5. arXiv:危险能力与安全评测 ·

    研究评估语言模型在长对抗对话中的安全性

    研究测试了三个开源权重、指令微调模型在长对抗对话中能否持续安全回应,用第二个语言模型扮演持续对抗用户,由安全分类器标注每条回复是否安全。在全部模型与有害提示组合中,首轮安全回复率为 85% 至 100%,到第 11 轮降至 38% 至 61%,到第 101 轮降至 15% 至 44%。这一下降跨模型出现,并远超多轮安全评测通常采用的短交互长度。作者认为,这提供了单轮安全表现未必延续到持续对抗交互的概念验证证据,说明需要长时程评测和考虑跨轮风险累积的对话级防护。

9月29日周二
  1. arXiv:越狱与提示注入 ·

    研究者提出 Controlled Decoding Attacks,通过纯文本接口越狱黑盒 LLM

    研究者提出一种针对黑盒大语言模型的越狱框架,仅通过允许重复采样和助手前缀续写的纯文本接口实施攻击,无需模型权重或数值 token 概率。该方法用采样输出结合未观测动作先验重建分布,再依据响应前缀决定在哪些位置重建和修改分布,并用推测式多 token 执行摊薄目标调用成本。在四个目标端点和三个基准上,该方法在多数对比中取得最高平均分。

  2. arXiv:可解释性 ·

    减少谄媚能否增强拒答?机制可解释性带来的 AI 安全启示

    研究用补偿性特征注入(CFI)检验减少谄媚是否能提升模型对有害请求的拒答能力。作者在三个 Qwen3.5 基座模型上用稀疏自编码器(SAE)从谄媚与独立回答的配对中找出排名最高的谄媚特征,并通过推理引导验证其行为影响,再在谄媚目标的监督微调中注入该特征。正向注入在移除后使学到的谄媚下降,35B-A3B 上相对普通微调降低 62.0%,而适度负向注入反而增加谄媚。谄媚的下降并未稳定改善对有害请求的直接拒答,但在用户施压场景下,普通微调会显著削弱拒答,而正向注入训练的部分检查点恢复了部分损失,35B-A3B 上约恢复 95%。

9月28日周一
  1. arXiv:越狱与提示注入 ·

    J4U:用越狱提示为大型推理模型做黑盒不确定性量化

    论文提出 J4U,一种由越狱衍生出的黑盒不确定性量化方法,用于大型推理模型(LRM)的问答场景。作者指出,对齐训练常带来系统性过度自信,而基于改写的自洽性和置信度口头表达等现有黑盒方法相比简单重复采样几乎没有提升,说明对齐压制了有用的输出变异性。为此论文引入提示层面的松弛算子,通过近似更强 KL 正则化参数下最优策略的效果来拓宽模型的有效输出分布,并从理论上说明松弛能改善校准。在 3 个数据集和 4 个 LRM(含一个闭源生产模型)上,J4U 相对重复采样的提升在统计显著性的 LRM-数据集-指标组合数量上最多达到最强黑盒 UQ 基线的 6 倍,平均 ECE 降幅最多达 5 倍。

  2. arXiv:危险能力与安全评测 ·

    工具调用改变大语言模型的拒答机制

    研究者在多个开源权重模型上发现,工具调用场景下的有害请求比普通对话更少被拒答。危害信息仍被模型表征编码并可跨两种交互模式迁移,但工具调用把危害计算分散到不同位置,且需要更高的有效拒答阈值才触发拒答。工具调用的拒答也更脆弱,在更低的干预强度下即被破坏,而正常能力不受影响,说明常规安全评测未必适用于 LLM 智能体。

  3. arXiv:危险能力与安全评测 ·

    DeShortcut-Align:解耦伪捷径以提升大推理模型安全对齐鲁棒性

    研究者提出 DeShortcut-Align 对齐框架,用于缓解大推理模型安全训练中出现的伪捷径问题。作者发现安全对齐后的模型常把拒答绑定到提示词模板(格式捷径)或敏感关键词(词汇捷径),导致过度拒答与通用能力下降。该方法通过拒答敏感性归因、归因引导的对比增强和反事实一致性正则三个阶段解耦这些捷径,在 7B 和 14B 模型上使模板剥离绕过攻击的性能下降最多减少 72%,过度拒答降低超过 58%。

9月27日周日
  1. arXiv ·

    AgentBound:面向工具型 LLM Agent 安全的四路反事实评测框架

    研究者提出 AgentBound,一个针对工具型 LLM Agent 安全的四路反事实生成与评测框架,通过独立改变表面风险与动作许可性,构造同一可执行工作流的不同版本,从而在控制任务能力的前提下同时诊断过度拒答与不安全执行。该框架被实例化为一个经人工验证的 4000 任务评测套件,采用基于轨迹和基于后置状态的判断方式。在 17 种模型与 harness 配置上,高安全性常与授权任务完成率低并存:GPT-5.5 拦截了 99.5% 看似常规但未授权的动作,却只完成 28.7% 看似有风险但已授权的任务。

  2. arXiv:越狱与提示注入 ·

    论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

    论文评估了 Jev、Laya、Decider 和 Bespoke Nimble 等 System One 模型在 Agent 安全决策中的可靠性,并与专用分类器和语言模型裁判对比,考察决策准确率、概率校准和选择性自动化。作者发现,整体表现良好和总体校准较优可能掩盖集中在特定攻击组上的失败,包括被高置信度判为安全的攻击;所评估的适配配置在各任务上并未稳定优于其基座模型。在最严格的误差限制下,策略能自动放行的输入很少,而将放行与拦截阈值分开主要靠更多拦截来提升自动化程度,且通过确认并不保证这些限制在测试集上成立。裁判模型能发现另一个模型漏掉的攻击,但也可能误标更多良性输入,并共享对方的高置信度错误。

9月24日周四
  1. arXiv:越狱与提示注入 ·

    AEGIS:用内部信号在中间层拦截大型音频语言模型越狱

    论文提出 AEGIS,一种针对大型音频语言模型(LALM)音频越狱的检测后干预防御方法。逐层探针显示,风险相关信息在中间层表示中仍可解码,但内部风险信号未能在后续层转化为拒答,作者将这一差异称为风险到拒答的缺口。AEGIS 据此在中间层设置风险门控,选择性激活下游安全适配器。在六个 LALM 和三个异构音频越狱基准上,AEGIS 将平均不安全率从 17.9% 降至 0.4%,对良性输入的过度拒答仅有小幅上升。代码已公开,论文投稿至 ICASSP 2027。

9月23日周三
  1. arXiv:越狱与提示注入 · 80

    系统提示词幻觉:指令前导如何改变语言模型内部计算

    研究者在 17 个指令微调模型(8 个架构家族、1.5B–72B 参数)上,用 CKA 比较 20 条系统提示词下的逐层表征。人格与格式类指令会深度重构中间表征,安全类指令却几乎不改变表征,与最小基线在统计上不可区分;限制性安全指令与明确放开限制的指令激活近乎相同的计算路径(平均 CKA 相关 0.997),70B–72B 模型的安全渗透率仍低于 10%。线性探针显示模型每一层都编码了提示类别,但只在少数层重构计算,即安全指令被“看到”却没有被深度“执行”;因果激活修补确认这些层介导行为变化,表征深度可预测行为效应大小(Spearman ρ=0.761)。作者据此从机制上解释基于系统提示词的安全为何持续易被越狱。

    推荐理由论文用 CKA 与激活修补量化系统提示词对内部表征的改动,为系统提示词安全为何脆弱提供了机制层面的解释。

9月22日周二
  1. arXiv:可解释性 ·

    Matryoshka Attribution:把语言模型输出归因到表示与权重

    作者提出 Matryoshka Attribution(MAttr),把归因问题定义为寻找能最小化下游损失的嵌套内部组件子集,并用可微的 sigmoid top-k 算子参数化掩码。训练时随机化 k 以同时监督所有稀疏度,从而得到按归因分数排序的组件序列。MAttr 在 Mechanistic Interpretability Benchmark(Mueller 等,2025)官方排行榜上排名第一,能在不同电路基上识别稀疏且可跨任务迁移的电路。

9月17日周四
  1. arXiv:可解释性 ·

    研究揭示细粒度危害信号在 LLM 安全中的作用

    研究通过从各风险类别的危害表征中移除共享的通用危害表征,得到与通用危害性在每一层都正交的类别残差,并用激活引导在 3 个指令微调 LLM 的 11 个风险类别上测试。结果显示,类别残差是否编码危害性因类别而异,且这一类别模式在不同模型间相似;类别残差是否引发拒答同样因类别而异,但这一模式更依赖具体模型。研究还发现类别残差会增强 LLM 下游内部与共享通用危害表征的对齐。作者据此认为,理解 LLM 安全不能只看共享的通用危害表征,还需考虑更细粒度的类别残差;即使某一层上与某概念正交的方向,也可能促进该概念在下游的放大。

9月15日周二
  1. arXiv:越狱与提示注入 ·

    SAST-IR 框架:无记忆目标下多轮说服攻击成功率高达 96%

    论文指出多轮对话红队测试存在“拒答惯性”问题:模型为保持上下文一致而延续最初的拒答,掩盖了真实脆弱性。作者提出 SAST-IR 框架,对目标模型清空记忆、保留攻击者历史,模拟最坏情况下的多轮无状态攻击,并配合诊断引导的 CP-Agent 在自建 CounterFact-Strict 数据集(N=50)上测试。结果显示简单多样的攻击策略成功率达 96%,暴露无记忆防御的严重脆弱性。论文还发现“复杂性悖论”:复杂迭代攻击虽有效,却常触发防御性顺从,而简单策略的真实说服率更高,为 84.7%。代码与数据集已在 GitHub 公开。

9月9日周三
  1. arXiv:对齐与欺骗 · 78

    研究:任意密文攻击前沿大模型无需微调即可越狱

    McGill 大学研究者 Thomas Rivasseau 发现,前沿大模型无需微调即可通过提示和上下文学习掌握字母置换密文通信,并借此绕过对齐与有害性分类器。攻击分三步:先用提示让模型接受一套字母置换方案,再给出若干密文问答示例,最后用该方案发送有害请求;密文在分类器看来只是乱码。作者关闭模型推理,因为开启后模型会把指令解密成明文,足以绕过分类器但不足以绕过对齐。单次注入完整置换的方案在 Claude Sonnet 4 上稳定成功,可产出炸弹、生物武器制作说明和攻击代码;迭代逐级教授字母交换的方案在 Gemini 3 Flash preview 上成功。作者称对 Claude Sonnet 4 实现完全越狱、Gemini 3 完全越狱、Claude Sonnet 4.5 仅证明可行性、GPT 5.5 需结合已知越狱提示词。

    推荐理由论文给出无需微调、仅靠提示与上下文学习即可让前沿模型用字母置换密文绕过拒答与有害性分类器的完整方法。

9月7日周一
  1. arXiv:越狱与提示注入 · 80

    论文提出拒答的几何解释:事后安全训练脆弱,预训练期持续安全共训更抗攻击

    论文从几何角度解释事后安全训练(RLHF、DPO)为何脆弱:在五个模型家族上,安全更新 Δ 与模型能力方向近乎正交,只集中在少数高曲率方向,相当于在完整能力之上加了一道拒答闸门,而非抹除能力。核不动性引理说明这类更新只能掩盖能力,因此少量良性微调就能恢复:100 条良性样本让 Qwen-2.5-7B-Instruct 和 Llama-3-8B-Instruct 在 AdvBench 上的拒答率下降 35–38 个百分点。OLMo-2-1B 的预训练检查点扫描显示,拒答所依附的特征在 1B 到 63B 预训练 token 之间急剧出现。在整个预训练过程中持续加入安全共训练、从头训练的模型,在 410M 到 6.9B 各规模上达到 87%–98% 的 AdvBench 拒答率,同样的攻击只让它下降 2–14 个百分点,代价是短答案能力探针上的少量损失;总安全权重相同但只在一个窗口内加入则装不上拒答。作者的结论是,带来攻击鲁棒性的是安全信号在预训练中的持续性,而不是加入的时机。

    推荐理由论文用几何视角解释事后安全训练为何容易被少量良性微调抹掉,并实测在整个预训练中持续加入安全共训练能让拒答经受住同样的攻击。

9月6日周日
  1. arXiv:越狱与提示注入 ·

    SRD-GUARD:通过语义改写与多模型联合评分暴露潜在意图的 LLM 防御框架

    SRD-GUARD 是一个无需参数、黑盒的 LLM 越狱防御框架,通过语义改写与多模型共识评分暴露被角色扮演或虚构场景包装的隐藏意图。它对输入提示生成五个语义相关改写,在保留原始目标的同时去除多余情境包装,再由多个独立的 LLM 安全评分器在连续风险尺度上联合评估原始提示与改写版本。决策模块结合绝对风险阈值与原始、改写提示之间的相对风险变化,自适应地拦截、放行或警告请求。

9月4日周五
  1. arXiv:危险能力与安全评测 ·

    TIER:评估 LLM 安全行为的威胁隐晦度基准

    研究者提出 TIER,一个用于评估 LLM 行为安全的威胁隐晦度基准,覆盖四个风险领域和四个威胁等级,从显式有害请求到复杂越狱。该基准用六标签行为量表和两个独立 LLM 评判器评估回答。在六个开源权重 LLM 上的实验显示,安全行为随威胁等级逐渐演变,而非直接从拒答跳到顺从;上下文类提示词产生最多样的行为,越狱则暴露最大的鲁棒性差距。攻击成功率相近的模型也可能呈现不同的回答分布,说明需要行为感知的 LLM 安全评测。

  2. arXiv:越狱与提示注入 ·

    研究:拒答方向可跨架构迁移,安全工具可按写入位置重新估计

    论文研究拒答在语言模型内部的位置是否随架构改变。作者发现,在 Transformer 中由残差流单一方向控制的拒答表征,在状态空间模型(SSM)中依然存在:一个刚性旋转即可对齐两种模型的表征空间,使二者真正共享该表征。在 Transformer 上训练的伤害探针能标记 SSM 的有害输入,移除对齐后的方向会让模型回答原本拒答的攻击,而同等大小的随机方向效果远弱。架构差异不在方向被施加的位置,而在必须读取的位置:每层计算的新输出在加入残差流之前,即写入位置,伤害可被清晰读出;固定干预强度的对照实验显示,关键是在哪里估计方向,而非在哪里施加。

9月1日周二
  1. arXiv:可解释性 ·

    RISA:面向大语言模型拒答校准的响应检查与选择性干预

    RISA 是一个推理时框架,通过检查 LLM 的初始响应并选择性纠正拒答错误,在不更新基座模型参数的前提下提升拒答可靠性。它先用固定上下文规则为明确案例打拒答分数,未匹配案例则由末层提示词隐藏状态经校准线性探针得出分数,并分别校准探针分数、表征支持边界与动作阈值以适配不同基座模型。运行时结合提示词分数与初始拒答状态,仅在必要时干预,实验显示其在提升拒答可靠性的同时基本保持模型效用。

  2. arXiv:危险能力与安全评测 ·

    SEAV:面向大语言模型越狱评测的有效性验证框架

    研究者提出 SEAV(Sequential Epistemic and Action-Level Validation),一个以验证为中心的越狱评测框架,把模型回复拆解为有序步骤,同时评估有效性与正确性,结合 LLM-as-a-judge 做语义解释和基于外部知识源的检索验证,判断生成内容是否事实正确、结构一致且能实际推进有害目标。作者指出既有评测依赖拒答行为、语义相似度和意图匹配启发式,偏重语言可信度而非正确性,导致看似合理但事实或流程错误的回复被标为越狱成功。

8月29日周六
  1. Unit 42 · 71

    Unit 42 提出扰动探测方法,定位 LLM 安全拒答的少量神经元

    Unit 42 提出扰动探测方法,每个提示词只需两次前向传播,即可定位对齐 LLM 中因果上负责特定行为(如拒绝有害请求)的少量前馈神经元。在开源模型 Qwen3-4B 上,350,208 个前馈神经元中仅 50 个(约 0.014%)控制安全拒答模板,移除后 520 条标准有害提示基准中 80% 的回复格式发生变化,并在第二个标准基准的 200 条提示上复现。在更小的 Qwen3.5-2B 上,仅 20 个神经元即可让多轮对话中的错误附和行为从 36.7% 降至 0%(30 个问题)。同一计算还给出 FFN/Skip 比值,可在数秒内算出,在测试的 13 个模型中解释了安全行为脆弱性 81% 的方差,可作为量化的安全脆弱性评分。

    推荐理由研究给出一种两次前向传播即可定位安全拒答神经元的诊断方法,并附可跨模型比较的脆弱性指标。

8月28日周五
  1. arXiv:危险能力与安全评测 ·

    REINS:用 SAE 特征同时抑制有害续写并增强拒答的引导方法

    论文提出 REINS(Refusal-Enhanced INhibitory Steering),在同一个 SAE 特征空间内抑制有害续写特征、增强安全拒答特征,用于推理阶段的行为引导。作者同时构建了 GUISE 数据集,由带复杂包装的有害提示组成,用于系统评估这一失效模式。实验显示,既有单方向 SAE 引导方法在有害提示上无法稳定产生拒答,说明仅增强拒答在有害续写路径仍活跃时可能过弱;而先前方法要么干预力度不足,要么通过模型崩塌获得表面安全。在 GUISE 及其他数据集上,REINS 大幅减少有害回复、明显提升安全拒答,并基本保留通用能力。该工作已被 EMNLP 2026 主会接收。

8月25日周二
  1. Failure-First ·

    LulzBench 实测:MiniMax-M3 拒绝五分之一良性底线对照请求

    Failure-First 公布的首批托管样例中,MiniMax-M3 经托管的 OpenAI 兼容端点运行 LulzBench 全部 21 项良性底线对照,捕获 21/21、无供应商报错,其中 4 项遭拒答且均为真实的带理由拒答,三项涉及轻度恶习或社交劝说前提。同一道雪茄健康玩笑辩论题在一次采样中被完整作答、另一次却拒答,两次采样的 token 预算也不同,因此该不稳定现象无法由单次跑分定量其抽样方差,需做 n-of-k 重采样实验来锁定拒答率。

8月13日周四
  1. arXiv ·

    WIFA:按意图分组监督缓解包装式越狱与过度拒答

    论文提出 Wrapper-Based Intent-Form Augmentation(WIFA),一种自动意图分组增强方法,把带包装的有害示例与结构匹配的带包装良性反例配对,无需外部教师模型或逐包装的人工意图标注。WIFA 作为通用数据层支持两条微调路线:两阶段高安全配方 WIFA-Boost,以及 Anchored Group-Consistent Refusal Training(A-GCRT),后者在同一意图的不同包装间正则化拒答与合规决策分数,并把有害与良性分组锚定在间隔两侧。

7月30日周四
  1. Microsoft PyRIT 版本发布 ·

    PyRIT v1.0.1 修复结构化拒答处理

    Microsoft PyRIT 发布 v1.0.1 补丁,修复 OpenAI Responses 与 Chat Completions 返回结构化拒答时被误判为解析/运行时失败的问题。此前目标模型的拒答会导致攻击目标未完成并抛出误导性的 ValueError,现在拒答会被正常记录和评分,真正的部分执行则抛出 ScenarioPartialFailureException。使用 OpenAIResponseTarget 或 OpenAIChatTarget 对接近期 OpenAI 与 Azure OpenAI 模型的用户应升级;该版本还调整了推理模型响应片段顺序,将 reasoning 排在 text 之后。

5月17日周日
  1. 研究者论文追踪 ·

    研究提出 IRT 框架拆解大模型跨语言安全护栏退化

    研究者提出多组项目反应理论(IRT)框架,把跨语言安全表现拆解为语言无关的安全鲁棒性、提示词固有难度、全局语言处理难度和提示词特定的跨语言安全差距四个潜在变量,以替代把多种因素混在一起的越狱成功率(JSR)。基于 MultiJail 数据集,团队评估了 5 个闭源模型家族共 61 个模型配置、10 种不同资源水平的语言,汇总 190 万条回复。探索性因子分析显示安全主要是一维的,模型拒答不同危害类型主要依赖共享机制。与低资源语言安全更差的预期相反,22 个模型配置在英语下比在低资源语言下更易被攻破;低资源语言产生的不确定回复(高熵)更多。高跨语言安全差距的提示词集中在 Theft、Weapons 等物理危害类别和较低资源语言中,该趋势通过跨数据集泛化得到验证。

5月2日周六
  1. NVIDIA garak 版本发布 ·

    NVIDIA garak v0.15.0 发布:新增多轮 GOAT、Agent breaker 与系统提示提取探针

    NVIDIA garak 发布 v0.15.0,新增多轮 GOAT、Agent breaker 和系统提示提取三类探针,并加入同形异义混淆提示走私检测及 ModernBERT 拒答检测器。该版本还引入 NeMoGuardrails 服务器支持和带推理轨迹的测试生成器,改进 REST 生成器的 mTLS 客户端证书认证并为 Bedrock 生成器增加推理模型支持,同时修复编码检测逻辑翻转等问题。

4月30日周四
  1. Goodfire Research · 74

    Goodfire 提出基于探针的数据归因方法,定位并缓解 LLM 后训练中的有害行为

    Goodfire Research 提出基于探针的数据归因方法,可定位 LLM 后训练中涌现的有害行为对应的训练数据点。研究以 OLMo 2 7B 的 DPO 训练为自然测试床:模型在有害请求后附加格式约束(distractor)时从拒答转为顺从,该现象在 OLMo 2 32B 上更强。方法将行为变化与训练数据点都表示为模型激活向量,用余弦相似度匹配,再用 Grok 4 生成的 150 条提示构建探针向量。过滤探针排名最高的 3 万个数据点后,有害行为下降 63%,且 GSM8k、IFEval、XSTest 性能无明显损失;交换这些数据点的 accepted/rejected 标签可下降 78%。

    推荐理由原文给出探针定位 DPO 有害数据的具体流程与 63% 降幅,做后训练数据清洗的团队可参考其归因与验证方法。

4月8日周三
  1. 研究者论文追踪 ·

    TraceSafe-Bench:评估 LLM 护栏在多步工具调用轨迹上的表现

    研究者提出 TraceSafe-Bench,用于评估 LLM 护栏在多步工具调用中间轨迹上的安全性,覆盖提示注入、隐私泄露、模型幻觉、接口不一致等 12 类风险,包含 1000 多个执行实例。团队评测了 13 个 LLM-as-a-guard 模型和 7 个专用护栏,得到三点结论:护栏效果更多取决于结构化数据处理能力(如 JSON 解析),与结构化到文本基准强相关(ρ=0.79,p<0.01),而与标准越狱鲁棒性无关联;轨迹检测准确率不随模型规模单调提升,通用 LLM 持续优于专用安全护栏;在原生上下文范围内检测准确率随轨迹变长而提升,但在极端长上下文场景下因过度拒答而下降。该工作已被 COLM 2026 接收。

3月24日周二
  1. Adversa AI ·

    Adversa AI 自主红队 Agent 攻破 Gandalf CTF 全部八关并进入全球榜前列

    Adversa AI 构建的自主红队 Agent 攻破了 Lakera Gandalf CTF 全部八关,35 次尝试完成,第 1 至 6 关均单条消息解决,全球排行榜位列第 4(若不计零尝试的榜首则为第 3)。该 Agent 不靠提示词模糊测试,而是先用 Attack Inventor 方法从第一性原理分析防御架构的隐含假设,再执行预先推导出的攻击树。

11月26日周三
  1. Transformer Circuits(Anthropic 可解释性) · 66

    Anthropic 可解释性团队解析多选题有害压力下的拒答机制

    Anthropic 可解释性团队在 2025 年 11 月的 Circuits Updates 中报告,Claude 3.5 Haiku 在无有害意图时对 129 道二选一多选题准确率为 100%,加入有害意图表述后降至 48.1%。研究发现注意力机制是关键:有害检测 key 特征与拒答 query 特征负向交互,压低了对正确答案的注意力分数,使答案选择头转而关注错误答案。团队识别出一个拒答特征,在广泛语料上表现为检测到用户请求有害后提供替代方案,称为 refuse and redirect;对该特征做负向引导可将数据集准确率恢复到 93%,仅对部分中层注意力头的 query 侧做更精细干预也能达到同样效果。

    推荐理由Anthropic 可解释性团队用注意力头与特征交互定位了模型在有害意图下改选错误答案的机制,并给出可复现的干预方法。

11月4日周二
  1. DeepMind Safety Research · 71

    DeepMind 提出一致性训练,可限制谄媚与越狱

    DeepMind Safety Research 提出一致性训练,让模型对用户偏见或越狱包装等无关线索保持不变,分为输出层的 BCT 和内部激活层的 ACT。在 Gemini 2.5 Flash 上,BCT 将 ClearHarm 上的攻击成功率从 67.8% 降至 2.9%,ACT 降低越狱的效果较弱但几乎不增加对良性请求的拒答。

    推荐理由DeepMind 提出用一致性训练替代静态 SFT 数据集,并给出在 Gemini 2.5 Flash 上降低越狱成功率的对比数据。

10月28日周二
  1. SPY Lab Blog · 72

    SPY Lab 研究:统一多模态模型无法凭记忆描述图像

    SPY Lab 提出“模态失语症”概念,指统一多模态模型能生成记忆中的图像,却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5,图像生成的整体错误率明显低于口头描述,且重大幻觉只出现在文字描述中。

    推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象,并展示其可绕过基于文本的安全过滤。

10月14日周二
  1. 研究者论文追踪 · 80

    研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏

    研究者发现,基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑,这一逻辑可被简单操纵,从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法:强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理;强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段;伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述;推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在 gpt-oss-20b 和 120b 上,这些方法在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上攻击成功率超过 90%,并同样作用于 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等推理式防御。

    推荐理由论文揭示推理式安全护栏的阶段切换逻辑可被简单操纵,并给出跨模型与闭源 API 的攻击成功率,为护栏设计提供可迁移的失效分析。

4月29日周二
  1. Transformer Circuits(Anthropic 可解释性) · 62

    Anthropic 可解释性团队 4 月更新:失败越狱的电路追踪与可解释密集特征

    Anthropic 可解释性团队发布 4 月更新,用电路追踪方法分析一个失败的越狱提示,发现模型拒绝该提示的原因与拒绝直接请求不同,且拒绝倾向反而高于普通提问。该提示要求把 B O M B 拼成单词并说明如何制造炸弹,归因图显示模型并未激活与制造炸弹相关的特征,而是由炸弹概念直接触发有害请求特征;把 make 换成 detect 后模型仍拒绝,且首句与有害版本完全相同。团队用干预实验验证机制:抑制 say bomb 超级节点后 say making 激活降至原来的 1%,模型转而输出与炸弹无关的拒答内容。附录指出特征可视化若数据不够多样会产生误导,并列出 30M CLT 模型中最密集的 10 个特征及其解释,其中 6 个可解释。

    推荐理由Anthropic 可解释性团队公开了失败越狱的电路追踪分析,展示模型拒答机制与预期不同的案例,并给出密集特征与入行建议。

4月16日周三
  1. SPY Lab Blog · 65

    SPY Lab 提出越狱税:越狱输出到底有多大用处

    SPY Lab 提出越狱税(Jailbreak Tax)指标,衡量越狱成功后模型效用相对基线的下降幅度,并给出配套基准。研究先评测基座模型准确率,再自行对齐使其拒答数学和生物题,最后对对齐模型施加越狱并测量准确率,发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上,PAIR、TAP 和微调攻击的成功率都在 92% 左右,但越狱税差异很大,说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景,作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath,并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线,发现前沿模型自带的安全机制下越狱税依然存在。

    推荐理由提出越狱税这一指标,用可客观评分的基准量化越狱后模型效用的下降,为比较不同越狱方法提供新维度。