安全训练、护栏、安全分类器与拒答策略，以及它们在自适应攻击下的表现。
Goodfire 提出基于蛋白质语言模型嵌入向量的序列感知监控器，用于筛查 AI 智能体在双用途生物任务中的有害序列。该方法同时利用序列本身和任务上下文，在自建基准上优于前沿模型护栏，且在双用途任务上拒答更少。监控器对改写和片段化等对抗攻击更稳健，在原始蛋白存在于筛查数据库时 AUROC 约为 0.98；原始蛋白不在库中时各方法性能均下降，但该方法在低误报率下仍保持优势。其泛化能力还扩展到留出的蛋白家族、酶类毒素机制留出集以及外部细菌毒素数据集 Exo-Tox。检测速度达每序列毫秒级，与序列搜索相当，且随蛋白质模型能力提升而增强。
推荐理由Goodfire 用蛋白质模型嵌入向量做序列感知监控，在双用途任务上比前沿模型护栏更准且拒答更少，做生物安全筛查的团队可参考其评测方式。
论文测量了语言模型对“已验证来源”错误答案的顺从程度，发现单条声称已验证来源的注释会让八个模型中七个的 45–88% 原本正确回答被翻转，且顺从率随来源措辞的权威程度上升。作者在五个开源权重模型族和三个闭源 API 上做行为对比，并在 Qwen3.5、GPT-OSS、OLMo-3.1 上用激活方向移除与归因补丁做因果实验：移除来源方向可把对错误来源的顺从降低约 65–80 个百分点，而移除用户或助手方向影响小得多，移除用户方向则呈现相反偏好。用 trivia 拟合的权威方向无需重新拟合即可迁移到 PIQA 和多轮 SYCON 对话，移除后在五个开源模型族中的四个降低了错误来源顺从，在 MMLU-Pro 与 GSM8K 上未检测到准确率变化。作者据此认为来源顺从与用户认同需要分开评测，并指出该结果不构成对提示注入的防御。
推荐理由论文用因果干预把来源权威顺从与用户谄媚拆成两条通路，为检索与工具调用场景的评测设计提供了可迁移方法。
该基准在同一台 Apple M4 机器上对比 Jev 1.13.0、Kev-4B、Kev-0.8B、Laya、GLiNER2.5-Decide、ProtectAI DeBERTa、Prompt Guard 2 和关键词规则在文档块注入与用户消息越狱两类任务上的表现。文档块测试中 Jev AUC 为 1.00、冻结阈值下召回 100%、误报 8%，Kev-4B 为 0.90 和 70%，Prompt Guard 2 为 0.83 和 19%；对不直接提及 AI 的隐蔽攻击，Jev 召回 97%，Kev-4B 62%，三个专用注入分类器接近随机水平。在 220 条 LLMail-Inject 真实人类攻击上，Jev 捕获 95%、误报 0%，Kev-4B 捕获 86%、误报 1%；作为邮件助手时 gpt-oss-120b 有 20/220 向攻击者地址发送邮件，Jev 前置时 0 条通过。
推荐理由这份评测把提示注入检测器放到网关真实任务上横向对比，并给出端到端攻击成功率，可用来判断各检测器的实际拦截差距。
研究者提出 CodeMimicry，一个全自动黑盒越狱框架，把恶意意图嵌入语法合法的面向对象代码，借代码补全任务诱导模型输出有害内容。在 8 个商用大语言模型上，该方法在 AdvBench 上达到 96.25% 攻击成功率、平均仅 1.51 次查询，在 HarmBench 上为 96.07% 与 1.46 次查询，明显优于模板类和优化类基线。作者将这一现象归因于安全泛化滞后，即主要在自然语言上训练的对齐难以迁移到代码域，形成代码补全盲区。潜空间分析显示，成功的越狱样本在表示上接近良性代码，并系统性地避开拒答方向；激活引导实验进一步支持这一解释。作者也指出，该方法依赖目标模型的代码生成能力，且对注释与 docstring 这类字符串侧信道有依赖，正则过滤注释后攻击成功率降至 20% 至 26%。
推荐理由论文提出安全泛化滞后这一失效模式，并给出自动化黑盒越狱框架与潜空间机制分析，做代码域对齐的团队可据此检查拒答迁移情况。
METR 研究人员发布研究笔记，介绍其为自家 Agent 评测部署的逐动作实时监控器：由 LLM 裁判在每个工具调用执行前打分，超过阈值即暂停评测并转人工复核。
推荐理由METR 公开了自建逐动作监控器的论证结构与实测数据，并列出五个尚未闭合的缺口，可供做 Agent 评测监控的团队对照自查。
研究者在 17 个指令微调模型（8 个架构家族、1.5B–72B 参数）上，用 CKA 比较 20 条系统提示词下的逐层表征。人格与格式类指令会深度重构中间表征，安全类指令却几乎不改变表征，与最小基线在统计上不可区分；限制性安全指令与明确放开限制的指令激活近乎相同的计算路径（平均 CKA 相关 0.997），70B–72B 模型的安全渗透率仍低于 10%。线性探针显示模型每一层都编码了提示类别，但只在少数层重构计算，即安全指令被“看到”却没有被深度“执行”；因果激活修补确认这些层介导行为变化，表征深度可预测行为效应大小（Spearman ρ=0.761）。作者据此从机制上解释基于系统提示词的安全为何持续易被越狱。
推荐理由论文用 CKA 与激活修补量化系统提示词对内部表征的改动，为系统提示词安全为何脆弱提供了机制层面的解释。
特拉维夫大学研究者提出爆炸性提示词（explosive prompt），一种把恶意载荷写成条件语句、在攻击者选定的触发词出现前保持休眠的间接提示注入形式，无需训练即可在推理时植入单条检索内容。在 896 对配对样本上，同一恶意目标改为休眠条件式后，在拒绝直接指令的前沿模型上仍能触发真实工具调用，Grok-4.20 从 0.0% 升至 34.2%，Llama-3.1-70B 从 0.1% 升至 26.1%，七款模型配对均值 16.5% 对 2.4%。已部署的注入分类器 Prompt Guard 2、PIGuard、PIShield 在其工作阈值上校准失当，1% 误报预算下最多只拦住 52.7%；偏好优化模型 SecAlign 完全阻断直接注入，却仍执行 11.8% 的爆炸性提示词，且全部在触发轮触发。
推荐理由论文把条件触发式提示注入与普通注入做了配对实测，并给出九款生产 Agent 的绕过率，部署 Agent 的团队可据此检查检索内容的摄入环节。
论文提出可验证行动卡片（VAC），一种面向智能体浏览器的架构防御，把审批信息从真实待执行的浏览器动作和可信意图来源重建，并在浏览器 chrome 中带外渲染，将批准绑定到派发时重新校验的同一动作。VAC 由五部分组成：来源围栏（C1）、真实动作描述符（C2）、带外默认拒绝卡片（C3）、来源感知风险门控（C4）和执行绑定（C5）。作者在完整的开源智能体浏览器（Electron/Chromium 外壳加 Python agent，经 Chrome DevTools Protocol 驱动）中实现 VAC，并在 24 个场景的基准上评测，覆盖混淆代理表单、Lies-in-the-Loop 对话框伪造、间接提示注入、自适应动作替换、来源规避和合法任务。
推荐理由论文给出可复现的浏览器端确认机制与跨模型评测，做 Agent 权限与确认界面设计的团队可参考其架构取舍。
McGill 大学研究者 Thomas Rivasseau 发现，前沿大模型无需微调即可通过提示和上下文学习掌握字母置换密文通信，并借此绕过对齐与有害性分类器。攻击分三步：先用提示让模型接受一套字母置换方案，再给出若干密文问答示例，最后用该方案发送有害请求；密文在分类器看来只是乱码。作者关闭模型推理，因为开启后模型会把指令解密成明文，足以绕过分类器但不足以绕过对齐。单次注入完整置换的方案在 Claude Sonnet 4 上稳定成功，可产出炸弹、生物武器制作说明和攻击代码；迭代逐级教授字母交换的方案在 Gemini 3 Flash preview 上成功。作者称对 Claude Sonnet 4 实现完全越狱、Gemini 3 完全越狱、Claude Sonnet 4.5 仅证明可行性、GPT 5.5 需结合已知越狱提示词。
推荐理由论文给出无需微调、仅靠提示与上下文学习即可让前沿模型用字母置换密文绕过拒答与有害性分类器的完整方法。
研究者提出 CoER，将带有多轮工具调用和多次注入的任务建模为一般和马尔可夫博弈，以此训练能够适应不断演化的攻击者的防御方案。该方法先用成功轨迹初始化攻击者，再用双边对抗强化学习（BA-RL）保留双方的历史策略作为对手种群并混合新旧对手，随后复用这些攻击者挑战教师智能体，只用经安全性验证并通过任务完成的示范来微调共同演进的防御者。在七个领域、三个随机种子上，CoER 将自适应攻击成功率从 41.3% 降至 0.2%，并将安全完成率从 39.6% 提高到 76.2%。外部基准上也表现出更强的抗攻击能力，消融实验进一步验证了历史对手混合与基于种群的精炼的有效性。
推荐理由论文把工具智能体的自适应间接提示注入建模为多轮博弈，用攻防协同演化加教师示范微调，给出跨七个域的攻防成功率与安全任务完成率对比。
论文从几何角度解释事后安全训练（RLHF、DPO）为何脆弱：在五个模型家族上，安全更新 Δ 与模型能力方向近乎正交，只集中在少数高曲率方向，相当于在完整能力之上加了一道拒答闸门，而非抹除能力。核不动性引理说明这类更新只能掩盖能力，因此少量良性微调就能恢复：100 条良性样本让 Qwen-2.5-7B-Instruct 和 Llama-3-8B-Instruct 在 AdvBench 上的拒答率下降 35–38 个百分点。OLMo-2-1B 的预训练检查点扫描显示，拒答所依附的特征在 1B 到 63B 预训练 token 之间急剧出现。在整个预训练过程中持续加入安全共训练、从头训练的模型，在 410M 到 6.9B 各规模上达到 87%–98% 的 AdvBench 拒答率，同样的攻击只让它下降 2–14 个百分点，代价是短答案能力探针上的少量损失；总安全权重相同但只在一个窗口内加入则装不上拒答。作者的结论是，带来攻击鲁棒性的是安全信号在预训练中的持续性，而不是加入的时机。
推荐理由论文用几何视角解释事后安全训练为何容易被少量良性微调抹掉，并实测在整个预训练中持续加入安全共训练能让拒答经受住同样的攻击。
Unit 42 提出扰动探测方法，每个提示词只需两次前向传播，即可定位对齐 LLM 中因果上负责特定行为（如拒绝有害请求）的少量前馈神经元。在开源模型 Qwen3-4B 上，350,208 个前馈神经元中仅 50 个（约 0.014%）控制安全拒答模板，移除后 520 条标准有害提示基准中 80% 的回复格式发生变化，并在第二个标准基准的 200 条提示上复现。在更小的 Qwen3.5-2B 上，仅 20 个神经元即可让多轮对话中的错误附和行为从 36.7% 降至 0%（30 个问题）。同一计算还给出 FFN/Skip 比值，可在数秒内算出，在测试的 13 个模型中解释了安全行为脆弱性 81% 的方差，可作为量化的安全脆弱性评分。
推荐理由研究给出一种两次前向传播即可定位安全拒答神经元的诊断方法，并附可跨模型比较的脆弱性指标。
Google DeepMind 发布 AI Control Roadmap，用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路，在沙箱、端点安全和提示注入抵抗等传统防护之上，把模型对齐作为主要防线，同时把内部 Agent 视为可能未对齐的对象，按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架，将不可信 Agent 当作内部威胁拆解为具体战术与技术，并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划，必要时阻断有害操作。
推荐理由Google DeepMind 公开其内部 AI 控制路线图，把不可信 Agent 当作内部威胁来建模，并给出检测与响应的分级思路。
OpenAI 在 Codex 中推出 Auto-review，用独立的 Codex Agent 审批越过沙箱边界的操作，替代同步人工批准。
推荐理由OpenAI 公开了 Codex Auto-review 的内部部署数据与安全评测结果，并说明其无法防范模型谋划的边界。
Goodfire Research 提出基于探针的数据归因方法，可定位 LLM 后训练中涌现的有害行为对应的训练数据点。研究以 OLMo 2 7B 的 DPO 训练为自然测试床：模型在有害请求后附加格式约束（distractor）时从拒答转为顺从，该现象在 OLMo 2 32B 上更强。方法将行为变化与训练数据点都表示为模型激活向量，用余弦相似度匹配，再用 Grok 4 生成的 150 条提示构建探针向量。过滤探针排名最高的 3 万个数据点后，有害行为下降 63%，且 GSM8k、IFEval、XSTest 性能无明显损失；交换这些数据点的 accepted/rejected 标签可下降 78%。
推荐理由原文给出探针定位 DPO 有害数据的具体流程与 63% 降幅，做后训练数据清洗的团队可参考其归因与验证方法。
NVIDIA 发布面向智能体工作流的安全实践指引，聚焦沙箱化与执行风险管理。文章指出，AI 编码智能体通过命令行运行工具时，会继承与用户相同的权限和授权，因而成为计算机使用智能体，带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。
推荐理由NVIDIA 安全团队从权限与执行风险角度给出智能体工作流的沙箱实践指引，适合部署编码智能体的团队参考。
Chrome 安全团队公布了针对 Gemini 智能体浏览能力的分层防御设计，核心应对威胁是间接提示注入。团队引入 User Alignment Critic，由与不可信内容隔离的独立模型在规划完成后复核每个拟执行动作，判断其是否符合用户目标，不通过则否决并反馈给规划模型重新规划。Chrome 还扩展同源隔离理念提出 Agent Origin Sets，把每个会话的来源分为只读与可读写两类，只允许智能体读取任务相关来源的数据，并限制数据只能流向可写来源，模型生成的 URL 需经确定性检查限定为已知公开 URL。
推荐理由Chrome 安全团队公开了智能体浏览的分层防御架构，包括独立审查模型与来源集合限制，可供做浏览器智能体的团队参考。
Anthropic 可解释性团队在 2025 年 11 月的 Circuits Updates 中报告，Claude 3.5 Haiku 在无有害意图时对 129 道二选一多选题准确率为 100%，加入有害意图表述后降至 48.1%。研究发现注意力机制是关键：有害检测 key 特征与拒答 query 特征负向交互，压低了对正确答案的注意力分数，使答案选择头转而关注错误答案。团队识别出一个拒答特征，在广泛语料上表现为检测到用户请求有害后提供替代方案，称为 refuse and redirect；对该特征做负向引导可将数据集准确率恢复到 93%，仅对部分中层注意力头的 query 侧做更精细干预也能达到同样效果。
推荐理由Anthropic 可解释性团队用注意力头与特征交互定位了模型在有害意图下改选错误答案的机制，并给出可复现的干预方法。
DeepMind Safety Research 提出一致性训练，让模型对用户偏见或越狱包装等无关线索保持不变，分为输出层的 BCT 和内部激活层的 ACT。在 Gemini 2.5 Flash 上，BCT 将 ClearHarm 上的攻击成功率从 67.8% 降至 2.9%，ACT 降低越狱的效果较弱但几乎不增加对良性请求的拒答。
推荐理由DeepMind 提出用一致性训练替代静态 SFT 数据集，并给出在 Gemini 2.5 Flash 上降低越狱成功率的对比数据。
SPY Lab 提出“模态失语症”概念，指统一多模态模型能生成记忆中的图像，却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5，图像生成的整体错误率明显低于口头描述，且重大幻觉只出现在文字描述中。
推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象，并展示其可绕过基于文本的安全过滤。