全部动态

Red Hat 基准测试：Jev 式决策模型与传统护栏在提示注入和内容安全上的对比

Red Hat AI Safety 团队在 NeMo Guardrails 与 EvalHub 基准上对比了 9 种护栏方案，覆盖预训练小分类器、零样本分类器、LLM-as-a-judge 与 Jev 式决策模型四类方法，任务为提示注入与内容安全/毒性检测。提示注入任务中 Qwen3.6-35B 以 89.31% 准确率居首，deberta-v3-base-prompt-injection-v2 以 89.01% 紧随其后且中位延迟仅 54.1 ms；Jev 为 86.35%，DiffusionGemma 为 87.72%，Laya 为 85.44%，BART-large-mnli 仅 61.49%。团队结论是预训练小模型仍极具竞争力，未发现决策模型在速度、成本或质量上稳定优于 LLM-as-a-judge，但 Jev 式范式把注意力重新引向轻量、任务专用的推理方式。

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

日本北陆先端科学技术大学院大学（JAIST）研究者 Zhuowen Liu 在论文中重测了 15 个提示注入检测器和 2 个任务感知 LLM 判官，发现公开基准上的检测排名很难迁移到 Agent 实际场景。研究用无 LLM 回放 AgentDojo 与 τ-bench 的真实工具调用构造良性输出，再用差分回放标注注入输出，并在 BIPIA 上对比。BIPIA 上表现最好的 PIGuard 在 1% 假阳性率下只检出 2.1% 的 AgentDojo 注入，而检出 72.2% AgentDojo 注入的 Prismor 在 τ-bench 上只有 15.2%；BIPIA 与 AgentDojo 之间的 Kendall τ 仅 0.01。相反，工具输出上的假阳性率在两个 Agent 基准间保持一致（τ=0.67），范围从 0% 到超过 90%。

论文：安全路由评测在分布偏移下失效，基线选取偏差被低估

论文指出，一个主要的安全路由基准在评测数据上挑选作为对照的最佳单模型，这在基准自身设定下无碍，分布偏移下却不成立。在 HELM Safety 上，这一选择代价在随机划分下为 0.003–0.030 的 harm，按类别留出时升至 0.045–0.113，与归因于路由的全部劣势相当；在 AgentDojo 上按整套件留出时上升七到九倍。改用不看测试标签选出的基线、在偏移下评分，路由在这些基准上收益很小：多数情况下路由器直接选用基线的模型，在接近饱和的 AgentDojo 上，完美的预分发路由器最多只值 2 个点的 harm。论文还发现，知道面对哪个模型的攻击者挑选注入模板后，可在留出重跑中让 GPT-5.4 对后到注入的判定识别率降低 19.6 个百分点，独立的词表标签复现了这一下降。

Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

研究者提出 Mind2Web-Injection 基准，用于评估网页 Agent 护栏中的视觉提示注入检测，包含 9,954 组指令与截图配对、指令相关标签、像素级证据框和匹配的图像侧反事实样本。在六个 VLM 上，平均精度几乎相同的两个模型在证据对齐检测（EAD，即既检出攻击又正确定位证据的比例）上相差九倍。为检验判定是否依赖被引为证据的指令，研究者把指令替换为认可该指令的版本，最强的开源定位模型 Qwen3-VL-32B 仅在 58.7% 的情况下返回对齐，而 GPT-5.6-luna 为 99.9%。作者还提出两种免训练干预：ReadGate 在不改变判定的前提下改善定位，CmdCompare 检验显式指令与命令比较能否解决指令侧不一致，并主张分别报告判定正确性、证据定位和反事实响应。该工作被 ECCV 2026 BEAM2 研讨会接收为口头报告。

UK AISI 与 Gray Swan 2025 年智能体红队挑战结果：180 万次尝试、6.2 万次攻破

Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月（2025 年 3 月 8 日至 4 月 6 日），共发起 180 万次攻击尝试，社区成功攻破 6.2 万次，覆盖 22 个模型（挑战期间匿名）和 44 种有害智能体行为，奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规（信息）和指令层级违规（动作）四类，并区分直接对话攻击与间接提示注入，同时测量过度拒答。161 名红队成员获奖，前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会，前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布，下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。

安远AI发布2026Q2前沿AI风险监测报告：风险指数不到一年增长数倍，多模型越过风险黄线

安远AI在2026年7月19日的世界人工智能大会上发布前沿AI风险监测平台2.0，包含风险指数2.0版、2026 Q2风险监测报告和前沿AI风险测评基准数据库三项更新。本期报告首次采用风险指数2.0版框架，将能力分对风险指数的影响从线性改为指数关系，把安全分拆分为基础安全分、越狱安全分和篡改安全分，并引入能力黄线与风险黄线，同时首次引入前沿越狱攻击技术。报告覆盖13家AI公司在2025Q3到2026Q2发布的47个前沿模型，包括GPT-5.5、Claude Opus 4.8、Grok 4.3、DeepSeek V4 Pro、Qwen 3.7 Max等。报告向模型开发者、AI安全研究者和政策制定者提出了相应建议。

Cisco LLM 安全排行榜新增图像与音频模态，Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首

Cisco LLM 安全排行榜自 6 月以来新增 102 项评测，覆盖文本、图像、音频三种模态，模型总数达 136 个，并首次加入 55 个图像模型和 14 个音频模型。图像测试中，Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首，Anthropic Claude Opus 4.5 以 93.7% 紧随其后，均属 85–100% 的“Excellent”区间；Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试，新增模态切换可单独查看文本、图像或音频得分。

TraceSafe-Bench：评估 LLM 护栏在多步工具调用轨迹上的表现

研究者提出 TraceSafe-Bench，用于评估 LLM 护栏在多步工具调用中间轨迹上的安全性，覆盖提示注入、隐私泄露、模型幻觉、接口不一致等 12 类风险，包含 1000 多个执行实例。团队评测了 13 个 LLM-as-a-guard 模型和 7 个专用护栏，得到三点结论：护栏效果更多取决于结构化数据处理能力（如 JSON 解析），与结构化到文本基准强相关（ρ=0.79，p<0.01），而与标准越狱鲁棒性无关联；轨迹检测准确率不随模型规模单调提升，通用 LLM 持续优于专用安全护栏；在原生上下文范围内检测准确率随轨迹变长而提升，但在极端长上下文场景下因过度拒答而下降。该工作已被 COLM 2026 接收。

Jev 与开源决策模型的提示注入检测器基准测试

该基准在同一台 Apple M4 机器上对比 Jev 1.13.0、Kev-4B、Kev-0.8B、Laya、GLiNER2.5-Decide、ProtectAI DeBERTa、Prompt Guard 2 和关键词规则在文档块注入与用户消息越狱两类任务上的表现。文档块测试中 Jev AUC 为 1.00、冻结阈值下召回 100%、误报 8%，Kev-4B 为 0.90 和 70%，Prompt Guard 2 为 0.83 和 19%；对不直接提及 AI 的隐蔽攻击，Jev 召回 97%，Kev-4B 62%，三个专用注入分类器接近随机水平。在 220 条 LLMail-Inject 真实人类攻击上，Jev 捕获 95%、误报 0%，Kev-4B 捕获 86%、误报 1%；作为邮件助手时 gpt-oss-120b 有 20/220 向攻击者地址发送邮件，Jev 前置时 0 条通过。

PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器

研究者提出 PIDS-Bench，一个冻结的多轴基准，在固定阈值下同时评测提示注入检测器的攻击检测能力与良性误报行为，覆盖分布内输入、模仿注入结构但无恶意的 hard-benign 提示、混淆攻击以及领域和结构分布偏移。评测涵盖七个检测器（学习型基线、外部提示注入分类器、广义安全对比模型）以及一个基于规则的下界参考。多轴评测暴露出聚合 F1 掩盖的失效模式：在留出集上 F1 超过 0.98 的检测器，仍会把来自公开语料、限定于安全相关内容的良性子集约三分之一误判。在完整阈值扫描和五个训练种子上，没有内部检测器能在该压力分布上同时满足 F1 >= 0.95 与 hard-benign FPR <= 0.10。

AgentDrift：逐步标注注入劫持 LLM Agent 轨迹的基准

作者发布 AgentDrift，一个包含 12,536 条合成工具调用轨迹的基准，覆盖五个 Agent 领域，71,024 个步骤每步标注为良性、注入点、被劫持或注入失败四类之一。语料含 4,000 条良性、5,536 条受攻击、1,500 条失败攻击和 1,500 条困难负样本轨迹，受攻击轨迹遵循三种合规模式，其标签串符合给定的正则文法；失败攻击保留被 Agent 抵制的注入，困难负样本则是形似攻击的合法内容，检测器需区分尝试与成功、偏离与新异。轨迹由单一开源模型按类别特定协议生成，经封闭词表结构校验器约束、LLM 评判器筛选，并对 1,200 条轨迹人工审计，作者指出 LLM 评判器本身被困难负样本骗过。

LongPIBench：面向长上下文提示注入的评测基准

研究者提出 LongPIBench，一个覆盖论文评审、简历筛选、代码审查和邮件摘要四个真实场景的长上下文提示注入评测基准，每个场景包含合成数据集与真实数据集，上下文长度从数千到数万 token。评测显示，在无防御时简单启发式攻击即可取得高攻击成功率，例如 Combined Attack 在合成论文评审数据集上 ASR 达 100%；作者新提出的 Authority spoof 攻击在所有启发式攻击中 ASR 最高，在 GPT-4.1 和 GPT-4o 的论文评审与简历筛选任务上超过 0.75。基于 GCG 的优化攻击效果更强，在论文评审和简历筛选上 ASR 达 1.00。作者指出，注入位置在文档中部或末尾时 ASR 更高，且单个注入提示可同时实现多个对抗目标。代码与数据已开源于 GitHub。

研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架

作者审计了一个针对工具调用型 LLM Agent 的间接提示注入（IPI）基准及其评测装置，归纳出四类缺陷：载荷静默未投递、按工具身份而非参数判定攻击成功、把误拒率与模型能力不足混为一谈、缺少审计轨迹。用同一批执行轨迹重新打分后，按工具身份判定的评分器报告 21.7% 攻击成功率，而按参数判定的真实值为 1.2%，虚高约十八倍；审计套件中 43 个攻击载荷有 39 个（91%）从未投递。修正后，此前报告攻击成功率 62.8% 的 llama3.1:8b 降至 0%（43 次攻击中 0 次得手），该模型在 41 次攻击中读到了注入内容、72% 的攻击场景完成了良性部分，但均未执行恶意指令；此前归因于 gemma4:12b 的“工具绑定障碍”也被证明是环境不匹配造成的假象。

ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架

作者提出 ORBIT，一个基于 UK AISI Inspect 构建的可配置多智能体安全与安全评测框架，用于在真实多智能体环境中联合变化攻击、防御与架构。框架允许配置通信拓扑、记忆、调度和智能体角色，支持四类威胁、四种防御策略以及非对抗性失败，基准套件覆盖浏览器使用、计算机使用、智能体编码、客服和协作分配五个场景族。核心发现是防御在不同威胁间不可迁移：在多议题编码任务中把被攻陷智能体的攻击成功率降低 60 个百分点的逐动作防御，对相互串通的智能体没有可测量的保护，且所测试的防御没有一个能泛化到全部攻击。作者还展示了安全与性能的权衡以及架构与防御效果之间的相互作用，并将 ORBIT 开源。

论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

论文评估了 Jev、Laya、Decider 和 Bespoke Nimble 等 System One 模型在 Agent 安全决策中的可靠性，并与专用分类器和语言模型裁判对比，考察决策准确率、概率校准和选择性自动化。作者发现，整体表现良好和总体校准较优可能掩盖集中在特定攻击组上的失败，包括被高置信度判为安全的攻击；所评估的适配配置在各任务上并未稳定优于其基座模型。在最严格的误差限制下，策略能自动放行的输入很少，而将放行与拦截阈值分开主要靠更多拦截来提升自动化程度，且通过确认并不保证这些限制在测试集上成立。裁判模型能发现另一个模型漏掉的攻击，但也可能误标更多良性输入，并共享对方的高置信度错误。

Google DeepMind 发布 Gemini 4 Argon，先向可信网络防御者开放

Google DeepMind 发布前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向一批可信网络防御者开放，并参与美国政府的前置模型访问自愿流程，之后再逐步扩展到开发者、企业和消费者。Argon 面向长周期复杂工作流，输出 token 上限从 64K 提升到 1M，在 DeepSWE v1.1 上取得 77.9%，在 LVBench 长视频理解上取得 91.7%，在 Zapier 的 AutomationBench 上以 51.3% 排名第一。

Claude Opus 4.5 发布，以及为何评测新 LLM 越来越难

Anthropic 发布 Claude Opus 4.5，称其为“全球最强的编程、智能体与计算机使用模型”，上下文 200,000 token、输出上限 64,000 token，定价 $5/$25 每百万 token。作者在 Claude Code 中实测该模型完成 sqlite-utils 的 20 次提交、39 个文件改动，但预览到期切回 Sonnet 4.5 后进度未变，难以确认能力差异。Anthropic 称 Opus 4.5 抗提示注入强于任何前沿模型，但作者指出单次注入仍有 1/20 成功率，十次尝试可升至 1/3。

Jev 被用于零样本检测十类对齐失败，中位 AUROC 达 0.886

研究团队提出 RLCDAlignBench，在谄媚、越狱、欺骗、提示注入、幻觉、隐私侵犯、社会偏见、奖励作弊、隐瞒不确定性和权力寻求这十类对齐失败上评测经 RLCD 训练的模型 Jev，覆盖 44 个基准和 5 个目标模型。

Boris Cherny 称 Opus 5 是 Anthropic 最难被提示注入的模型

Anthropic 的 Boris Cherny 表示，Opus 5 是他们目前最难被提示注入的模型，这一结论写在 System Card 第 73 页，依据是提示注入评测与红队测试结果。他认为这一信息在 System Card 中被埋得较深，但比各项评测分数更令他兴奋。

BAIT：通过反演攻击目标扫描大语言模型后门