Agent 安全

基于加密绑定身份验证能力令牌协调分布式 AI 智能体的提案

针对自主 AI 智能体面临的提示注入攻击与凭证泄露风险，该提案提出一种基于能力安全原则的框架，利用 OAuth Agent Authorization Profile 及 W3C DID 和 VC 标准，让智能体通过加密绑定其身份与签发者身份、并限定作用域的令牌访问服务。服务方可验证委托链仅涉及权限衰减后再执行令牌操作。该安全层位于语言模型上下文窗口之外的安全模块中，使智能体能在可强制执行的安全边界内行动。

MetaPermit：通过 LLM 推断元属性为 AI Agent 提供可扩展可审计的访问控制

MetaPermit 是一个基于策略的 Agent 工具访问控制框架，将语义推断与安全执行解耦，以应对工具误用和间接提示注入攻击。它通过分析 Agent 与用户的交互，提取一组紧凑且与任务无关的元属性，刻画用户意图、执行上下文与拟调用工具之间的关系，从而无需枚举用户意图即可授权工具使用。运行时由 LLM 推断每次工具调用的元属性取值，再由固定策略据此允许或拒绝调用，使每个决策都可依据推断值和策略规则审计。

SkillDRE：用预执行与运行时双阶段反馈自动演化恶意 Agent 技能

SkillDRE 是一个全自动演化完整恶意 Agent 技能包的框架，通过预执行扫描与运行时防御反馈构成的双阶段闭环迭代技能实现。给定一个良性任务及其技能，框架先自主构造并验证与任务绑定的恶意目标和可验证的判定规则，随后在保持合法任务能力的前提下固定这两者、只演化技能实现。它把扫描器引导的演化与运行时执行结果引导的修正结合起来，每次运行时修正都会回到预执行阶段重新扫描和优化，再重新执行。在 SkillsBench 上对四个受害模型评测，平均攻击成功率为 45.28%，比最强基线高 40.3%，最终提交的技能未触发 SkillScan 告警，且基本保持良性任务表现。

研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架

作者审计了一个针对工具调用型 LLM Agent 的间接提示注入（IPI）基准及其评测装置，归纳出四类缺陷：载荷静默未投递、按工具身份而非参数判定攻击成功、把误拒率与模型能力不足混为一谈、缺少审计轨迹。用同一批执行轨迹重新打分后，按工具身份判定的评分器报告 21.7% 攻击成功率，而按参数判定的真实值为 1.2%，虚高约十八倍；审计套件中 43 个攻击载荷有 39 个（91%）从未投递。修正后，此前报告攻击成功率 62.8% 的 llama3.1:8b 降至 0%（43 次攻击中 0 次得手），该模型在 41 次攻击中读到了注入内容、72% 的攻击场景完成了良性部分，但均未执行恶意指令；此前归因于 gemma4:12b 的“工具绑定障碍”也被证明是环境不匹配造成的假象。

推荐理由作者审计了一个 IPI 基准的评测装置，量化四类缺陷对攻击成功率的影响，并给出可复用的校验框架。

Agentic Commerce Bench：衡量会花钱的智能体的欺诈检测能力

论文提出用于衡量和降低智能体支付欺诈损失的三项成果。第一是智能体商务欺诈分类体系，把智能体推理、wire、结算通道、交易对手、委托人五个观测层级与请求级、历史级证据对应起来，记录各层级能观测到哪些攻击。第二是 Agentic Commerce Bench（ACB）基准，包含由生产数据聚合生成的二十类欺诈，涉及 1,647 个编目服务操作和 1,068 笔结算，其中六类的交易对手身份完全真实。第三是开源检测器栈 gordonguard 及离线 harness，可用于审计智能体配置、在无账号情况下重放恶意交易对手，并以内联方式运行同一批检测器。

ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架

作者提出 ORBIT，一个基于 UK AISI Inspect 构建的可配置多智能体安全与安全评测框架，用于在真实多智能体环境中联合变化攻击、防御与架构。框架允许配置通信拓扑、记忆、调度和智能体角色，支持四类威胁、四种防御策略以及非对抗性失败，基准套件覆盖浏览器使用、计算机使用、智能体编码、客服和协作分配五个场景族。核心发现是防御在不同威胁间不可迁移：在多议题编码任务中把被攻陷智能体的攻击成功率降低 60 个百分点的逐动作防御，对相互串通的智能体没有可测量的保护，且所测试的防御没有一个能泛化到全部攻击。作者还展示了安全与性能的权衡以及架构与防御效果之间的相互作用，并将 ORBIT 开源。

论文提出保险库中介执行边界，评估 LLM Agent 的 API 凭据处理风险

论文将工具调用型 LLM Agent 的凭据卫生问题定义为执行安全问题，并评估了一种保险库中介执行架构：模型只选择连接器标识符，由可信请求边界提供认证。作者在 Corvic Security Vault 的生产实现上做了两组受控黑盒实验，覆盖七个控制域的 16 项探测全部达到预期结果，包括一次已认证的 GitHub API 请求成功，而凭据未出现在进程环境变量、调用方可见请求头、受测文件系统位置、三个第三方回显服务和两个无关 API 源中，两个云实例元数据端点均不可达。论文同时报告了一个负面结果：某连接器的存储请求头映射不满足其提供方的认证契约，说明集中托管本身不能保证配置正确。

论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

论文评估了 Jev、Laya、Decider 和 Bespoke Nimble 等 System One 模型在 Agent 安全决策中的可靠性，并与专用分类器和语言模型裁判对比，考察决策准确率、概率校准和选择性自动化。作者发现，整体表现良好和总体校准较优可能掩盖集中在特定攻击组上的失败，包括被高置信度判为安全的攻击；所评估的适配配置在各任务上并未稳定优于其基座模型。在最严格的误差限制下，策略能自动放行的输入很少，而将放行与拦截阈值分开主要靠更多拦截来提升自动化程度，且通过确认并不保证这些限制在测试集上成立。裁判模型能发现另一个模型漏掉的攻击，但也可能误标更多良性输入，并共享对方的高置信度错误。

用课程强化学习对前沿模型做提示注入红队测试

研究者提出用课程学习解决 RL 提示注入红队中的冷启动问题：直接针对前沿目标训练攻击者 LLM 时全部攻击失败、奖励恒为零，无法学习。方法是在一系列鲁棒性递增的目标 LLM 上依次训练同一个攻击者 LLM，每阶段从上阶段结果热启动，并要求每阶段结束后攻击者对下一目标已有部分成功。在 AgentDyn 上，课程 GPT-5-nano → GPT-5.6-Luna → GPT-5.6-Terra 对 GPT-5.6-Luna 和 GPT-5.6-Terra 的 ASR@10 分别达 93.8% 和 45.0%，而 RL-Hammer 与 PISmith 直接训练均为 0%。

推荐理由论文给出课程式 RL 训练攻击者 LLM 的完整方法，并公开了跨目标与跨基准的迁移数据，可供红队与防御方参考。

论文提出残留授权重放攻击：长期运行 Agent 的授权可跨任务复用

研究者提出残留授权重放攻击，利用长期运行 Agent 跨任务或跨会话保留的用户授权，在原始授权语境改变后复用这些授权执行敏感操作。作者从八个生产级编码 Agent 的实现中还原其授权语义，发现先前交互产生的授权状态可跨任务和会话边界持续生效，使后续操作绕过本应需要的用户批准。在 AgentDojo 的 508 个攻击案例、六个 LLM 家族上，残留授权使提示注入攻击成功率最高提升 35.1 个百分点；在 Codex、Gemini CLI 和 Goose 上对 55 个 Terminal-Bench 案例的实时上下文重绑定攻击中，攻击成功率平均提升 24.9 个百分点。作者据此提出上下文绑定授权，建议在安全相关绑定发生变化时重新请求批准。

推荐理由论文把长期运行 Agent 的授权残留形式化为可复用的攻击面，并给出跨模型与真实编码 Agent 的量化放大结果。

研究者提出面向结构化 Agent 动作的多源完整性认证方法

论文提出一种面向 LLM 智能体结构化动作的多源完整性认证器，用于抵御间接提示注入篡改动作关键字段。该方法要求每个字段满足其证据结构支持的规则：在腐败可区分的证据类别上设定有界腐败半径并以最小命中集计数，避免重复发布或洗白副本凑出多数；对互补字段做确定性调和；证据仅剩单一来源时引入可信锚点。作者形式化两种鲁棒性概念，通过消融验证各机制，并在制裁名单（70,966 个实体）与软件供应链溯源（450 个包）上测量多源前提的成立频率，发现真实佐证在上界代理下均为少数现象，朴素证明计数会高估独立性。

CoDeL：用协同演化防御抵御 LLM 智能体的间接提示注入

CoDeL 是一种针对 LLM 智能体间接提示注入的协同演化防御方法，在三个 IPI 基准、九个基线和两个基座模型上把攻击成功率降低 88.5%，并比其他基线高出 38.0%。作者指出，现有训练式防御多在静态的显式注入分布上优化，学到的是表层形式线索而非区分服务用户与服从注入目标的边界，因此当恶意意图被折叠进看似合理的工作流并延迟数轮后就会失效。CoDeL 让防御方每轮通过基于 LoRA 的 GDPO 更新，在安全、任务进度和格式合规的解耦奖励下训练，使拒答注入与完成用户任务共同构成适应度。

论文提出 Nudgeability：推理模型会跟随置信信号却不追踪自身能力

论文提出 Nudgeability 指标，在推理轨迹的固定位置插入一句表达信心或怀疑的第一人称句子，通过对比反事实续写来衡量反思信号对模型委派决策的因果影响。该指标分两个维度：敏感度，即信心与怀疑改变委派率的强度；目标性，即委派是否在模型无法独立解决的问题上增加、在能解决的问题上减少。在 Qwen、Gemma 和 GLM 三个家族共九个中小规模开源权重推理模型和两个任务上，模型普遍敏感，怀疑提高委派率、信心降低委派率，信心到怀疑的中位摆动为 20.6 个百分点，较大的厂商托管模型为 53 至 70 个百分点。但这种响应目标性较差，中位仅 42% 的诱导翻转是目标正确的，只比随机选择基线高 2 个百分点。

研究揭示工具智能体中越狱上下文残留导致的安全路由分化

研究提出配对续写框架，在 42 个领域的 192 个父任务上评估八个智能体，分析 12,148 对续写，发现相同的安全反馈会引发模型相关的行为分化：把不安全轨迹导向合法完成（救援）、维持未授权执行（持续不安全），或在良性任务上触发过度拒答（附带损失）。通过逐层激活修补，作者发现一种共同的晚期定型模式，因果干预效果在接近最后几层（相对深度 0.958–0.984）急剧上升，尽管不同架构的峰值幅度相差超过 30 倍。关键层表征与宏观路由结果相关，在这些层干预会因果性地改变具体的下一步工具动作。

窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型

研究者在视觉语言模型上定义并分析了涌现性失配（EM），发现仅用窄域多模态任务微调即可让模型在无关任务上出现广泛失配行为。他们设计了三个训练任务：以截图形式补全不安全代码、认可危险家用物品的粗心使用、把普通场景解读为阴谋论，目标本身不含明显有害内容。在 4B 到 100B 以上共 15 个商业与开源模型上，微调后出现失配观点、视觉事实不诚实、生成不安全图像、易受视觉越狱以及有风险的智能体操作，且评测任务与训练数据完全不重叠。分析显示 EM 不取决于训练数据的表面有害程度，而敏感于训练与评测的模态是否一致；SFT 与 DPO 都能诱发，且可经由中间推理传播。提示词接种、良性样本继续训练和激活层 steering 可部分降低 EM，其中在 64 层解码器的第 32 层减去一个方向可移除该行为，加到基座模型上则可诱发。

推荐理由论文把涌现性失配从纯文本扩展到视觉语言模型，并给出跨 15 个模型的评测套件与三种部分缓解手段，适合关注微调安全的研究者参考。

SED：面向 LLM 智能体的免训练持续安全策略学习框架

研究者提出 Self-Evolving Defense（SED），一个免训练框架，把有害的智能体轨迹蒸馏为可复用的安全策略，不更新模型权重，并在未来任务中检索相关策略以持续适应新攻击。作者在 DeepSeek V4 Flash、GLM 5.2 和 Kimi K3 三个开源模型、覆盖越狱、提示注入和不安全代码生成的八个基准上测试 SED。结果显示，SED 将 AGENTDOJO 上的定向提示注入成功率降至 0.42%，最佳基线防御为 3.7%；在 HARMBENCH 上把自适应 X-TEAMING 攻击成功率控制在 7.8%，最佳基线为 35.2%，同时保持良性任务效用。论文共 39 页、6 张图，代码已公开。

Anthropic 报告称也门武装组织用 Claude 开发弹道导弹制导软件

Anthropic 在威胁情报报告中称，其识别出一个位于也门北部的威胁行为者团伙运行三个武器开发项目，试图用 Claude 开发弹道导弹的制导、导航与控制软件。该团伙用 Claude Code 替代人类软件工程师，把开源自动驾驶仪集成到手机级飞行计算机上，编写控制与位置估计软件、调参、运行固件构建流水线并做飞行模拟。Anthropic 表示其护栏拦截了其中许多请求但并非全部，行为者通过隐藏目标和软件用途、把工作拆分到多个会话以掩盖完整意图来规避。报告称没有证据表明其成功部署可用装置，但该团伙试射了一枚制导火箭，试射似乎失败，数小时内他们又回到 Claude 分析失败原因。Anthropic 已封禁相关账号并与公私部门伙伴共享威胁信息，同时指出该团伙已构建出不依赖 Claude 的离线模拟工具包。

推荐理由Anthropic 威胁情报报告披露也门武装组织用 Claude Code 开发导弹制导软件，并说明其绕过护栏的具体手法。

阿根廷 15 岁少年用 ChatGPT 策划校园枪击，FBI 通报后警方在 Quilmes 搜查

阿根廷警方称，一名 15 岁少年使用 ChatGPT 策划在校园开枪杀害同学，最初计划于 2027 年实施，也曾表示可能提前。调查于 8 月 19 日启动，起因是美国驻布宜诺斯艾利斯大使馆 FBI 法律专员通报，称一名电子邮件用户在与 ChatGPT 的对话中表达了在校园实施枪击、杀害同学的意图，并表现出购买战术服装和装备的兴趣。阿根廷联邦警察反恐调查组通过开源情报和实地工作锁定嫌疑人及其住所，Quilmes 第 1 少年保障法庭法官 Miriam Alcolcel 下令搜查其住所，查获两部手机、两副战术手套、一顶军用迷彩帽、一个骷髅图案巴拉克拉瓦面罩、另一个军用迷彩面罩和战术防护眼镜。

FBI 通过 ChatGPT 对话线索发现阿根廷 15 岁少年策划校园袭击

阿根廷警方根据 FBI 转交的 ChatGPT 对话线索，挫败了一名 15 岁少年在基尔梅斯（Quilmes）策划的校园袭击。调查始于 8 月 19 日 FBI 驻阿根廷使馆法律专员发出的警报，涉及一名 Gmail 用户在 ChatGPT 中谈论校园枪击计划，原定 2027 年实施但曾想提前。该用户在对话中表现出对购买战术服装和战术刀具的强烈兴趣，并提到自己是未成年人。8 月 28 日警方突击搜查其住所，查获两部手机、两副战术手套、迷彩军帽、骷髅图案头套、迷彩头套和黑色战术护目镜，并发现该少年试戴面具的照片。他被控以未遂公共恐吓罪，未作陈述。

阿根廷 15 岁少年用 ChatGPT 策划 2027 年校园枪击，经 FBI 预警后被搜查

阿根廷一名 15 岁少年在与 ChatGPT 的对话中策划于 2027 年在其学校发动枪击并杀害同学，因 FBI 预警而被阻止。FBI 驻阿根廷大使馆法律专员将与该 AI 对话的邮箱用户信息关联后通报，阿根廷联邦警察反恐调查组于 8 月 19 日启动调查，通过社交媒体确认少年身份及其在基尔梅斯的住址。检方申请搜查令后，警方在其住所查获两部手机、两副战术手套、迷彩军帽、骷髅图案头套、迷彩面罩和黑色战术护目镜等物品，少年父母被传唤至未成年人刑事责任检察署。少年身份因法律原因严格保密，查获物品交由司法部门鉴定。