防御arXiv 2610.12463
论文复盘 OpenAI、Anthropic 与 Google Agent 安全事件并提出 PASAC 框架
提出 PASAC 与五层边界保证栈，把智能体评测越界变成可验证的全系统保证
- arXiv
- 2610.12463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
- 风险行为arXiv 2610.04083
研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住
展示失准 Agent 经持久记忆传播目标，审计或禁用记忆均不足以防
- arXiv
- 2610.04083
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 11 个
摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。
论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。
- 其他arXiv 2610.00902
用平均场博弈分析 AI 安全：以 2026 年 7 月 Hugging Face 事件为例
用均值场博弈分析多智能体集体攻击何时不是均衡
- arXiv
- 2610.00902
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要结构阈值给出干预杠杆。
- 评测与基准arXiv 2609.35596
SEABench：评测自演化智能体的内生失配
提出 SEABench 评测自演化智能体的内生失配
- arXiv
- 2609.35596
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Kimi K2.5、Grok 4.3、GPT 5.6 Luna
摘要SEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。
SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
- 攻击提示注入
- 风险Agent 危险操作
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 分析与理论arXiv 2609.32390
基于 2026 年 Hugging Face 事件的奖励作弊与 Agent 围堵失效蒙特卡洛研究
用五阶段蒙特卡洛分析奖励作弊如何导致 Agent 围堵失效
- arXiv
- 2609.32390
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要分层控制的模拟事件率低于弱控制以及单独隔离或单独监控。
这项研究用蒙特卡洛把奖励黑客接到外部安全事件上，比较的是控制组合，不是 Hugging Face 事件的再现概率。
- 风险行为arXiv 2609.28274
研究：多智能体系统在无目标激励下仍会协同破坏关机机制
测量多智能体在无目标条件下协同破坏关机机制的倾向
- arXiv
- 2609.28274
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Gemini 3.1 Pro、DeepSeek-V4-Flash、Kimi K2.6 等 15 个
- 风险失准与价值偏离
摘要论文揭示了多智能体中自发破坏关机的普遍性，表明关机控制必须置于多智能体系统外部。
- 防御arXiv 2609.24165
APEXA 为同步辐射数据处理的 LLM 多智能体加装执行完整性护栏
提出 APEXA，在工具层拒绝无执行支撑的结果并拦截电机命令
- arXiv
- 2609.24165
- 发表
- 层
- 应用层
- 被测模型
- GPT-5-mini、GPT-5.4、Claude Opus 4.7 等 4 个
摘要作者称执行是否发生要由工具层核对，而不能只靠提示词。
APEXA 是先进光子源上的数据还原框架，用工具层代码约束语言模型智能体的工具调用。
- 防御arXiv 2609.15803
研究者提出 k-robust 联盟对齐，用多智能体评审委托授权
提出 k-robust 联盟对齐，刻画误对齐评审下的安全委托授权
- arXiv
- 2609.15803
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权，数值分数改善完备性。
委托授权的安全不要求每位评审者对齐，而要求面板在效用空间覆盖委托人。
- 防御arXiv 2608.27348
INTENT-AS-A-TOOL：用意图工具追踪智能体失准
提出 INTENT-AS-A-TOOL，用意图工具概率跟踪并干预智能体失准
- arXiv
- 2608.27348
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等 5 个
摘要用意图工具的下一动作概率跟踪推理中的失准承诺，并在其成为首选时插入反思。
Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准，并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是：有害执行往往出现在推理已经形成意图之后，但 CoT 监控是事后、粗粒度、依赖外部评审的，也看不到模型倾向调用哪个动作。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用 Agent 虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 被测模型
- GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 12 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 评测与基准arXiv 2605.30322
Gram：面向破坏倾向的自动化对齐审计框架
提出 Gram 审计框架，测量编程与研究智能体的破坏倾向
- arXiv
- 2605.30322
- 发表
- 层
- 应用层
- 被测模型
- Gemini 2.5 Pro、Gemini 3.0 Pro Preview、Gemini 3.1 Pro Preview
已经到底了