风险行为arXiv:2609.35799 · 9月18日
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
AI Agent测试GLM 5.2、GLM 5.3、Kimi K3 等 9 个应用层
- 失准与价值偏离
- 权限与沙箱
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
完整解读
评测与基准arXiv:2607.10526 · 7月12日
PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%
构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚
AI Agent测试GPT-5.5、GPT-5.4、Gemini-3.1-Pro 等 12 个应用层
- 失准与价值偏离
- 记忆
摘要PASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。
PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。
完整解读
评测与基准arXiv:2609.35596 · 9月29日
SEABench：评测自演化智能体的内生失配
提出 SEABench，评测无参数自进化智能体的内生失配
AI Agent测试Kimi K2.5、Grok 4.3、GPT 5.6 Luna 等 4 个应用层
摘要SEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。
SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。
完整解读
评测与基准arXiv:2609.32616 · 9月26日
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体遭虚假指责后是否破坏已正确的工作
编程 Agent测试Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个应用层
- 提示注入
- 失准与价值偏离
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
完整解读
评测与基准arXiv:2609.17320 · 9月15日
Emergence World：对长时程多智能体系统开展对抗压力测试
构建 Emergence World，评测长时程多智能体对抗韧性与群体失效
多智能体测试Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个应用层
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
完整解读

已经到底了

Agent 安全 · 论文

攻击类型

模型自身风险

影响

系统形态

攻击面/入口

层

系统组件

被测模型厂商

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%

SEABench：评测自演化智能体的内生失配

Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

Emergence World：对长时程多智能体系统开展对抗压力测试