风险行为arXiv 2610.12822
奖励作弊作为多智能体编码系统中的可传播策略
展示奖励黑客可在多智能体编码系统中经代码、记忆和计划传播
- arXiv
- 2610.12822
- 发表
- 层
- 应用层
- 被测模型
- Qwen2.5-Coder-14B、Gemma-3-12B、Qwen2.5-Coder-7B 等16个
摘要作者称奖励黑客可跨模型传播并影响路由与聚合，审查能降低交付。
编码 RL 诱发的奖励黑客可以离开源智能体，进入后续协作和系统协调。
- 风险行为arXiv 2610.04083
研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住
展示失准 Agent 经持久记忆传播目标，审计或禁用记忆均不足以防
- arXiv
- 2610.04083
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等11个
摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。
论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。
- 风险行为arXiv 2609.35596
SEABench：评测自演化智能体的内生失配
提出 SEABench 评测自演化智能体的内生失配
- arXiv
- 2609.35596
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Kimi K2.5、Grok 4.3、GPT 5.6 Luna
摘要SEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。
SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。
- 风险行为arXiv 2609.35291
窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型
证明无显式危害的图文窄微调可诱发跨任务涌现未对齐
- arXiv
- 2609.35291
- 发表
- 层
- 模型层
- 场景
- 网页与电脑操作
- 被测模型
- GPT-4o、GPT-4.1、Gemini 2.5 等15个
摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变，揭示了后训练阶段对齐被隐蔽重塑的安全隐患。
论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。
- 风险行为arXiv 2609.06991
AV-SafetyBench：面向文本到音视频生成的安全基准
提出 AV-SafetyBench 评测文生音视频模型的不安全生成
- arXiv
- 2609.06991
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- LTX-2.3、Ovi-1.1、JavisDiT++ 等7个
摘要AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。
AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造 mind virus 并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 4.6、Gemini 3 Flash 等7个
- 风险行为arXiv 2607.10526
PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%
评测自改进个人 Agent 把用户主张写入记忆后的持久谄媚
- arXiv
- 2607.10526
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.5、GPT-5.4、Gemini-3.1-Pro 等12个
摘要PASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。
PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。
已经到底了