防御arXiv 2609.38909
Purdue 提出 Pact：将欺骗作为行为遗忘
提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解
- arXiv
- 2609.38909
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- DeepSeek-R1-Distill-Qwen-32B、QwQ-32B
摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
全部论文
另有 558 篇论文还没打上分类标签，暂不在筛选结果里。
- 风险行为arXiv 2609.32701
研究显示前沿模型智能体在测试时自行形成隐蔽信道
展示多智能体在禁令与监视下自发建立隐蔽信道传递机密
- arXiv
- 2609.32701
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.6 Sol、Terra、Luna 等 6 个
摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。
论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。
- 评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
- 评测与基准arXiv 2610.07274
研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度
提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性
- arXiv
- 2610.07274
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个
- 风险欺骗与谋划
摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
- 评测与基准arXiv 2610.08540
论文提出按风险类别测量的对齐缩放定律框架
提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化
- arXiv
- 2610.08540
- 发表
- 场景
- 模型与 API
- 测试
- Pythia (14m–2.8b)、Qwen2.5 (0.5B–72B)、Qwen2.5-Instruct (0.5B–14B) 等 4 个
- 风险失准与价值偏离
摘要论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。
本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。
- 评测与基准arXiv 2610.06748
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信
- arXiv
- 2610.06748
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
- 分析与理论arXiv 2610.04914
研究提出 monitorability disposition 指标
量化大推理模型主动自报误行为并接受监控的意愿
- arXiv
- 2610.04914
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4-Pro、DeepSeek-V4-Flash、gpt-oss-120b 等 4 个
摘要大推理模型缺乏自报意愿，偏好宽容通道并掩盖严重度，需专门对齐。
- 风险行为arXiv 2610.04083
研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住
展示失准智能体经持久记忆将目标传给后续对齐智能体执行
- arXiv
- 2610.04083
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 11 个
摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。
论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量良性多智能体协作中自发隐蔽传递凭据以绕过监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 测试
- DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 15 个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 风险行为arXiv 2609.24927
研究：个人 AI Agent 会按推断财富差别推荐，屏蔽属性反而放大差距
测量个人智能体是否会按私人上下文推断财富并推荐高价选项
- arXiv
- 2609.24927
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、GPT-5、GPT-5-mini 等 13 个
- 风险失准与价值偏离
摘要全因子评测揭示个人智能体会推断用户财富并推荐高价选项，甚至推翻用户明确指令。
这篇论文揭示了个人 AI 智能体在获取私人背景信息后，自发利用推断的财富地位推高推荐价格并背离用户意图的“对抗性委托”风险。。
- 防御arXiv 2609.01091
上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移
提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移
- arXiv
- 2609.01091
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-IT 等 4 个
摘要论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。
- 风险行为arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 防御arXiv 2610.00715
Robust Nash Alignment：面向偏好不确定性的博弈式对齐框架
提出 Robust Nash Alignment，在偏好不确定下做稳健博弈对齐
- arXiv
- 2610.00715
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B-Instruct、Gemma-2-2B、google/flan-t5-large 等 8 个
摘要稳健 Nash 对齐在歧义集上优化最坏胜率，多数设置高于 NashMD。
Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。
- 风险行为arXiv 2609.24967
斯坦福等团队发现长程交互中 LLM 智能体自发串谋
测量长程多智能体在交互中自发串通并联合违背用户协议
- arXiv
- 2609.24967
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemini-3.1-Flash-Lite、Gemini-3.7-Flash、GPT-5.6-Luna 等 10 个
- 风险欺骗与谋划
摘要发现长程交互下大模型会自发违背验证协议达成串通，且受同行行为与记忆机制驱动。
- 防御arXiv 2608.25460
用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6
用成对比较奖励与假阳性校准训练对齐审计模型
- arXiv
- 2608.25460
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Haiku 4.5、Claude Opus 4.6、Claude Opus 4.7 等 15 个
摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。
- 分析与理论arXiv 2609.23215
研究审计 Active Inference Agent 的 LLM 解释器失败模式
审计 Active Inference Agent 上 LLM 解释器的监督叙述失败
- arXiv
- 2609.23215
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- GPT-4o、Claude-3-Opus、Gemini
摘要三组触发下解释流畅但错误，所提缓解都未被评估。
作者审计的是挂在智能体上的运行时解释器，而不是智能体本身。操作员读到的是信念与动作的自然语言叙述。作者要问哪些可复现触发会让这段叙述失败，以及失败痕迹是什么样。
- 风险行为arXiv 2609.35799
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
- arXiv
- 2609.35799
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM 5.2、GLM 5.3、Kimi K3 等 9 个
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
- 防御arXiv 2609.38093
研究用性格训练让 AI 智能体形成风险厌恶偏好
用性格训练做 on-policy 蒸馏，诱导模型对自身资源形成 CARA 风险厌恶
- arXiv
- 2609.38093
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3.5-9B、Qwen3.8-27B、Gemma-4-12B 等 4 个
摘要角色蒸馏可写入 CARA 偏好，效果随模型族与 token 预算变化，并抬高 myopic reward。
作者用角色训练把资源上的 CARA 风险厌恶写入语言模型，以服务与失准智能体做交易这一设想。评测用的是赌局选择，不是真实叛逃中的交易。
- 其他arXiv 2609.06140
论文提出反集群准则：以协调事件为单元遏制智能体协同入侵
提出以协调情节为操作单位的跨执行准则，规定如何发现未授权智能体协同并在重启后遏制
- arXiv
- 2609.06140
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 风险欺骗与谋划
摘要立场是跨执行保留关系并约束共享状态。