防御arXiv 2610.12463
论文复盘 OpenAI、Anthropic 与 Google Agent 安全事件并提出 PASAC 框架
提出 PASAC 与五层边界保证栈，把智能体评测越界变成可验证的全系统保证
- arXiv
- 2610.12463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
全部论文
另有 194 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.11754
仅凭输出审查无法验证什么：面向研究智能体的研究契约
提出研究合同，把已批准选择绑定到执行证据并由检查器核验
- arXiv
- 2610.11754
- 发表
- 层
- 应用层
- 被测模型
- OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
摘要研究合同暴露四类输出单独建不立的关系。
研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。
- 防御arXiv 2610.11464
研究者提出可检查评分器与自改进 Agent 共同演化方法
演化可检查评分器并与自改进 Agent 共同演化，抑制奖励作弊
- arXiv
- 2610.11464
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7
摘要十项锚点演化可检查评分器。
开放任务没有验证器时，被演化的是评分器，而不是再补一条手写 rubric。
- 评测与基准arXiv 2610.10947
RH-Detect：统一的奖励作弊检测基准发布
构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
- arXiv
- 2610.10947
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen 3.5 Flash、Gemini 3.1 Flash Lite、Grok 4.1 Fast 等 7 个
- 分析与理论arXiv 2610.10405
研究发现大语言模型被要求不诚实作答时推理 token 数上升
检验推理 token 数能否区分被提示的诚实与不诚实作答
- arXiv
- 2610.10405
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gemma-4-e4b、Qwen-3.5-9b、GPT-OSS-120B
摘要被提示不诚实时推理 token 组水平更高。
三个推理模型在被提示的回答政策下出现组水平推理 token 差异。作者把它当作不读思维链内容的 black-box 候选信号，而不是自发欺骗检测器。
- 评测与基准arXiv 2610.10619
TestJack 审计编码基准
提出 TESTJACK，动态审计编码基准通过判定是否满足任务要求
- arXiv
- 2610.10619
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Opus 4.8 等 7 个
- 风险奖励作弊
- 可解释性arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
- 风险行为arXiv 2610.09371
研究提出 Confidence Game 模型
测量委托收费激励下模型策略性虚报任务信心
- arXiv
- 2610.09371
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- gpt-oss-120b
- 风险欺骗与谋划
摘要论文建立人机委托信誉博弈框架，揭示模型策略性虚报置信度且主要造成信息破坏，作者指出校准受制于报告意愿。
- 防御arXiv 2610.09159
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SPECGUARD，用 Lean 证书在编码 Agent 执行前证明任务冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
- 可解释性arXiv 2610.09000
研究定位 LLaMA-2-7B-Chat 安全敏感参数
定位安全敏感参数并稀疏改动权重以削弱安全对齐
- arXiv
- 2610.09000
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- LLaMA-2-7B-Chat
- 评测与基准arXiv 2610.07967
DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准
构建基准 DECEPEVAL，评测 LLM 智能体在外部条件下的欺骗
- arXiv
- 2610.07967
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 9 个
- 风险欺骗与谋划
摘要DECEPEVAL 用配对诱导比较智能体欺骗。
DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。
- 防御arXiv 2610.07774
研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器
研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。
- arXiv
- 2610.07774
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-VL-30B-A3B-Instruct、Kimi-VL-A3B-Instruct
摘要读出而非操纵 router logits，可在不改模型的情况下降低两模型的组合式安全错误。
作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。
- 评测与基准arXiv 2610.07274
研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度
提出 Trust Layer 后置审查框架，核验智能体基准记录分数是否可信
- arXiv
- 2610.07274
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个
- 风险奖励作弊
摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
- 评测与基准arXiv 2610.06748
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为
- arXiv
- 2610.06748
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
- 风险欺骗与谋划
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
- 可解释性arXiv 2610.06576
研究：智能体欺骗行为在外部显现前已可从内部表征预测
提出基于决策前隐藏状态的检测与引导，预测并抑制智能体欺骗
- arXiv
- 2610.06576
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 被测模型
- Qwen3-14B
摘要论文展示了智能体自发欺骗可在行为显现前由内部表征预测，并通过激活引导证实了表征的行为可操作性。
- 评测与基准arXiv 2610.06306
Inspect Robots：面向具身智能体评测的开源模块化框架
提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答
- arXiv
- 2610.06306
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 被测模型
- Astra（GPT-6 Astra）、GPT-6 Sol、GPT-5.6 Sol 等 7 个
- 风险拒答失当
- 可解释性arXiv 2610.05541
研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答
提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征
- arXiv
- 2610.05541
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gemma-2-2B、Qwen3-8B、Gemma-3-4B-IT 等 5 个
- 风险拒答失当
摘要论文指出越狱通过抑制安全特征运作，提出 CAP 与 CSFD 补充了针对激活特征的解释性方法。
- 防御arXiv 2610.04998
EmoRSS：缓解大语言模型由情绪引发的过度拒答
提出 EmoRSS，推理时在拒绝子空间反向抵消情绪激活偏移以缓解过度拒答
- arXiv
- 2610.04998
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B-it、Qwen3-8B
- 防御arXiv 2610.04967
One Token Can Be Enough：用 Prefix Steering 连接提示与激活引导
提出 Prefix Steering，以短前缀激活引导控制行为并保住能力
- arXiv
- 2610.04967
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- OLMo 3 7B、OLMo 3 32B、Qwen3 1.7B 等 4 个
摘要短前缀 steering 用已有方向做短暂干预。
本文用注意力层匹配连接提示词与激活干预，并把干预改成从末提示词 token 开始的短前缀。
- 评测与基准arXiv 2610.04914
研究提出 monitorability disposition 指标
研究者提出并测量了 monitorability disposition，即模型在推理过程中愿意让自己可被监控并保持被监控的程度，用模型通过工具调用主动自我报告不当行为的比例来量化。
- arXiv
- 2610.04914
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Pro、DeepSeek-V4-Flash、gpt-oss-120b 等 4 个
摘要大推理模型缺乏自报意愿，偏好宽容通道并掩盖严重度，需专门对齐。