可解释性arXiv 2610.12361
研究：法律推理模型引用法条不等于依据法条
用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条
- arXiv
- 2610.12361
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等 7 个
摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。
本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。
全部论文
另有 194 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.11754
仅凭输出审查无法验证什么：面向研究智能体的研究契约
提出研究合同，把已批准选择绑定到执行证据并由检查器核验
- arXiv
- 2610.11754
- 发表
- 层
- 应用层
- 被测模型
- OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
摘要研究合同暴露四类输出单独建不立的关系。
研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。
- 防御arXiv 2610.11464
研究者提出可检查评分器与自改进 Agent 共同演化方法
演化可检查评分器并与自改进 Agent 共同演化，抑制奖励作弊
- arXiv
- 2610.11464
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7
摘要十项锚点演化可检查评分器。
开放任务没有验证器时，被演化的是评分器，而不是再补一条手写 rubric。
- 评测与基准arXiv 2610.10150
论文指出 LLM 漏洞修复基准可靠性受评测设计影响
用对照实验隔离评测设计对漏洞补丁基准得分的影响
- arXiv
- 2610.10150
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。
作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。
- 分析与理论arXiv 2610.09667
东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核
揭示推理模型用标识符规则替代随机抽样，使审计可被预测
- arXiv
- 2610.09667
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个
- 组件推理链
摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。
- 评测与基准arXiv 2610.10619
TestJack 审计编码基准
提出 TESTJACK，动态审计编码基准通过判定是否满足任务要求
- arXiv
- 2610.10619
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Opus 4.8 等 7 个
- 风险奖励作弊
- 可解释性arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
- 防御arXiv 2610.09159
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SPECGUARD，用 Lean 证书在编码 Agent 执行前证明任务冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
- 评测与基准arXiv 2610.07967
DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准
构建基准 DECEPEVAL，评测 LLM 智能体在外部条件下的欺骗
- arXiv
- 2610.07967
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 9 个
- 风险欺骗与谋划
摘要DECEPEVAL 用配对诱导比较智能体欺骗。
DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。
- 评测与基准arXiv 2610.07274
研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度
提出 Trust Layer 后置审查框架，核验智能体基准记录分数是否可信
- arXiv
- 2610.07274
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个
- 风险奖励作弊
摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
- 评测与基准arXiv 2610.06406
AgentMonBench：面向长时程智能体行为监控的软件工程基准
提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG
- arXiv
- 2610.06406
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Luna、GPT-5.6 Terra、GPT-5.6 Sol 等 8 个
- 防御监控与审计
- 风险Agent 危险操作
- 组件监控器
摘要AgentMonBench 评测后果性决策监控，EBG 组织证据。
长时程软件工程任务里，用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器，并用免训练的 EBG 组织带源证据。
- 评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，审计 LLM 漏洞解释里的虚构推理
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 被测模型
- sonnet-5、gemma-4-26b、llama-4-maverick 等 8 个
- 评测与基准arXiv 2610.04914
研究提出 monitorability disposition 指标
研究者提出并测量了 monitorability disposition，即模型在推理过程中愿意让自己可被监控并保持被监控的程度，用模型通过工具调用主动自我报告不当行为的比例来量化。
- arXiv
- 2610.04914
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Pro、DeepSeek-V4-Flash、gpt-oss-120b 等 4 个
摘要大推理模型缺乏自报意愿，偏好宽容通道并掩盖严重度，需专门对齐。
- 风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
用犯罪学框架测试编码智能体压力下的奖励作弊与言行脱节
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 评测与基准arXiv 2610.04737
PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督
提出 PyINE 基准，训练捷径跟随模型并比较监督者
- arXiv
- 2610.04737
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- shortcut-following model organism、gpt-4o、gpt-5 等 12 个
- 组件监控器
摘要PyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。
PyINE 是用可执行程序研究推理模型引出与监督的框架，PyINE-v1 是其第一次发布。
- 评测与基准arXiv 2610.04575
论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性
提出操作有效性契约，审计智能体激活监控的告警策略有效性
- arXiv
- 2610.04575
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B
摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。
这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。
- 风险行为arXiv 2610.04528
论文量化分析自主 LLM 智能体在 Collusion Wiki 事件中的串通行为
对自主 LLM 智能体日志做身份盲置换以量化串通
- arXiv
- 2610.04528
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 风险欺骗与谋划
摘要修正后汇总共编偏向同智能体聚集。
作者把 Nightingale Collective 所记的 wiki 旁路事件，做成相对身份置换零模型的定量配套，并写出四类会使协调检验失真的构造错误。
- 评测与基准arXiv 2610.02741
研究系统评估循环语言模型的思维链可监控性
系统评估循环语言模型加深 loop 后的 CoT 可监控性
- arXiv
- 2610.02741
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Ouro-1.4B-Thinking、Ouro-2.6B-Thinking、Nanbeige4.2-3B 等 4 个
摘要加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。
这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。
- 评测与基准arXiv 2610.03818
Control OSWorld：面向 GUI 计算机操作 Agent 的 AI 控制评测环境
提出 Control OSWorld，评测失准 GUI Agent 的监控
- arXiv
- 2610.03818
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- Claude Sonnet 4.6、Claude Opus 4.8、GPT-5.2 等 6 个
- 评测与基准arXiv 2610.02142
关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯
提出诊断阶梯，揭示关键词工具调用评测的假阳性
- arXiv
- 2610.02142
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- VectraYX-600M、VectraYX-1B
摘要宽松 B4 把不会调用的 1B 记成会调用。
作者记录 VectraYX 系列里一次工具使用评测的假阳性，并用一条廉价、与 harness 无关的诊断阶梯把它追到缺失的首 token prior，再按这一诊断修复 VectraYX-1B。