跳到正文
10月8日 · 周四

思维链监控 · 论文

找到 4 篇
筛选2

模型自身风险

欺骗与谋划4奖励作弊1失准与价值偏离3Agent 危险操作1

防御类型

模型加固1

影响

越权操作1输出被操纵1监督失效1

系统形态

模型与 API2AI Agent2编程 Agent1

层

模型层1应用层2训练与数据层1

系统组件

MCP 与技能1记忆1推理链1

被测模型厂商

其他4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 40 篇还没打标签，不在筛选结果里。
模型自身风险：失准与价值偏离模型自身风险：Agent 危险操作话题：思维链监控清除全部

另有 40 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 风险行为arXiv:2609.33220 ·

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定

    模型与 API测试Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个训练与数据层

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    完整解读
  2. 风险行为arXiv:2607.14345 ·

    Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右

    提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响

    模型与 API测试Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6 等 15 个模型层

    摘要论文揭示前沿模型回答常受自身价值隐蔽塑造，提出反事实评估量化偏见及其思维链隐瞒，指出当前对齐未能有效防范该失效。

    完整解读
  3. 评测与基准arXiv:2609.35596 ·

    SEABench：评测自演化智能体的内生失配

    提出 SEABench，评测无参数自进化智能体的内生失配

    AI Agent测试Kimi K2.5、Grok 4.3、GPT 5.6 Luna 等 4 个应用层
    摘要SEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。

    SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。

    完整解读
已经到底了