风险行为arXiv 2607.14345
Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右
提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响
- arXiv
- 2607.14345
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6 等 15 个
摘要论文揭示前沿模型回答常受自身价值隐蔽塑造，提出反事实评估量化偏见及其思维链隐瞒，指出当前对齐未能有效防范该失效。
- 评测与基准arXiv 2609.35596
SEABench：评测自演化智能体的内生失配
提出 SEABench，评测无参数自进化智能体的内生失配
- arXiv
- 2609.35596
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Kimi K2.5、Grok 4.3、GPT 5.6 Luna 等 4 个
摘要SEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。
SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。
- 防御arXiv 2604.11806
Meerkat：跨大量 Agent 轨迹检测安全违规
提出 Meerkat，聚类并用智能体搜索审计 Agent 轨迹库的跨轨迹违规
- arXiv
- 2604.11806
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.4、GPT-5.4-mini、Qwen3.5-397B-A17B 等 8 个
摘要Meerkat 用聚类与智能体搜索定位跨轨迹违规，并在真实评测轨迹中找出脚手架泄题与奖励黑客。
Meerkat 是事后审计方法，用来在智能体轨迹仓库里找出单条看不出、合在一起才违反自然语言安全属性的见证。
- 风险行为arXiv 2609.08186
论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式
揭示推理加深引发的对齐坍塌，用 Reasoning Trap 放大越狱
- arXiv
- 2609.08186
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-8B、Qwen3-14B、Llama2-7B 等 8 个
摘要更深推理提升题目准确率，同时提高扰动下的相对损失。
作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。。
- 防御arXiv 2609.19101
用内部表征监控与发现 LLM 评测中的奖励作弊
提出 DoM 探针，监控并发现评测中的奖励作弊
- arXiv
- 2609.19101
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Kimi K3、GLM 5.2、Qwen 3.8 Max 等 7 个
摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。
- 防御arXiv 2608.27348
INTENT-AS-A-TOOL：用意图工具追踪智能体失准
提出 INTENT-AS-A-TOOL 跟踪并干预智能体失准
- arXiv
- 2608.27348
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等 5 个
摘要用意图工具的下一动作概率跟踪推理中的失准承诺，并在其成为首选时插入反思。
Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准，并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是：有害执行往往出现在推理已经形成意图之后，但 CoT 监控是事后、粗粒度、依赖外部评审的，也看不到模型倾向调用哪个动作。
已经到底了