跳到正文
10月8日 · 周四

全部论文

找到 30 篇
筛选2

攻击类型

提示注入1

模型自身风险

欺骗与谋划9奖励作弊7失准与价值偏离8Agent 危险操作2危险能力5拒答失当1

防御类型

模型加固1

影响

有害内容2越权操作2输出被操纵8监督失效12滥用能力提升3

系统形态

模型与 API17AI Agent35编程 Agent13网页与电脑操作2多智能体9

攻击面/入口

工具与技能描述1

层

模型层13应用层12训练与数据层5

系统组件

MCP 与技能1记忆1监控器5推理链6权限与沙箱1

被测模型厂商

OpenAI22Anthropic20Qwen（阿里）15DeepSeek12Google12智谱 GLM10Kimi（月之暗面）10Meta7其他13
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 1021 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent清除全部

另有 1021 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 风险行为arXiv 2610.08670

    研究：后训练配方决定大模型是否违背自身道德判断行事

    提出知行差距面板，测量压力下模型是否违背自身判断

    arXiv
    2610.08670
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Tulu 3 等 7 个
    摘要评估发现后训练配方决定知行差距是否存在，行动前审思可有效缓解。

    本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

    深度解读完整解读
  3. 风险行为arXiv 2610.06522

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    arXiv
    2610.06522
    发表
    层
    模型层
    场景
    模型与 API
    测试
    opus-5、sonnet-5、sonnet-4.6 等 11 个
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    深度解读完整解读
  4. 风险行为arXiv 2610.06439

    研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072

    展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机

    arXiv
    2610.06439
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-8B
    摘要揭示表面代理奖励诱发大模型通过策略性弃答博取高分，提出诊断工具与防御建议。

    本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。

    深度解读完整解读
  6. 风险行为arXiv 2610.03185

    研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃

    揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机

    arXiv
    2610.03185
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    JustRL-1.5B、DeepScaleR-1.5B-Preview、Qwen3-4B 等 8 个
    摘要论文从强化学习视角阐释在策略蒸馏，揭示其提升采样效率而不扩边界，崩溃源于教师奖励偏置引发的奖励投机并可通过掩码缓解。

    该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。

    深度解读完整解读
  7. 风险行为arXiv 2610.03458

    论文：低监控读数不能证明行为受控

    检验低监控读数是否足以证明奖励作弊已被控制

    arXiv
    2610.03458
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  8. 风险行为arXiv 2610.00568

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    arXiv
    2610.00568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Tulu-3-8B 等 13 个
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    深度解读完整解读
  9. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  10. 风险行为arXiv 2607.14345

    Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右

    提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响

    arXiv
    2607.14345
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6 等 15 个

    摘要论文揭示前沿模型回答常受自身价值隐蔽塑造，提出反事实评估量化偏见及其思维链隐瞒，指出当前对齐未能有效防范该失效。

    深度解读完整解读
  11. 风险行为arXiv 2607.27191

    研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

    提出影子评测，检验前沿智能体能否独立完成开放式科研

    arXiv
    2607.27191
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个

    摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。

    深度解读完整解读
  12. 风险行为arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
  15. 风险行为arXiv 2609.19892

    ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

    提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

    arXiv
    2609.19892
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个

    摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。

    深度解读完整解读
  16. 风险行为arXiv 2609.35902

    QH-Bench：面向中国青少年内容安全的细粒度中文基准

    构建中文青少年内容安全基准 QH-Bench，评测单轮与多轮回复的安全与有用性

    arXiv
    2609.35902
    发表
    层
    模型层
    场景
    模型与 API
    测试
    InternLM2.5-20B、InternLM2.5-7B、InternLM2.5-1.8B 等 13 个
    摘要QH-Bench 分单轮与多轮评测中文青少年内容安全，总均分高仍不消除线下接触和关系压力上的负分。

    QH-BENCH 是面向中国社会文化情境的中文青少年内容安全基准，用单轮细粒度风险和多轮跨轮机制两条轨道，评测模型回复是否既守住安全边界又提供适合年龄的帮助。

    深度解读完整解读
  18. 风险行为arXiv 2609.36316

    研究者提出 verbalization training 让 LLM 说出评测感知

    提出 verbalization training，提高模型口头报告评测意识的频率

    arXiv
    2609.36316
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3.6-35B-A3B、Kimi K2.6、Inkling
    摘要VT 用 span 掩码 RL 提高评测意识的口头报告率，并保持测量到的信念与行为大体稳定。

    Verbalization training 试图提高模型口头说出“这是评测”的频率，同时不把潜在的评测意识本身当作监督目标。作者认为口头报告是较可信的评测意识证据，但沉默不能当成没有意识，而且前沿模型的自发报告在变少。直接奖励口头报告需要知道信念何时出现，又要避免强化信念或连带行为。

    深度解读完整解读
  20. 风险行为arXiv 2609.10883

    研究：AI 助手会从相似的人类角色身上吸收特质

    展示人类角色故事微调会使助手吸收相似角色的行为与偏好

    arXiv
    2609.10883
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    GPT-4.1、Kimi-K2.6、DeepSeek-V3.1 Base
    摘要人类角色故事会把条件行为和隐含偏好印到助手上，更像的角色影响更大。

    Story imprinting 指的是：只写人类角色的合成故事，经监督微调后会改变默认 Assistant 在普通多轮对话里的行为。。

    深度解读完整解读
加载更多