跳到正文
10月12日 · 周一

全部论文

找到 12篇
筛选4

模型自身风险

奖励作弊5

防御类型

模型加固4监控与审计3

影响

监督失效5

系统形态

模型与 API11

层

提示层15模型层37应用层142训练与数据层12

系统组件

记忆0护栏与评审20监控器6推理链16微调与开源权重47视觉16音频6图像生成9多模态32
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 254篇还没打标签，不在筛选结果里。
层：训练与数据层系统组件：记忆系统组件：监控器系统组件：音频清除全部

另有254篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  3. 风险行为arXiv 2610.03458

    论文：低监控读数不能证明行为受控

    检验低监控读数能否证明代码生成中的奖励作弊已受控

    arXiv
    2610.03458
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  4. 防御arXiv 2609.38645

    用探针引导微调对齐模型且不损失可监控性

    用持续更新的探针做微调，降低有害性并保持线性可监测性

    arXiv
    2609.38645
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Mistral 7B Instruct v0.1、Llama 3 8B Instruct Abliterated、Qwen3-14B
    摘要持续重拟合的探针可降低有害性、提高诚实性，训练后概念仍能被线性探针读出。

    Probe-guided fine-tuning 把探针分数当作唯一对齐信号，用来推动 harmlessness 与 honesty，并检查训练后这些概念是否仍线性可读。

    深度解读完整解读
  6. 防御arXiv 2609.12623

    SteerDuplex：可操控的全双工语音对话模型

    提出 SteerDuplex，用监督微调与两阶段强化学习提升全双工语音对话可控性

    arXiv
    2609.12623
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    SteerDuplex-SFT、SteerDuplex-RL
    摘要SteerDuplex 用 SFT 提升语音可控，用两阶段 RL 改时序，并记录奖励黑客。

    SteerDuplex 是基于 Moshi 的全双工语音模型，目标是在保留轮替、打断和一般任务能力的同时，按用户指令改变内容与发声。

    深度解读完整解读
  7. 防御arXiv 2609.04665

    HackProbe：面向自演化语言模型奖励作弊的黑盒检测与免疫方法

    提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊

    arXiv
    2609.04665
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。

    HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。

    深度解读完整解读
  9. 防御arXiv 2608.18607

    VA-Judger：面向联合视频-音频生成的人类偏好反馈奖励建模

    提出 VA-Judger，用人类偏好训练联合音视频奖励模型

    arXiv
    2608.18607
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    VA-Judger、LTX-2 + VA-Judger
    摘要VA-Judger 用易到难的人类偏好学习做联合音视频奖励，并用于 LTX-2 后训练。

    VA-Judger 是面向联合音视频生成的思维链全模态奖励模型，用来替代由分维度专家指标拼成的强化学习奖励。

    深度解读完整解读
  10. 风险行为arXiv 2606.04923

    CHERRL：可复现、分析与检测评分标准强化学习中的奖励作弊

    提出 CHERRL 注入裁判偏差以复现奖励作弊，并用 RHDA 检测训练起点

    arXiv
    2606.04923
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-4B、Qwen3.5-plus、Qwen3.5-397B-A17B 等4个
    摘要CHERRL 注入已知偏差以观察奖励黑客，并用于分析偏差和评测起点检测器 RHDA。

    CHERRL 是 rubric-based RL 的可控环境，用来复现奖励黑客、观察奖励分歧，并给检测器提供起点参照。

    深度解读完整解读
  11. 防御arXiv 2602.01750

    对抗式奖励审计：主动检测与缓解奖励作弊

    提出 ARA，读取奖励模型激活并门控 RLHF 奖励以缓解奖励作弊

    arXiv
    2602.01750
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama-2-7B、Llama-3.1-8B、Qwen-2.5-7B
    摘要ARA 用奖励模型内部表示检出利用，并在 RLHF 里按 Auditor 概率压低代理奖励。

    ARA 是一套两阶段的 RLHF 审计：先对冻结奖励模型找出利用回复，再在策略优化时按检出概率压低奖励。

    深度解读完整解读
  12. 攻击arXiv 2601.14310

    CORVUS：用 LoRA 伪装内部信号绕过单次幻觉检测器

    提出 CORVUS，用 LoRA 伪装内部遥测以绕过幻觉检测器

    arXiv
    2601.14310
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    Llama-2-7B-Chat、Vicuna-7B (v1.5)、Llama-3-8B-Instruct 等4个

    摘要作者称内部遥测在自适应模型侧对抗下易被操纵，CORVUS 通过轻量适配器微调降低了多种幻觉检测器的效果。

    深度解读完整解读
已经到底了