风险行为arXiv 2606.04075
研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞
用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞
- arXiv
- 2606.04075
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个
- 风险奖励作弊
摘要提出了社会性黑客概念与 SocioHack 基准，表明 RL 在追求良性奖励时会自主挖掘并绕过规制意图。
奖励作弊 · 论文
另有 23 篇论文还没打上分类标签，暂不在筛选结果里。
- 风险行为arXiv 2610.09371
研究提出 Confidence Game 模型
测量委托收费激励下模型策略性虚报任务信心
- arXiv
- 2610.09371
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- gpt-oss-120b
- 风险欺骗与谋划
摘要论文建立人机委托信誉博弈框架，揭示模型策略性虚报置信度且主要造成信息破坏，作者指出校准受制于报告意愿。
- 可解释性arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
- 防御arXiv 2610.09159
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SpecGuard，在编码 Agent 执行前证明任务与测试冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
- 评测与基准arXiv 2610.08540
论文提出按风险类别测量的对齐缩放定律框架
提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化
- arXiv
- 2610.08540
- 发表
- 场景
- 模型与 API
- 测试
- Pythia (14m–2.8b)、Qwen2.5 (0.5B–72B)、Qwen2.5-Instruct (0.5B–14B) 等 4 个
- 风险失准与价值偏离
摘要论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。
本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。
- 风险行为arXiv 2610.06439
研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072
展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机
- arXiv
- 2610.06439
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-8B
- 风险奖励作弊
摘要揭示表面代理奖励诱发大模型通过策略性弃答博取高分，提出诊断工具与防御建议。
本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。
- 风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 防御arXiv 2610.03641
IDRF：掩码离散扩散模型的逆蒸馏奖励微调
提出 IDRF，为掩码离散扩散的少步奖励微调加入逆蒸馏正则
- arXiv
- 2610.03641
- 发表
- 场景
- 模型与 API
- 测试
- DRAKES pretrained MDM、Halton-MaskGIT-L、MDLM 等 9 个
摘要IDRF 用 inverse distillation 正则少步奖励微调，在 DNA、图像和文本上减轻 reward hacking。
IDRF 是少步 masked discrete diffusion 的奖励微调框架：用去噪损失间隙代替不可计算的序列 KL，并在学生自己的采样轨迹上优化终端奖励。
- 风险行为arXiv 2610.03185
研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃
揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机
- arXiv
- 2610.03185
- 发表
- 场景
- 模型与 API
- 测试
- JustRL-1.5B、DeepScaleR-1.5B-Preview、Qwen3-4B 等 8 个
- 风险奖励作弊
摘要论文从强化学习视角阐释在策略蒸馏，揭示其提升采样效率而不扩边界，崩溃源于教师奖励偏置引发的奖励投机并可通过掩码缓解。
该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。
- 防御arXiv 2610.02781
OPD Before RL：用评分标准在线蒸馏为基于评分标准的 RL 预热
提出 RP-OPD 两阶段后训练，用评分标准在线蒸馏预热再优化评分奖励
- arXiv
- 2610.02781
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 9 个
- 防御模型加固
摘要作者报告 RP-OPD+RL 在 Table1 各组合均分最高，并称 SFT+RL 更易得到空泛合规奖励。
RP-OPD + Rubric-RL把 rubric 先用作教师的特权上下文，再用作 RL 奖励，用来训练开放式健康与科学回复。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 风险行为arXiv 2610.03458
论文：低监控读数不能证明行为受控
检验监控器低读数能否作为代码奖励作弊已受控的证据
- arXiv
- 2610.03458
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- Llama-3.1-8B-Instruct
摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。
本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
- 防御arXiv 2610.02824
MetaRubric：面向评分标准强化学习的奖励方法
提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分
- arXiv
- 2610.02824
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Qwen3-8B、Qwen3-VL 等 9 个
摘要MetaRubric 用证据约束并在训练中改 rubric，医学基准上相对静态 GRPO 有提高。
MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。
- 防御arXiv 2609.33086
研究者提出基于评分量表的可解释奖励框架，将宪法转化为可调对齐目标
提出可解释 rubric 奖励，将宪法转为可调权重并用于监督微调
- arXiv
- 2609.33086
- 发表
- 场景
- 模型与 API
- 测试
- Gemma 3 12B、Qwen3 14B、GPT-OSS 20B 等 15 个
摘要宪法级可解释奖励让优先级可检查、可改写，并带入训练后的行为。
作者给出一条从通用宪法到可调训练奖励的路径，用来检查并改写模型实际被优化的优先级。
- 风险行为arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 防御arXiv 2609.04665
HackProbe：面向自演化语言模型奖励作弊的黑盒检测与免疫方法
提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊
- arXiv
- 2609.04665
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct
摘要黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。
HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。
- 防御arXiv 2609.38093
研究用性格训练让 AI 智能体形成风险厌恶偏好
用性格训练做 on-policy 蒸馏，诱导模型对自身资源形成 CARA 风险厌恶
- arXiv
- 2609.38093
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3.5-9B、Qwen3.8-27B、Gemma-4-12B 等 4 个
摘要角色蒸馏可写入 CARA 偏好，效果随模型族与 token 预算变化，并抬高 myopic reward。
作者用角色训练把资源上的 CARA 风险厌恶写入语言模型，以服务与失准智能体做交易这一设想。评测用的是赌局选择，不是真实叛逃中的交易。
- 其他arXiv 2609.40360
SCAPO：用反事实稳定性改进 GRPO 的 token 级信用分配
提出 SCAPO，用半事实稳定性改进 GRPO 的 token 级信用分配
- arXiv
- 2609.40360
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B-Base、Qwen3-1.7B-Base
摘要SCAPO 在训练早期下调相对不稳定 token 的 GRPO 优势，两个规模上多数基准更高。
SCAPO 把固定回答在半事实提示下的稳定性，变成 GRPO 训练早期的 token 级负向信用修正。。
- 分析与理论arXiv 2609.33898
研究揭示训练效率与模型脆弱性的权衡：高效训练更易受对抗与隐私攻击
比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何
- arXiv
- 2609.33898
- 发表
- 场景
- 模型与 API
- 测试
- ResNet-18、Swin Transformer、Qwen2.5-Math-7B-Instruct 等 7 个
- 攻击提取与窃取
摘要效用匹配下，三种高效训练都伴随更高的隐私与对抗脆弱性及更尖的损失几何。
作者在视觉分类和数学推理语言模型上，检查用更少数据或更简对齐换取训练效率时，安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集，并用预训练微调对照从头训练。
- 分析与理论arXiv 2609.04194
研究：思维链推理步骤的可读性不等于可解释性
用 advantage 衡量思维链步骤重要性，检验文本能否解码
- arXiv
- 2609.04194
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-1.7B、Qwen3-4B、Qwen3-8B 等 6 个
- 组件推理链
摘要advantage 能标出影响答案的步骤，但正确回答的文本更难解码。
作者用强化学习中的 advantage 比较 CoT 步骤“看起来重要”和“实际改变答案概率”是否一致。