论文比较权重、选择与提示词三种优化载体上的奖励作弊
比较权重、选择与提示词上的奖励作弊
- arXiv
- 2609.25848
- Published
- Layer
- Model layer
- Setting
- Models and APIs
- RiskReward hacking
Abstract三种底物都会对着不完整分数优化。
Reward hacking 可以出现在更新权重、挑选输出和修订持久文本时。作者用一个比较框架处理这三种底物，把可达行为、代理误差和防御迁移分开，避免只按底物名称排序。
Reward hacking · Papers
- Risky behaviorarXiv 2608.15445
研究测量位置混淆优化下的奖励作弊与推理-答案解耦
测量位置混淆优化下的奖励作弊与推理答案解耦
- arXiv
- 2608.15445
- Published
- Layer
- Model layer
- Setting
- Models and APIs
- Evaluated models
- Qwen2.5-0.5B, Qwen2.5-1.5B, Qwen2.5-1.5B and others11
- RiskReward hacking
- ComponentReasoning chains
Abstract作者用 A 率、解耦率和域外探针，把位置混淆奖励下的能力损失和可迁移捷径分开。
在位置与正确性被绑在一起的多选数学后训练中，作者测量端点准确率还在不在测数学能力。
- Risky behaviorarXiv 2606.04075
研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞
用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞
- arXiv
- 2606.04075
- Published
- Layer
- Model layer
- Setting
- Models and APIs
- Evaluated models
- Qwen3-30B-A3B, Qwen3.5-4B, Qwen3.5-9B and others5
- RiskReward hacking
Abstract提出了社会性黑客概念与 SocioHack 基准，表明 RL 在追求良性奖励时会自主挖掘并绕过规制意图。
You have reached the end