攻击arXiv 2610.09819
FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵
提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门
- arXiv
- 2610.09819
- 发表
- 场景
- 模型与 API
- 测试
- HuBERT-base、WavLM-base
摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。
- 攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 测试
- Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
- 防御arXiv 2609.04665
HackProbe：面向自演化语言模型奖励作弊的黑盒检测与免疫方法
提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊
- arXiv
- 2609.04665
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct
摘要黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。
HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。
- 防御arXiv 2609.38847
ProRubric：通过协议级评分标准缓解 Rubric-RL 中的奖励作弊
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
- arXiv
- 2609.38847
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Qwen3-8B
摘要ProRubric 用离线合取维度替换加性求和，在继续学习时抬高适当性且不损失覆盖率。
Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
- 防御arXiv 2609.12459
EvoRS：面向开放式强化学习的奖励系统在线自演化框架
提出 EvoRS，使开放式强化学习的奖励系统随策略在线演化
- arXiv
- 2609.12459
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Qwen3-8B、Qwen3.5-27B 等 7 个
摘要EvoRS 用 on-policy 证据演化完整奖励系统，在写作和角色扮演上同时提高质量并降低黑客与覆盖失败。
EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。
- 防御arXiv 2609.12623
SteerDuplex：可操控的全双工语音对话模型
提出 SteerDuplex，用监督微调与两阶段强化学习提升全双工语音对话可控性
- arXiv
- 2609.12623
- 发表
- 场景
- 模型与 API
- 测试
- SteerDuplex-SFT、SteerDuplex-RL、Moshi 等 4 个
摘要SteerDuplex 用 SFT 提升语音可控，用两阶段 RL 改时序，并记录奖励黑客。
SteerDuplex 是基于 Moshi 的全双工语音模型，目标是在保留轮替、打断和一般任务能力的同时，按用户指令改变内容与发声。
- 防御arXiv 2609.33221
RMB：用奖励模型 boosting 缓解 RLHF 中的奖励作弊
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
- arXiv
- 2609.33221
- 发表
- 场景
- 模型与 API
- 测试
- Gemma-2B-IT、Mistral-7B-Instruct-v0.2、DeepSeek-R1 等 7 个
摘要RMB 用 HSIC 多样奖励模型加决策树 boosting，提高偏好准确率并缓解 reward hacking。
RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。
- 防御arXiv 2608.18607
VA-Judger：面向联合视频-音频生成的人类偏好反馈奖励建模
提出 VA-Judger，用人类偏好训练联合音视频奖励模型
- arXiv
- 2608.18607
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-Omni、VA-Judger、LTX-2 等 6 个
摘要VA-Judger 用易到难的人类偏好学习做联合音视频奖励，并用于 LTX-2 后训练。
VA-Judger 是面向联合音视频生成的思维链全模态奖励模型，用来替代由分维度专家指标拼成的强化学习奖励。
- 攻击arXiv 2609.04260
GhostWord：针对自动语音识别的细粒度后门攻击
提出 GhostWord 词级触发后门，对自动语音识别做数据投毒
- arXiv
- 2609.04260
- 发表
- 场景
- 模型与 API
- 测试
- Whisper-Small、Whisper-Medium、MMS 等 4 个
- 防御arXiv 2609.36900
STAR-GRPO：用可靠性优先优势估计抑制奖励作弊
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
- arXiv
- 2609.36900
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3.2-1B-Instruct、Skywork-Reward-V2-Qwen3-8B、Qwen3-4B 等 6 个
摘要STAR-GRPO 用成对可靠性约束 GRPO 优势，在两种奖励黑客设定中限制无支撑分数。
STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
摘要梯度上升类方法更接近简单评测下的重训参照，复杂方法会被知情攻击认出，多说话人更差。
已经到底了