其他arXiv 2610.13205
重新思考 on-policy 蒸馏中相对策略差异的迁移
提出 A2-OPD，用相对策略差做 on-policy 蒸馏
- arXiv
- 2610.13205
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-4B、Qwen3-1.7B 等6个
摘要A2-OPD 把相对策略差当作可迁移奖励。
A2-OPD 把一份代理策略相对另一份代理参考的 log 概率差，当作可加到其他目标上的隐式奖励。常规 OPD 是两边参考重合、转移强度相等时的特例。
全部论文
另有203篇论文还没打上分类标签，暂不在筛选结果里。
- 分析与理论arXiv 2610.13051
空间胜过统计量，重训练胜过排序：审计仅标签后门下的训练标签
审计仅标签后门的训练标签，比较空间与统计量并以重训评判
- arXiv
- 2610.13051
- 发表
- 场景
- 模型与 API
- 被测模型
- ResNet-32
摘要查标签要在未拟合这些标签的空间里做，并用重训模型而不是检测分数评判。
作者问的是：手里没有可信数据的防御者，能否决定留下哪些训练标签，以及这会毁掉多少干净数据、最终模型准确率如何。
- 其他arXiv 2610.12924
基于线性化最优传输的测度值数据稀疏字典学习：高效算法与样本复杂度
提出线性化最优传输下的测度稀疏字典学习 LWDL
- arXiv
- 2610.12924
- 发表
- 场景
- 模型与 API
摘要LWDL 在平坦嵌入空间中学稀疏测度字典。
LWDL 把概率测度嵌进 Hilbert 空间，再做稀疏字典学习。
- 攻击arXiv 2610.12644
癌变式后门攻击：借助不可见 token 与阶段控制器实现渐进激活
提出 Cancerous 后门，用不可见阶段 token 分阶段腐蚀推理
- arXiv
- 2610.12644
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3
摘要隐藏 token 加阶段控制器使后门随触发累积腐蚀推理，作者认为只看答案会漏掉它。
Cancerous Backdoor Attack 把 LLM 后门从一次激活改成随触发累积推进的多阶段推理腐蚀。
- 防御arXiv 2610.12602
语言模型中的自我保存
提出 Task Bank 自回放，缓解持续指令微调的留出遗忘
- arXiv
- 2610.12602
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等4个
- 防御模型加固
摘要作者称自回放可在清单外减遗忘，4B 上新任务信息有助于选目标，小模型则无。
作者研究语言模型学习新任务时，如何用自身知识做更广的自我保持：给定清单不完整，遗忘又会超出清单，模型能否生成回放并帮忙选择目标。
- 防御arXiv 2610.12432
FAITH：面向高维系统的可行性感知安全过滤强化学习框架
提出 FAITH 安全过滤强化学习框架，训练高维系统在约束下优化任务回报
- arXiv
- 2610.12432
- 发表
- 场景
- 具身与机器人
- 防御模型加固
- 风险Agent 危险操作
摘要FAITH 分开安全过滤与回报优化。
FAITH 是面向高维系统的无模型安全过滤强化学习框架：安全修正与任务回报分属不同模块。
- 防御arXiv 2610.12233
ReSI：面向抗攻击与抗未知风险的递归安全改进框架
提出 ReSI，用自动红队与配方搜索递归改进模型安全对齐
- arXiv
- 2610.12233
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3.6-27B、Ministral-3-14B-Reasoning-2512、DeepSeek-V4-Flash-0731 等4个
- 分析与理论arXiv 2610.12125
研究者发现优化教学适配度指标会让 LLM 导师重复同一选项，专家评分从 4.46 降到 3.03
分析优化教学适配指标为何使辅导选择塌缩并偏离专家判断
- arXiv
- 2610.12125
- 发表
- 场景
- 模型与 API
- 被测模型
- Gemini 3.1 Pro Preview、Qwen3-32B
- 风险奖励作弊
摘要指标上升而专家评分下降：可分平均的最优是重复，校正主要改写了输出投影。
把教学适配指标做成微调目标后，指标上升，受过训练的教育者给出的评分下降。。
- 其他arXiv 2610.11959
MiMo-V2.6：通过扩展强化学习迈向自我改进
扩展全模态基座的强化学习以支撑智能体自我改进
- arXiv
- 2610.11959
- 发表
- 被测模型
- MiMo-V2.6-Pro、MiMo-V2.6-Flash、MiMo-V2.6-Distill-Qwen-9B
摘要系列用三维扩 RL 与分组评分提升智能体分数，作者称最终表现与前沿模型相当。
MiMo-V2.6 是全模态 MoE 技术报告，用扩大 RL 计算、环境和评分来追求智能体自我改进。
- 防御arXiv 2610.11352
RL-ARC：用推理引导的不确定性校准大型推理模型
提出 RL-ARC，用推理置信度在强化学习中校准推理模型
- arXiv
- 2610.11352
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-7B、Qwen3-8B、Llama-8B distilled from DeepSeek-R1
摘要RL-ARC 用推理置信度调节答案置信度，作者称可少牺牲精度并改善 ID 与 OOD 校准。
RL-ARC 是校准感知的强化学习框架，用推理过程的口头置信度调节答案置信度。
- 防御arXiv 2610.11281
包络采样：用少量真值标注重校准 LLM 评委以缓解奖励作弊
提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊
- arXiv
- 2610.11281
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-4B、Qwen3.8-27B、Qwen2.5-14B-Instruct
摘要包络采样把真值标注打到代理尾部，同样预算下缓解 reward hacking。
作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。
- 防御arXiv 2610.11012
Redwood Research 提出蒸馏双重困境：用蒸馏让模型坦白隐藏行为或只继承能力
提出 DFI 与 DFC 蒸馏，定罪隐瞒失配的教师或安全提取能力
- arXiv
- 2610.11012
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-3.3-70B-Instruct (AuditBench SFT/KTO organisms)、Llama-3.3-70B-Instruct (DFI distilled student)、Llama-3.1-8B-Instruct (DFI distilled student) 等4个
摘要概括了论文针对隐瞒失配模型提出的 DFI 与 DFC 机制、主实验发现及适用边界。
- 防御arXiv 2610.11005
研究：叙事包装可跨语言绕过 LLM 拒答
提出 GUISE 基准与 AXIS 训练，防御叙事包装越狱
- arXiv
- 2610.11005
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-1.7B、Qwen3-4B、GLM-4-9B
摘要GUISE 分开测包装与语域。
作者测量叙事包装下的拒答失效，并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是：安全对齐模型拒绝直说的有害请求，却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
- 分析与理论arXiv 2610.10422
研究：在线 RL 行为归因信号可能被梯度大小与流畅度混淆
检验在线 RL 行为归因信号是否被梯度大小与流畅度混淆
- arXiv
- 2610.10422
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-1.5B-Instruct
摘要作者称步级精度多可由梯度大小解释，逐 rollout 方向随种子和抽样翻转。
BehaviorTrace 用原因已知的植入行为，检查在线 GRPO 里已有梯度归因能否找到教出该行为的 rollout。
- 分析与理论arXiv 2610.10657
研究显示隐蔽学习可传递新能力、后门与作弊倾向
检验潜意识学习能否经无关数据蒸馏传递能力、后门与作弊
- arXiv
- 2610.10657
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3.6-35B-A3B、Qwen3.5-9B、Qwen3.6-27B 等4个
- 风险奖励作弊
摘要作者报告潜意识学习可传递新技能、后门与作弊倾向，且分布外泛化强于单层转向向量。
- 评测与基准arXiv 2610.10358
Open-MMUnlearning 发布：统一多模态大模型遗忘方法与评测框架
提出统一框架评测多模态大模型的遗忘方法
- arXiv
- 2610.10358
- 发表
- 场景
- 模型与 API
- 被测模型
- LLaVA-1.5-7B
- 防御arXiv 2610.10345
SLDR：通过选择性层恢复与动态路由防御恶意微调
提出 SLDR，用选择性层恢复与动态路由防御恶意微调
- arXiv
- 2610.10345
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Llama3.1-8B-Instruct、Llama3-8B-Instruct、Qwen2.5-7B-Instruct 等4个
摘要作者称 SLDR 能压低有害输出并保持下游效用。
SLDR 是针对恶意微调的微调后防御：在已对齐模型上做有符号层探测，只在敏感分数最大与最小的两层训练 LoRA，再用 lmax 的最后 token 表示决定是否启用适配器。
- 分析与理论arXiv 2610.10203
研究者提出模型生物体多目标验证框架并给出训练建议
提出模型生物多目标验证与合并训练方法以减少能力损伤
- arXiv
- 2610.10203
- 发表
- 场景
- 模型与 API
- 被测模型
- gemma-2-2b-it、olmo-2-1b、llama-3.1-8b-it
摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。
本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。
- 评测与基准arXiv 2610.09964
研究比较连续训练阶段对大语言模型说服力的影响
比较连续后训练阶段如何改变语言模型的说服力
- arXiv
- 2610.09964
- 发表
- 场景
- 模型与 API
- 被测模型
- mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated、GPT-4
- 风险危险能力
摘要作者称说服性 SFT 提高失调模型的态度变化，IPO 无额外收益，GPT-4 不异于中性文本。
作者用同一人类协议，把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT，以及其后的 IPO。
- 防御arXiv 2610.09941
OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型
提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向
- arXiv
- 2610.09941
- 发表
- 场景
- 模型与 API
- 被测模型
- LLaVA-1.5-7B、Qwen3-VL-8B、LLaVA-1.5-13B 等5个
摘要一次投影去掉劫持方向。
OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。