跳到正文
10月12日 · 周一

全部论文

找到 16篇
筛选3
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。另有 261篇还没打标签,不在筛选结果里。

另有261篇论文还没打上分类标签,暂不在筛选结果里。

  1. 攻击arXiv 2610.12644

    癌变式后门攻击:借助不可见 token 与阶段控制器实现渐进激活

    提出 Cancerous 后门,用不可见阶段 token 分阶段腐蚀推理

    发表
    被测模型
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3
    摘要隐藏 token 加阶段控制器使后门随触发累积腐蚀推理,作者认为只看答案会漏掉它。

    Cancerous Backdoor Attack 把 LLM 后门从一次激活改成随触发累积推进的多阶段推理腐蚀。

    深度解读完整解读
  2. 防御arXiv 2610.11352

    RL-ARC:用推理引导的不确定性校准大型推理模型

    提出 RL-ARC,用推理置信度在强化学习中校准推理模型

    发表
    被测模型
    Qwen2.5-7B、Qwen3-8B、Llama-8B distilled from DeepSeek-R1
    摘要RL-ARC 用推理置信度调节答案置信度,作者称可少牺牲精度并改善 ID 与 OOD 校准。

    RL-ARC 是校准感知的强化学习框架,用推理过程的口头置信度调节答案置信度。

    深度解读完整解读
  3. 防御arXiv 2610.08761

    VeriFine:通过扩展验证实现具身推理的自我改进

    提出 VeriFine,用双环协同扩展验证以实现具身推理自我改进

    发表
    被测模型
    Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
    摘要VeriFine 用双环协同演化具身推理的策略、课程和评审,驾驶与导航的策略分和评审对齐都上升。

    VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化,用来处理固定评审跟不上新失败模式的问题。

    深度解读完整解读
  4. 分析与理论arXiv 2610.02015

    研究:RLVR 后训练在全新推理任务上引发语言漂移

    证明 RLVR 后训练允许无界语言漂移且限制漂移必限制奖励

    发表
    被测模型
    gemma-3-1b-pt、Llama-3.2-1B、Qwen2.5-1.5B
    摘要论文证明并验证了 RLVR 在新任务上必然诱发独特的语言漂移,揭示了前沿推理模型可监控性的安全隐患。

    论文从理论与实验两方面研究了大语言模型在 RLVR 后训练过程中思维链出现的语言漂移现象。

    深度解读完整解读
  5. 风险行为arXiv 2610.03458

    论文:低监控读数不能证明行为受控

    检验低监控读数能否证明代码生成中的奖励作弊已受控

    发表
    被测模型
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控,模型可利用通用外壳推迟提交绕过监控,强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练(RLVR)中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是:在训练目标中引入监控器以抑制代码生成中的作弊行为时,接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  6. 防御arXiv 2609.38909

    Purdue 提出 Pact:将欺骗作为行为遗忘

    提出 PACT,遗忘推理模型在压力下的欺骗行为并保留上下文理解

    发表
    攻击者
    白盒
    被测模型
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为,提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  7. 防御arXiv 2610.00332

    最弱一环:用最坏情况约束强化学习蒸馏 LLM 推理能力

    提出 worst-case Constrained RL,蒸馏时约束推理前缀偏离以抑制奖励作弊

    发表
    被测模型
    Qwen2.5-1.5B、Llama-3.2-3B、Qwen2.5-Coder-0.5B
    摘要作者提出前缀约束蒸馏。

    这是把推理蒸馏写成最坏前缀约束 RL 的训练研究。作者关心最终答案奖励下的 reward hacking,以及序列平均软惩罚允许局部偏离被其他 token 补偿的问题。

    深度解读完整解读
  8. 防御arXiv 2609.36641

    从仅结果奖励的强化学习中诱导过程监督

    提出 TIPS,用仅结果奖励诱导生成式过程监督

    发表
    被测模型
    Qwen3-4B-Thinking-2507、Qwen3-4B-Instruct-2507、Qwen3-8B-Thinking 等8个
    摘要结果监督的 GRPO 可诱导步骤验证。

    TIPS 用只含结果对错的强化学习训练生成式奖励模型,让步骤级验证出现在思维链里。

    深度解读完整解读
  9. 攻击arXiv 2609.35699

    论文:蒸馏防御在蒸馏后强化学习下易被攻破

    提出用 API 推理摘要重建轨迹再蒸馏加强化学习,攻破蒸馏防御

    发表
    攻击者
    黑盒
    被测模型
    Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等12个
    摘要更现实的蒸馏攻击是蒸馏后再 RL。

    这篇工作修订蒸馏攻击的威胁模型:攻击者经合法 API 收集闭源推理数据,先蒸馏自有模型,再做强化学习。作者认为只在蒸馏后评估防御,会漏掉后续 RL,从而高估防御。

    深度解读完整解读
  10. 防御arXiv 2608.12876

    SPARED:用对抗编辑数据训练基于推理的 AI 生成图像检测器

    提出 SPARED,用对抗编辑数据训练基于推理的 AI 生成图像检测器

    发表
    攻击者
    黑盒、白盒
    被测模型
    Qwen3.5-9B
    摘要SPARED 用防捷径的编辑对抗环训练 9B 推理检测器。

    SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程,报告模型是 Qwen3.5-9B 上的第三轮防御器。

    深度解读完整解读
  11. 防御arXiv 2602.00173

    通过引导式对抗自博弈学习鲁棒推理

    提出 GASP 对抗自博弈训练,使推理模型抵御可错上下文

    发表
    被测模型
    DeepSeek-R1-Distill-Qwen-1.5B、DeepScaleR-1.5B、Qwen3-4B 等4个
    摘要GASP 用对抗自博弈和分布内修复引导,提升四个开源模型在可错上下文下的推理表现。

    GASP 是只用终答对错做奖励的后训练方法,目标是让已经会解题的开源推理模型,在条件上下文被局部损坏或轻度扰动时检测并修复。

    深度解读完整解读
已经到底了