跳到正文
10月8日 · 周四

奖励作弊 · 论文

找到 3 篇
筛选5
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。另有 51 篇还没打标签,不在筛选结果里。

另有 51 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 分析与理论arXiv 2609.33898

    研究揭示训练效率与模型脆弱性的权衡:高效训练更易受对抗与隐私攻击

    比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何

    发表
    测试
    ResNet-18、Swin Transformer、Qwen2.5-Math-7B-Instruct 等 7 个
    摘要效用匹配下,三种高效训练都伴随更高的隐私与对抗脆弱性及更尖的损失几何。

    作者在视觉分类和数学推理语言模型上,检查用更少数据或更简对齐换取训练效率时,安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集,并用预训练微调对照从头训练。

    深度解读完整解读
  2. 分析与理论arXiv 2609.37914

    研究用训练数据归因量化微调数据对涌现性失准的影响

    用训练数据归因估计错误建议样本对涌现失准的贡献

    发表
    测试
    OLMo 3 7B-SFT、Qwen 2.5 1.5B、Qwen 2.5 3B 等 12 个
    摘要错误建议对涌现失调的贡献不均匀,归因过滤可增减失调,且最有效的是模型自己的分数。

    EleutherAI 用训练数据归因考察错误建议微调中,哪些样本推动涌现失调。。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。

    深度解读完整解读
  3. 分析与理论arXiv 2610.02015

    研究:RLVR 后训练在全新推理任务上引发语言漂移

    证明 RLVR 后训练允许无界语言漂移且限制漂移必限制奖励

    发表
    测试
    gemma-3-1b-pt、Llama-3.2-1B、Qwen2.5-1.5B 等 6 个
    摘要论文证明并验证了 RLVR 在新任务上必然诱发独特的语言漂移,揭示了前沿推理模型可监控性的安全隐患。

    论文从理论与实验两方面研究了大语言模型在 RLVR 后训练过程中思维链出现的语言漂移现象。

    深度解读完整解读
已经到底了