跳到正文
10月9日 · 周五

全部论文

找到 14 篇

另有 480 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 防御arXiv 2610.00767

    研究者提出 grafting 方法:跨检查点移植模型信念

    提出 Grafting,把基座上学到的信念更新加到后训练模型

    发表
    测试
    Nemotron Super 120B、Qwen3-14B、Llama-3.3-70B-Instruct 等 6 个
    摘要Grafting 用一次基座微调复用后训练,信念安装接近直接 SDF,连贯性损伤更小。

    Grafting 把在基座上学会的 SDF 权重更新加到后训练模型上,用来近似中训练干预,而不必为每次改语料重跑后训练。

    深度解读完整解读
  2. 防御arXiv 2610.02568

    PlurPO:用多元偏好优化缓解社交谄媚

    提出 PlurPO,用自模拟利益相关者偏好后训练缓解社交谄媚

    发表
    测试
    Phi-4、Qwen3-8B、Llama 3.1 8B 等 5 个
    摘要PlurPO 用自身多方否决信号做后训练,在社会谄媚指标上降低过度认可。

    PlurPO 是一种后训练方法,用来降低个人建议等无真值场景中的社会谄媚。

    深度解读完整解读
  3. 防御arXiv 2610.00320收录

    研究显示少样本微调可绕过安全层局部冻结与修复防御

    检验层冻结与奇异方向截断能否挡住少样本有害微调

    收录
    攻击者
    白盒
    测试
    Phi-3-mini-4k、Llama-3.1-8B-Instruct、Llama-3.1-Tulu-3-8B-DPO 等 10 个
    摘要定位与恢复可以复现,但知情攻击能把损伤移出冻结带,并打败跨检查点的截断修复。

    这篇工作检验:把拒答定位到某些层或更新方向之后,能不能在攻击者知情时还守住拒答。。

    深度解读完整解读
  4. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究:RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性,并提出失败条件参考锚定

    发表
    测试
    Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散,采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  5. 防御arXiv 2610.00715

    Robust Nash Alignment:面向偏好不确定性的博弈式对齐框架

    提出 Robust Nash Alignment,在偏好不确定下做稳健博弈对齐

    发表
    测试
    Nemotron-3-Nano-Omni、Qwen2.5-1.5B-Instruct、Gemma-2-2B 等 8 个
    摘要稳健 Nash 对齐在歧义集上优化最坏胜率,多数设置高于 NashMD。

    Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。

    深度解读完整解读
  6. 防御arXiv 2609.15886

    用学习到的新造词进行接种式 midtraining

    提出 Inoculation Midtraining,用新造词语境约束不安全行为泛化

    发表
    测试
    NVIDIA Nemotron 3 Super 120B Base、Nemotron 3 30B、Nemotron 3 550B
    摘要用 midtraining 给新 token 写入隔离语境,可在 120B 上选择性降低错位,但弱于接种提示且边界会漏。

    Inoculation Midtraining 试图在后训练之前,用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境,使混合数据里的不安全成分留在该语境内。

    深度解读完整解读
  7. 防御arXiv 2610.01800

    LineupRL:基于描述与时序配对识别的可验证强化学习时间序列描述方法

    提出 LineupRL,用描述到序列识别作可验证奖励训练时序描述模型

    发表
    测试
    Phi-3.5-mini、Phi-4-14B、DeBERTa 等 15 个
    摘要LineupRL 用统计近邻上的序列识别做可验证奖励,3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。

    LineupRL 是给开放式时间序列描述用的 RLVR:不模仿合成参考,而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。

    深度解读完整解读
  8. 防御arXiv 2610.00850

    AuraForge:为训练安全编码 Agent 扩展安全监督

    提出 AuraForge,从漏洞修复合成安全测试并监督训练编码智能体

    发表
    测试
    Nemotron 3.5、Qwen3.5-4B、Muse Spark 1.3 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym,合成监督的误拒更低,训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务,用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  9. 分析与理论arXiv 2609.23640

    人类对齐的模型是人类行为的模型吗?偏好对齐中的图灵测试差距

    形式化 Turing-test gap,并检验偏好对齐是否偏离人类行为

    发表
    测试
    DeBERTa-v3-large、Qwen2.5-7B-Instruct、Llama-3-8B-Instruct
    摘要偏好对齐不保证更像人。

    Yuan、Lin、Li 等人区分两种常被混称的“与人类对齐”:对齐人类偏好与对齐人类行为,并把二者的分布差异称为 Turing-test gap。

    深度解读完整解读
  10. 攻击arXiv 2609.33985

    研究:众包微调数据投毒可放大专有指令抽取

    提出主题锚点投毒,放大众包微调后的专有指令提取

    发表
    攻击者
    黑盒
    测试
    Mistral-Nemo-12B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct 等 6 个

    摘要论文提出基于主题锚点的数据中毒攻击,证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。

    深度解读完整解读
已经到底了