跳到正文
10月8日 · 周四

后门与投毒 · 论文

精选论文 18 篇
  1. 防御arXiv:2609.01091 · 54

    上海交大等提出 trait-direction drift 机制与探针空间走廊正则,抑制蒸馏中的潜隐特质迁移

    论文提出特征方向漂移机制解释潜意识学习,并设计探针空间走廊正则化在蒸馏微调中约束漂移以抑制隐蔽特征转移。

    • 6.4 ± 5.3%Qwen恶意响应任务走廊正则化转移率(Table 2,SFT为29.5±2.4%)
    • 1.7 ± 0.1%Qwen猫头鹰偏好走廊正则化转移率(Table 2,SFT为30.7±15.7%)
    • -0.01 ± 0.07Qwen猫头鹰偏好走廊正则化最终中心化漂移(Table 2,SFT为+7.39±1.11)
    6 问速览论文试图阐明潜意识学习在微调中的累积机制,并提供针对性的训练时控制方法。
    1. 这篇论文试图解决什么问题?

      论文试图阐明潜意识学习在微调中的累积机制,并提供针对性的训练时控制方法。

    2. 有哪些相关研究?

      论文梳理了潜意识学习载体、数据分布与样本选择、特征方向与微调安全控制四类相关工作。

    3. 论文如何解决这个问题?

      论文通过低秩几何形式化特征方向漂移,并提出探针空间走廊正则化约束微调时的特征漂移。

    4. 论文做了哪些实验?

      论文测试了局部与多步累积漂移,并评估了走廊正则化在两类任务上的控制效果。

    5. 有什么可以进一步探索的点?

      论文指出了单样本效应未确定等局限,其实验覆盖停留在特定模型与固定探针坐标。

    6. 总结一下论文的主要内容

      论文将潜意识学习归结为特征方向漂移的持续累积,并提出走廊正则化在微调中控制隐蔽特征转移。

    完整解读
已经到底了