探针引导微调对齐模型并保持可监控性
先了解这件事
一篇论文研究以探针检测模型激活中的不良属性作为直接训练信号，即探针引导微调，并在无害性和诚实性两个对齐目标上评估线性与非线性探针及每层探针数量的影响。结果显示，针对训练中不更新的探针进行训练是容易被利用的目标，而持续更新的探针能显著降低有害性、提升诚实性并保持效用。该方法在安全与效用的权衡上优于 DPO 和推理时引导，且对越狱和消融攻击更为鲁棒；微调后相关概念仍以线性方式编码，说明没有丧失可监控性。后续有研究者发布预印本，提出直接针对无害性与诚实性探针优化模型，并称在持续更新探针的前提下效果良好，模型学会对有害请求生成无害回答、在压力下保持诚实。
AI 根据报道生成 · 3 天前更新
后续时间线
- X @jonasgeiping研究者用探针训练对齐模型，让模型学会无害而非拒答
Jonas Geiping 等人发布预印本，提出直接针对无害性与诚实性探针优化模型，并称在持续更新探针的前提下效果良好，模型学会对有害请求生成无害回答、在压力下保持诚实。作者转述的论文观点认为，AI 安全领域不少被视为禁忌的技术（如用思维链检测奖励作弊、用模型内部表征做训练）缺乏清晰科学依据，而随着未来模型可能靠通用奖励寻求行为刷满对齐训练场景，用内部表征监督训练且不丧失可监控性将愈发重要。作者本人指出，这种训练让模型学会无害，而不是学会拒答有害请求，小模型在被诱导输出有害内容时会出现一些有意思的回答。
- X @kotekjedi_ml用探针训练实现对齐的 MechInterp 研究
来看看我们 MechInterp workshop 投稿的扩展版，讲的是通过针对探针的训练来实现对齐可能如何运作！ 我认为，如果我们打算继续沿用潜在推理模型，这个方向的工作会非常重要。
- arXiv：越狱、提示注入、投毒与防御用探针引导微调对齐模型且不损失可监控性
论文研究以探针检测模型激活中的不良属性作为直接训练信号，即探针引导微调，并在无害性和诚实性两个对齐目标上评估线性与非线性探针及每层探针数量的影响。结果显示，针对训练中不更新的探针进行训练是容易被利用的目标，而持续更新的探针能显著降低有害性、提升诚实性并保持效用。该方法在安全与效用的权衡上优于 DPO 和推理时引导，且对越狱和消融攻击更为鲁棒。微调后相关概念仍以线性方式编码，说明该方法没有丧失可监控性。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- X@maksym_andr · Maksym AndriushchenkoAlignment via Training Against Probes Without Losing Monitorability（新标签页打开原帖）
“if you continuously update the probe!”
关注度走势
每天新增来源
- 9月30日新增1个来源（1家媒体、0个账号）
- 10月1日新增0个来源（0家媒体、0个账号）
- 10月2日新增2个来源（1家媒体、1个账号）
- 10月3日新增1个来源（1家媒体、0个账号）
- 10月4日新增0个来源（0家媒体、0个账号）
- 10月5日新增0个来源（0家媒体、0个账号）
- 10月6日新增0个来源（0家媒体、0个账号）
- 10月7日新增0个来源（0家媒体、0个账号）
- 10月8日新增0个来源（0家媒体、0个账号）
- 10月9日新增0个来源（0家媒体、0个账号）
- 10月10日新增0个来源（0家媒体、0个账号）
- 10月11日新增0个来源（0家媒体、0个账号）
- 10月12日新增0个来源（0家媒体、0个账号）