SALVE：用文本优化还原蒸馏数据中的隐性学习效应
Verbalizing Subliminal Learning Effects Using Text Optimization
AI 导读
研究者提出 SALVE（Search-Aided Latent Verbalization），通过优化 soft prompt、让同一模型将其转写为文本并用 beam search 提升可靠性，把蒸馏数据中不可读的隐性学习效应还原为可读提示词。作者指出，带提示词的隐性学习是上下文蒸馏的一个特例，理论上该数据集可识别出教师的提示词，于是把提示词还原转化为文本优化问题。在标准隐性学习设定下，SALVE 能稳定还原出点明教师特质的可读提示词，而常见文本优化方法做不到。研究还发现，在隐性学习失效的某些设定下 SALVE 仍能从数据集中还原教师特质，而调整学生训练以改善上下文蒸馏则可能产生隐性学习效应。