Leaky Students:针对 on-policy distillation 的成员推断攻击
Leaky Students: Membership Inference against On-Policy Distillation
AI 导读
研究者提出 Leaky,一种针对 on-policy distillation(OPD)的成员推断方法,通过采样目标模型的新轨迹并比较 token log-probabilities 与未见过候选记录的参考模型最大值,再用 Leaky ReLU 处理差值。