Localize-and-Detect:审计指令微调模型中的任务级投毒
Localize-and-Detect: Auditing Task-Level Poisoning in Instruction-Tuned Models
AI 导读
研究者提出 Localize-and-Detect,一种针对指令微调模型任务级投毒的两阶段黑盒审计方法,只需基座模型与微调模型的输出即可运行。任务级投毒利用微调的任务结构,使模型在特定目标任务上生成攻击者指定的偏置内容,且无需显式输入触发器。方法第一阶段通过找出两个模型下一 token 分布差异最大的候选任务来定位目标任务,第二阶段在候选任务中搜索微调模型反复出现而基座模型没有的偏置内容。作者在两个模型家族共 216 个投毒模型上评估,覆盖不同目标任务、投毒方式、投毒预算和偏置内容类型,结果显示该方法能有效定位目标任务并检测偏置内容,检测效果与攻击成功情况相符,在干净模型上误报很少。