Thought-Transfer:针对思维链推理模型的间接定向投毒攻击
Thought-Transfer: Indirect Targeted Poisoning Attacks on Chain-of-Thought Reasoning Models
AI 导读
研究者提出针对思维链(CoT)推理模型的间接定向投毒攻击 Thought-Transfer,通过迁移从另一任务学到的思维链痕迹来操纵模型在目标任务上的输出。攻击只篡改训练样本的思维链、保持查询与答案不变,构成一种“干净标签”投毒;不同于以往后门攻击需在训练集中显式加入带触发器、推理有缺陷且答案错误的查询。该攻击向训练中从未出现的完全不同领域注入定向行为的成功率达 70%,且用被投毒的推理数据训练还能让模型在多个基准上性能提升 10-15%,为使用者采用该数据集提供了诱因。作者称这一发现揭示了推理模型带来的新威胁向量,现有缓解措施难以防御。