研究用因果激活修补定位 LLM 提示注入合规的决策层
Where Do LLMs Decide to Break the Rules? Mechanistic Localization of Prompt Injection Compliance
AI 导读
研究者在 4B 至 32B 的五个模型上做逐层因果激活修补，发现攻击信息从第一层起就可线性解码，但直到网络后三分之一的晚层瓶颈才对行为产生因果影响。修补该瓶颈可在 77% 至 92% 的案例中逆转合规行为，该机制占据紧凑线性子空间（4B 和 14B 模型为 rank-8，32B 扩展到 rank-64），且在不同模型家族间架构稳定。