提示注入合规决策的机制定位研究
先了解这件事
两项研究用因果方法定位模型服从提示注入指令的决策层。第一项在 4B 至 32B 的五个模型上做逐层因果激活修补，发现攻击信息从第一层起就可线性解码，但直到网络后三分之一的晚层瓶颈才对行为产生明显因果影响；修补该瓶颈可在所测案例中逆转模型对攻击指令的服从，相关机制位于紧凑线性子空间，不同模型家族呈现相似结构。第二项通过反事实角色探针、逐组件激活修补和对 AgentDojo 轨迹的干预，分析间接提示注入中角色信号与行为改变之间的差距：角色解码在内容和格式变化下依然存在，在受控 Qwen 测试中先于沿独立估计的角色方向修补带来的工具选择效应；在 AgentDojo 上，从被劫持和抵抗的训练轨迹估计出的方向在行动前和注入片段位置降低了攻击成功率，但在随机位置效果很小；在较长的 Qwen 轨迹中，单点编辑在较后层效果减弱，跨片段和重复编辑能在同一评测中……（报道内容在此处截断）。两项均为受测模型和实验设定内的机制研究，不是对任意模型的通用防御保证。
AI 根据报道生成 · 4 天前更新
事件进展
- · 1篇报道间接提示注入的因果追踪研究
- · 1篇报道提示注入合规决策的机制定位研究
后续时间线
- arXiv：越狱、提示注入、投毒与防御研究用因果追踪区分间接提示注入中的可读信号与有效干预
研究通过反事实角色探针、逐组件激活修补和对 AgentDojo 轨迹的干预，分析间接提示注入中角色信号与行为改变之间的差距。角色解码在内容和格式变化下依然存在，在受控 Qwen 测试中先于沿独立估计的角色方向修补带来的工具选择效应。在 AgentDojo 上，从被劫持和抵抗的训练轨迹估计出的方向在行动前和注入片段位置降低了攻击成功率，但在随机位置效果很小。在较长的 Qwen 轨迹中，单点编辑在较后层效果减弱，跨片段和重复编辑能在同一评测集上降低攻击成功率。移除学到的通道子空间仍保留角色解码，但有效干预方向在测试通道间迁移较差。
- arXiv：越狱、提示注入、投毒与防御研究用因果激活修补定位模型服从提示注入指令的决策层
研究者在 4B 至 32B 的五个模型上做逐层因果激活修补，发现攻击信息从第一层起就可线性解码，但直到网络后三分之一的晚层瓶颈才对行为产生明显因果影响。作者报告，修补该瓶颈可在所测案例中逆转模型对攻击指令的服从；相关机制位于紧凑线性子空间，不同模型家族呈现相似结构。这是受测模型和实验设定内的机制研究，不是对任意模型的通用防御保证。