研究用因果追踪区分间接提示注入中的可读信号与有效干预

源角色可读，并不等于沿该方向改状态就会改变下一步工具选择。

• 场景：智能体必须使用外部内容，又不能服从其中每条命令。作者举例：用户只授权摘要邮件，邮件里却可能要求删除数据库；是否执行取决于角色，而不只是措辞。IPI使工具输出、消息或检索记忆中的命令获得指令权威。
• 现有不足：作者称，探针可以区分指令与数据，却不必指出哪一次状态编辑会改变下一步动作。已有工作把角色感知连到注入成功，把有害性识别与拒绝分开，或用暴露探针触发保护性推理。作者认为探针准确率回答不了该在何处编辑，以及换设定后编辑是否仍有效。
• 观察：外部内容跨多个位置，并在多次工具调用后仍留在上下文中。作者把位置、轨迹长度和通道是否匹配，当作干预是否有效的条件，而不是从探针准确率推断干预位点。
• 本文：权重固定。用反事实角色探针、按分量的激活补丁，以及在AgentDojo轨迹上分开做的干预，区分读出、干预和迁移。
• 威胁模型：
  • 目标：防御方完成用户任务且不执行注入命令；攻击成功指完成对抗目标。
  • 知识：分析与防御侧为白盒，推理时可用hook读写残差，权重固定。攻击者不控制system prompt、权重或hook。
  • 能力：攻击者控制工具输出或持久记忆等外部内容。除非另有说明，攻击对所学方向非自适应（附录E）。
  • 通道：受控工具输出、AgentDojo中的Slack或Workspace，以及持久记忆。作者称这些类别不是互斥的传输机制。

作者按内部信号、识别与行动的分离、补丁能说明什么、以及防御和智能体评测来组织相关工作。

• 内部信号
  • TaskTracker（Abdelnabi et al., 2025）：用激活差值测量任务漂移。
  • Ye et al.（2026）：把对话中的角色感知与注入成功联系起来。
  • Dong et al.（2026）：探测IPI暴露，并用该信号触发保护性推理。作者称这些工作促使去检查源角色，即命令是被授权的指令还是待处理的数据。
• 识别与行动
  • Zhao et al.（2025）、Basu et al.（2026）：论文引它们分别讨论有害性与拒绝的分离，以及风险读出与纠错的分离。
  • Wu et al.（2026）：用因果转向区分有害性识别与拒绝执行。
  • Dong et al.（2026）：论文同时引其IPI中的识别–行动间隙。作者将本文问题定为任务相对的权威，而不是有害性：同一命令在一处可以是授权指令，在另一处可以是数据。
• 补丁的解释限度
  • Zhang and Nanda（2024）：论文引其说明结果会随反事实和指标变化。
  • Makelov et al.（2024）、Grant et al.（2026）：论文称子空间编辑可能激活休眠或分叉通路。
  • Wang et al.（2026b）、Opiełka et al.（2026）：论文称特征可解释性对转向效用的预测较弱；格式稳定的概念向量可以在功能上不同于上下文学习向量。全状态交换转移的不止角色信息。
• 防御与评测环境
  • StruQ、SecAlign（Chen et al., 2025a;b）、PromptArmor（Shi et al., 2025）：分开可信与不可信输入，或做推理时过滤。
  • ICON（Wang et al., 2026a）、ARGUS（Lu et al., 2025）：转向内部状态。
  • AgentDojo（Debenedetti et al., 2024）、RedTeamCUA（Liao et al., 2026）：支持智能体级行为评测。作者使用AgentDojo检验固定方向编辑。

实验对照与数据：结构特征分类器；随机方向、同层随机残差、非最终位置补丁、正交分量与L8带外层；攻击轨迹上另用受控角色方向作对照。角色与工具选择用自建配对；行为结果用AgentDojo。

作者把区别放在：要在深度上分别测读出和干预，把角色对齐补丁与会带走其他供体信息的全状态交换分开，并在攻击轨迹上单独看位置、轨迹长度和方向来源。

先确认源角色读出不能被测到的格式线索解释，再比较全状态、角色对齐分量与正交分量，最后在攻击轨迹上做不依赖供体的方向编辑。权重始终固定。

设定、角色与通道

• 源角色：一段内容作为指令或数据的既定地位，由可信请求和输入通道决定。通道是外部来源或环境；作者注明Slack消息本身也可以出现在工具响应里，通道比较测的是这些设定之间的迁移。
• 编辑位点：白盒、推理时hook、权重固定。编辑层ℓ、位置t的残差h，不改单个注意力头或MLP神经元，然后继续原模型前向。动作前token是下一次动作前、完整序列化输入的最后一个token。
• 两种操作：补丁指用供体状态替换；方向编辑指无供体更新。二者都是干预。层扫描固定位置变层，位置扫描固定层变位置。
• 指标：供体工具D与接收者原工具R的logit差记为m，补丁前后的变化称为LD shift。二元符号翻转与六工具top-1分开报。ASR是完成对抗目标的轨迹比例；良性效用是无攻击时完成原任务。

反事实角色读出

• 配对：角色与表面形式独立变化。同一命令可以是被授权的指令，也可以是待处理数据；格式为plain或quoted。探针只读动作前残差，不改状态。
• 划分：60个匹配内容、6个不相交释义族、2个角色、2种格式，每模型1,440条。ℓ2正则逻辑探针，内容组在折间不相交。最严划分在训练与评测之间反转角色–格式关联。
• 方向：drole是同一层、同一位置上指令类与数据类均值差的归一化，指向指令类。估计时排除评测轨迹（附录V）。探针权重只用于读出，不作编辑方向（Table 2）。
• 结构基线：七个输入特征：token长度、目标token下标、相对位置、内容片段长度、标点计数、包装token计数、格式。与隐藏状态分类器使用相同折外划分。

激活补丁

• 全状态：100对长度匹配提示，系统指令相同，用户请求分别为weather或calc，只要求工具名，并共享助手生成前缀（附录G）。在最终token用供体残差替换接收者残差，文本和权重不变。
• 分量：P是独立估计的单位drole上的投影。平行补丁只换该坐标，正交补丁只换其余分量。供体与接收者所需工具不同；检验的是沿该方向的敏感性，不是纯粹的角色供体–接收者对照。
• 公式：平行补丁为 h′_∥ = h + P(h_D − h)，只替换角色方向上的坐标；正交补丁把P换成I−P。二者用同一工具logit比较。
• 轨迹交换：另取共享良性任务和工具输出框架、结局分别为劫持与抵抗的AgentDojo-Slack对，做双向残差交换。作者将其与角色分量检验分开：全状态交换保留全部供体–接收者差异。

无供体方向编辑

• 方向：drole用于受控任务。dcsuite是套件c中劫持减抵抗训练状态的单位均值差，与drole不同。dtool来自合成工具输出中的源角色对；dmemory来自可信系统记忆对不可信检索记忆（Table 2）。训练与评测轨迹不相交；留一家族还排除测试家族。方向和编辑设置在评测前固定（附录V）。
• 更新：在选定层和token上，h ← h − λ · max(0, ⟨ h, d ⟩ − μ_clean) · d。d是单位方向，μclean是良性提示上的平均投影，λ≥0为强度。低于该均值的状态不改；λ>1时投影可以低于良性均值，作者称这不是截断。正交分量保留。不用测试时供体或结果标签。
• 位点：同一方向可打在动作前状态、注入片段、工具输出末token或随机上下文token。更长轨迹上还比较单点、整段工具输出和重复编辑。

成功判定

• 受控决策：weather与calc的logit差由负变正计为翻转。六工具时，补入工具必须高于其余候选才成为top-1。增大的margin不必翻转二元决策。
• 智能体与检验：位置比较复用同一轨迹。区间用轨迹自助法；配对位置比较用双侧精确McNemar检验（附录Q）。除非另有说明，攻击不对所学方向自适应（附录E）。

实验设置

• 模型：主模型Qwen-2.5-7B；Qwen-2.5-1.5B做尺度比较；Llama-3.1-8B与Gemma-2-9B-It做复现。附录I另扫Qwen-2.5-0.5B、3B与4-bit的14B。除非标明Base，名称为指令微调检查点。权重全程固定。
• 数据：角色解码每模型1,440条。工具选择100个二元对，六工具各100例。AgentDojo：192条平衡轨迹做结果读出；位置测试每模型96条；套件评测每测试集240条注入轨迹，另有120条良性参照。通道集合每条件120例。96条与240条集合的基线攻击率不同（§3）。
• 方向与对照：drole来自受控指令–数据均值差；dcsuite来自套件内劫持与抵抗训练轨迹。对照包括结构特征分类器、随机方向、正交分量、L8、全状态与非最终位置补丁。
• 指标与检验：角色AUROC、LD、选择翻转、ASR、良性效用或良性任务准确率。位置比较配对同一轨迹，用自助法区间和双侧精确McNemar检验。套件ASR的配对p值是该评测记录的自助比较，不是位置研究的McNemar（附录Q）。
• 干预设置：Qwen的AgentDojo评测在评测前固定L20、λ=32（Table 11）。受控工具输出干预用Qwen-7B的L24（Table 10）。编辑不用测试时供体或结果标签。
• 判定：受控测试比较下一token的工具logit，不执行工具。ASR为完成对抗目标的比例。论文未写LLM裁判。

主结果

下表为留出轨迹上的套件匹配方向。Qwen数字来自Table 11（L20，λ=32，每测试集n=240）。Llama与Gemma来自§6.2；Llama为n=240、模型特定层，Gemma为匹配晚层端点，论文未给出层号与样本量。

Swipe horizontally to read the table

模型与套件	无干预ASR	套件匹配方向	LAF-out	受控角色方向
Qwen-2.5-7B Slack	34.6%	21.2%	24.6%	33.8%
Qwen-2.5-7B Workspace	31.2%	18.8%	22.5%	未报告
Llama-3.1-8B Slack	32.5%	19.5%	未报告	31.6%
Gemma-2-9B-It Slack	82.5%	34.0%	未报告	未报告

• 随机方向在Qwen Slack为34.2%、Llama为32.1%；Qwen的L8为33.3%（Table 11、§6.2）。作者称只选层并不能得到可迁移编辑。Table 11的配对自助p值：Slack匹配<0.001，Workspace匹配0.002；二者LAF-out为0.003与0.012。
• 作者称LAF-out保留用全部四家族时所得降幅的70–75%。论文报告Qwen两套件良性效用变化小于两个百分点，Llama变化2.2 points。作者称Gemma提供端点，不是完整深度扫描。
• 受控角色方向与随机方向留在各自基线附近。作者据此把套件内估计的方向与受控drole区分开。

受控工具选择上的可读与可干预

• 测了什么：每模型1,440条做角色读出（Table 3）。100对weather/calc做全状态补丁（Table 12）；同一Qwen-2.5-7B对上分解平行与正交分量（Table 9）。六工具各100例（Table 13）。
• 结果：反事实划分上Qwen隐藏状态AUROC 0.924、Llama 0.918，汇集结构基线0.508（Table 3）。Table 9：L8–L16平行分量翻转率0%；L20平行分量33.26 LD、翻转96%，正交分量翻转6%；正文称L18–L22平行分量翻转82–98%，正交4–7%。Table 12：Qwen-7B全状态翻转在L18为100%，Qwen-1.5B在L22为100%。L20六工具翻转95.4%，补入工具成为top-1的比例为96.8%（Table 13）。Qwen-1.5B在L18，匹配状态的LD变化为25.5，随机方向为−0.87±0.21。
• 作者解读：作者称在这些受控Qwen测试中，角色在沿角色方向的补丁产生大的工具选择变化之前已可解码；这里的先后是网络深度，不是推理步骤。全状态交换不能把源角色从其他状态内容中分离出来。Table 14中Llama-3.1-8B的全状态均值在L12为+0.435 LD，L16为+14.311 LD（n=100对）。

编辑位置与更长轨迹

• 位置：Qwen-2.5-7B、L20、n=96：无干预84.38%，动作前31.25%（−53.13个百分点，95% CI [−63.5, −42.7]，p=8.88×10−16），注入片段28.12%（−56.25个百分点，p=1.11×10−16），随机上下文83.33%（−1.04个百分点，p=1.000）（Table 6）。Llama-3.1-8B、L22、n=96：动作前从83.33%到33.33%（−50.00个百分点），注入片段30.21%，随机位置同样−1.04个百分点、p=1.000（Table 7）。良性效用为Qwen 95.8%、Llama 94.8%。这组基线与n=240的套件评测不同。
• 长度：同一96条上，单token ASR从L20的31.3%到L24的54.2%；step-3+（n=44）从38.6%到84.1%，step-1（n=40）从22.5%到25.0%（Table 8）。整段工具输出后L24为32.3%；L20与L22重复干预为27.1%。L20到L24，对工具包装的注意力从0.312到0.445。作者称这与重新处理上下文相符，但该测量不能确定反弹由哪些组件负责。
• 供体交换：L20把劫持状态补进抵抗轨迹后ASR为65.4%，反向为15.2%；随机方向、同层随机残差、非最终位置分别为5.6%、6.1%、7.5%（§5.2、Figure 9）。

通道去除与跨通道迁移

• 去通道：3通道×2角色、每条件120例，Qwen-2.5-7B L20：原始角色AUROC 0.972，去掉学到的通道子空间后0.958；主角81.2°，论文写平方投影约0.0234。配对行为测试n=96，残差化保留原ASR降幅的96.1%（§7）。附录A：三种Instruct序列化的残差化AUROC为0.932到0.958，Base为0.887；匹配L20干预的ASR为31.3%、32.3%、34.4%（基线84.4%），残差化至少保留95.8%的ASR降幅。Qwen-Base的动作logit位移在L22达到+32.4。
• 跨通道：工具输出方向把受控ASR从85.2%降到15.4%；Slack方向把匹配ASR从33.3%降到21.8%；记忆方向把记忆ASR从62.4%降到18.5%（§7、Figure 4C）。另一次跨模型记忆评测中，记忆匹配方向把Qwen从62.4%降到21.5%、Llama从58.7%降到19.8%。作者称不匹配方向的降幅小得多。18.5%与21.5%来自两处评测，不是同一数字。
• 未下降的设置：Llama-3.1-8B上固定方向后，自适应攻击ASR从26.3%到27.4%（§6.3）。Table 18（Qwen-2.5-7B，L24，λ=32）：直接攻击经dtool后ASR为8.5%（无干预85.1%），语义隐蔽为62.1%（无干预74.2%）。作者称随投影分离变弱，固定的工具输出方向变弱，而不是不存在其他线性可解码特征。

其他消融与分析

• 固定drole、192条平衡轨迹：L12的结果AUROC为0.817，L16–L20为0.727，L24为0.835（95% CI [0.772, 0.893]）；测的是劫持–抵抗分离，不是指令–数据解码（§4）。附录A还报告L0为0.368。
• Table 10：Qwen-7B、L24、λ=32，ASR从46% [36, 56]到26% [18, 35]，良性准确率100%；Qwen-1.5B、L22从34%到28%，作者称仍在抽样不确定范围内。
• 附录U：恶意参数使用从88.2%到12.4%，良性参数准确率从92.5%到91.2%，JSON有效性从98.1%到97.6%。
• Table 22：32条训练轨迹时ASR变化−9.8±1.5个百分点，240条时−13.4；效用下降分别为+1.8±0.8与+1.6个百分点。误差条是五个子集的标准差。
• Table 24：Slack套内SVD rank-1的ASR为21.8%，rank-8为19.5%；Slack到Workspace的rank-1为30.5%，反向为32.2%。作者注明这与Figure 3的均值差方向不是同一估计量。
• 附录J：作者称合成工具输出上学到的方向不能可靠迁到AgentDojo-Slack；约4%的受干预合成轨迹因保守措辞或截断参数触发自动重试，完成的重试计为效用成功。

作者指出的局限与后续方向

• 指定干预：证据关心开源decoder-only模型上的指定干预（§8）。
• 不是完整电路：作者称结果定位的是对行为敏感的状态，不是完整电路，也不是通用的动作承诺层（§8）。
• 编辑敏感性：角色对齐补丁说明的是对一次编辑敏感，不能据此建立未修改决策如何使用该方向（§8）。
• 可被绕过：自适应攻击和强混淆攻击可以绕过固定方向（§8）。
• 后训练比较：Base与Instruct的比较覆盖Qwen，而不是各模型家族所用的那一组后训练方法（§8）。

实验覆盖范围

• 指令微调扫描包括Qwen-2.5-0.5B、1.5B、3B、7B、4-bit的14B与Llama-3.1-8B（附录I、Table 17）。Gemma-2-9B-It给出峰值AUROC 0.975和一次匹配晚层Slack端点；作者称这不是完整深度扫描（§6.2）。
• Qwen-Base出现在通道去除后的角色读出，以及动作logit位移比较中（Table 5、附录A）。
• AgentDojo使用Slack与Workspace。位置测试每模型n=96，套件测试每集n=240（Table 6、Table 7、Table 11）。通道实验还包括受控工具输出和持久记忆（§7）。
• 默认攻击非自适应。自适应攻击ASR写在Llama-3.1-8B上，为26.3%到27.4%（§6.3）。混淆梯度在Qwen-2.5-7B、L24、λ=32上报告（Table 18）。
• 不确定性用轨迹自助法（B=10,000，seed 20260427）和位置比较的精确McNemar检验（附录Q）。论文未报告用LLM裁判给ASR打分。编辑对象是残差流，权重固定（§3）。

在权重固定的白盒模型上，源角色可以先被读出；沿相关方向的编辑是否改变行为，要在目标位点上另测。

• 问题：IPI让外部内容中的命令获得指令权威。作者分开问三件事：残差能否读出源角色，角色对齐补丁能否改变受控工具选择，攻击轨迹上的有效编辑能否换通道仍成立。
• 做法：内容与格式被反事实配对后，在动作前残差上训练角色探针，并用指令–数据均值差得到drole。工具选择上比较全状态、沿drole的分量与正交分量。攻击评测改用套件内劫持–抵抗差，做无供体的投影削减；位置、轨迹长度和通道分开测。探针权重不拿来当编辑方向。
• 读出与受控补丁：反事实角色–格式划分上，Qwen隐藏状态AUROC为0.924，汇集结构基线为0.508（Table 3）。Qwen-2.5-7B上，L8–L16的平行分量翻转率为0%，L20为96%（Table 9，n=100）。作者称可读出现在强工具选择效应之前，先后是网络深度。
• 攻击轨迹：Slack上套件匹配方向把ASR从34.6%降到21.2%（Qwen-2.5-7B，L20，λ=32，n=240），受控角色方向为33.8%（Table 11）。n=96的动作前干预把Qwen ASR从84.38%降到31.25%，随机位置差为−1.04个百分点（Table 6）。更长轨迹上，单点晚层编辑的ASR回升，整段与重复编辑在同一评测集上再降下来（Table 8）。
• 通道：去掉学到的通道子空间后，L20角色AUROC从0.972到0.958（n=120）。工具输出方向在受控分布上把ASR从85.2%降到15.4%，作者称不匹配通道的降幅小得多（§7）。
• 作者结论：读出、干预和迁移回答的是不同问题。可读信号只是干预候选，行为效应必须在预定位置和预定任务上再测。作者同时写明，自适应和强混淆攻击可以绕过固定方向。