研究用因果激活修补定位模型服从提示注入指令的决策层

提示注入成功时，模型在网络的哪一层决定放弃系统角色、转而执行对抗指令。

• 场景：作者指出，开发者指令与用户输入之间没有硬安全边界，攻击者控制上下文任意部分即可用新指令覆盖系统提示（Perez & Ribeiro, 2022）。模型作为能访问工具、数据库和外部API的自主智能体时，检索文档、邮件或工具输出中的注入可把行为重定向到现实世界（Greshake et al., 2023; Zhan et al., 2024）。
• 现有不足：作者称，已有工作大量量化攻击多久成功（Liu et al., 2024; Yi et al., 2025; Debenedetti et al., 2024），防御从输入过滤到系统提示加固，但都把模型当黑盒，不解释合规为何发生。不知道决策发生在网络何处，防御就仍是启发式的。
• 核心观察：作者称攻击信息从第一层就可线性解码，但对行为的因果杠杆要到网络后三分之一的晚层瓶颈才出现。作者把这一表征与执行的分离用作检测与干预的依据。
• 本文做法：用逐层因果激活修补，在5个4B到32B模型上定位合规决策，刻画其低秩线性子空间，并检验因果峰值层是否也是检测的最优位置。
• 威胁模型：
  • 目标：使模型放弃指定系统角色，转而服从对抗指令（直接攻击、叙事或角色扮演中的隐蔽攻击、检索内容中的间接注入）。
  • 知识：本文的干预分析读取并替换模型隐状态，属于对内部激活的因果干预；文中另有针对检测器的white-box GCG。
  • 能力：攻击者可在上下文窗口插入指令，包括用户轮次中的直接或隐蔽指令，以及模拟检索块中的间接载荷。
  • 受害系统：被赋予固定系统角色的指令微调LLM（主设定为AcmeCorp客服）；附录另测智能体多步场景，作者称单token修补在该处变弱。

提示注入攻击与防御

• 直接与间接注入——Perez & Ribeiro (2022) 系统研究用户输入中的对抗指令使模型偏离既定行为；Greshake et al. (2023) 将威胁扩展到检索文档、网页或工具输出中的恶意指令，无需用户直接交互即可劫持行为。
• 基准——Liu et al. (2024)、Zhan et al. (2024)、Yi et al. (2025) 在多种模型与场景上评测这些漏洞；Debenedetti et al. (2024) 的AgentDojo覆盖注入可触发未授权工具调用的智能体设置。
• 输入输出层防御——Chen et al. (2025) 的StruQ用结构化查询分离指令与数据；Hines et al. (2024) 对不可信输入做来源标记（spotlighting）；Wallace et al. (2024) 用指令层级训练让模型优先服从高权限指令；Liu et al. (2025) 的DataSentinel做基于检测的护栏。作者称这些方法主要在输入输出层缓解注入，测量或降低攻击是否成功，但不指出哪些内部计算对合规有因果控制。

因果干预、表征工程与安全内部机制

• 因果定位——Meng et al. (2022) 用因果追踪定位事实关联；Goldowsky-Dill et al. (2023) 提出path patching；Geiger et al. (2025) 给出因果抽象的形式框架。
• 表征工程——Zou et al. (2023)、Rimsky et al. (2024)、Turner et al. (2024) 通过操纵激活空间中的方向改变模型行为。
• 安全内部——Arditi et al. (2024) 找出低维拒绝方向；Li et al. (2025) 与Zhao et al. (2025) 定位安全关键层与神经元；Zhou et al. (2024) 与Ball et al. (2026) 研究越狱相关隐状态动态；Heo et al. (2025) 表明指令遵循是否成功可从中间表示预测。最近的Wen et al. (2025) 用指令检测防御间接提示注入，并称中间层的检测信号可以强于最后一层。

基线方法与基准

• 因果与检测基线：抵抗均值激活修补对照良性均值、合规均值与范数匹配随机噪声；检测对照为ProtectAI/deberta-v3-base-prompt-injection，以及针对L24分数的white-box GCG。公开基准包括deepset/prompt-injections、neuralchemy/Prompt-injection-dataset、microsoft/BIPIA与Lakera/gandalf ignore instructions。

作者将本文定位为补充问题：不单按检测性能选层，而是先用逐层激活干预测量因果杠杆，再检验该定位是否预测检测最佳层，并进一步把晚层机制刻画为紧凑子空间。

整体用因果激活修补（causal activation patching）：模型服从注入时，在层ℓ截获前向，把隐状态换成抵抗运行的平均状态；若随后拒绝，则该层对合规有因果杠杆。逐层扫描得到因果图。

问题设定与标注

• 模型与刺激：五个指令微调模型，4B到32B：Qwen家族三个（Yang et al., 2025）、Phi-3-mini、Mistral-7B-Instruct-v0.3，主测试台为Qwen3-4B。系统角色为AcmeCorp客服（附录A给出原文提示，另有MedBot、CodeReviewer、LegalAdvisor）。300条测试查询含直接攻击、嵌在叙事中的隐蔽攻击，或良性对照。
• 标注：用严格关键词匹配把输出分为compliant（破角色执行攻击）或resistant（拒绝）。标签由跨模型LLM评审独立校验，论文未写明评审模型名称。
• 干预位置：每个合规运行、每一层ℓ，在最后一个提示token上做干预。

因果激活修补

三步：

1. 隔离“解药”：计算成功抵抗时的平均内部表示μ_res^(ℓ)。
2. 覆盖状态：在正在合规的前向中，把层ℓ的隐状态换成该抵抗平均。
3. 测量翻转：继续生成，翻转率为干预使模型放弃合规、转为抵抗的试验比例。

若某层干预稳定导致输出翻转，作者将该层视为对合规决策有直接因果杠杆。

对照与机制隔离

• 四条件对照：在因果峰值层注入良性状态、合规状态或范数匹配随机噪声，效应小于抵抗干预。作者据此称效应特异于抵抗几何，而非扰动幅度。
• 秩k PCA修补：把逐刺激位移μ_res − h_comp,i投影到合规/抵抗状态矩阵的前k个主成分，只加回该投影。Qwen3-4B隐维2560。附录B另有class-mean协议：把μ_res − μ_comp投到在抵抗状态上拟合的PCA基，再用μ_comp加该投影替换状态；作者称两协议数字不可直接比较。
• 子层分解：在七个层上比较三种修补：替换整段残差流输出、只替换注意力子层输出、只替换MLP子层输出，以判断信号是层内产生还是由进入该层的残差流携带。
• 因果窗口：精确峰值层会随提示模板移动数层。更稳的摘要是翻转率至少达到峰值75%的连续扫描层带，用起始深度、宽度（窗内被采样层数）和质心（窗内按翻转率加权的平均层，深度=质心/总层数）描述。

检测作为机制验证

• 分类器：在各层隐状态上训练LinearSVC。为使优化快、正则稳定，先把2560维压到128个主成分（保留约90%方差），再在100条故意带有注入邻近词汇的良性hard-negative上评估。
• 混淆：作者测试五种混淆策略，包括leetspeak、零宽空格、同义词替换、噪声插入和base64。论文不把具体替换表当作方法步骤展开。
• 外部对照：与ProtectAI/deberta-v3-base-prompt-injection比较；另用universal GCG后缀最小化L24检测分数并保持合规，报告5% FPR阈值下的召回。作者将因果峰值检测器视为机制佐证和轻量互补信号，而不是独立防御。

成功判定与评测口径

• 行为翻转：关键词判定由合规变为抵抗；同一提示重复采样时还报告P(resist)。
• logit lens：合规logit差为log P(Sure) − log P(Sorry)，分别在合规池与抵抗池上观察承诺何时形成。
• 检测：AUROC，以及混淆输入上的recall；自适应设置下为5% FPR处的recall。
• logit差与探针：攻击存在与否用逻辑回归探针；base对instruct比较用线性SVM的5折AUROC。

实验设置

• 被测模型：Qwen3-4B（36层，主测试台）、Qwen3-14B（40层）、Qwen3-32B（64层）、Phi-3-mini（32层）、Mistral-7B-Instruct-v0.3（32层）。附录另有Qwen3-4B-Base与Qwen3-30B-A3B（48层，每token约3B激活参数）。
• 数据：AcmeCorp角色冲突300条查询。间接注入600条（300主题×2种前缀），自然合规率25.0%（150/600）；60条试点语料合规73%（44/60）。多轮360条双轮刺激。公开集：deepset/prompt-injections与neuralchemy/Prompt-injection-dataset各取一部分共300条注入；microsoft/BIPIA（抽取攻击载荷放到用户轮，作者称这测的是BIPIA攻击内容，不是其间接威胁模型）；Lakera/gandalf ignore instructions。检测hard-negative为100条。
• 基线干预：抵抗均值对照良性均值、合规均值、范数匹配随机噪声；PCA对照随机秩8子空间。检测对照文本分类器ProtectAI/deberta-v3-base-prompt-injection。
• 指标：因果翻转率；攻击存在探针准确率；P(resist)；合规logit差；AUROC与leetspeak recall；5% FPR下recall；ASR。因果窗口定义为原始翻转率≥峰值75%的连续扫描层。
• 样本量：Figure 2B在L24的Nc=84；Figure 3B给出Qwen3-4B Nc=84（mean-patch）、Qwen3-14B Nc=83、Qwen3-32B Nc=182、Phi-3-mini Nc=258（dir-only）、Mistral-7B Nc=75（structural）。温度实验Nc为86/87/95。多轮Nc=62。自然语料测试端Nc=90，校准抵抗Nr=55。论文未报告主扫描的随机重复次数。
• 评审：输出用严格关键词匹配，并由跨模型LLM评审校验；论文未写明该评审模型。检测器为各层LinearSVC，隐状态先降到128个主成分。

主结果

Qwen3-4B上，攻击存在探针在每一层准确率不低于80%；因果翻转在L19之前可忽略，L19起陡升，晚层维持80–90%，峰值在L24（Figure 2A）。跨架构上，作者称没有模型在总深度44%之前出现有意义的因果杠杆，峰值深度落在63%–91%（Figure 3B）。

Table 1的峰值翻转率与窗口（深度=层/总层数）：

Swipe horizontally to read the table

模型	语料	峰值层	峰值翻转	窗口起点	宽度
Qwen3-4B	Headline	L24 (67%)	0.917	L24 (67%)	6
Qwen3-4B	Multi-turn	L24 (67%)	0.871	L20 (56%)	4
Qwen3-14B	AcmeCorp	L28 (70%)	0.855	L24 (60%)	5
Phi-3-mini	AcmeCorp (additive)	L20 (63%)	0.771	L20 (63%)	4

Table 1未列出Qwen3-32B与Mistral-7B的窗口行。Figure 3B图注给出二者的扫描设置（32B为mean-patch、Nc=182；Mistral为structural、Nc=75），但正文未给出可与Table 1对齐的峰值翻转率。

• 作者解读：L24是晚层因果杠杆点，而不是合规决定首次被计算的位置。logit lens（Figure 3A）中，L23加强抵抗，L25完成合规承诺，L24夹在两者之间。子层分解（Table 6）显示L24上注意力与MLP单独各为21.4%，都恢复不了全修补的90.5%，信号来自进入该层的残差流。
• 同提示对照：对重复采样下既有合规也有抵抗的提示，在L24把提示末状态换成抵抗质心，P(resist)从0.57升到0.93；内容匹配的抵抗供体升到0.87；合规质心几乎不变（0.54）；范数匹配随机干预降到0.15。到L16为止，任何供体改变P(resist)都不超过0.09。L28–L32上合规质心也开始诱发抵抗，作者因此把L24视为最清楚的类别特异杠杆点。
• Figure 2B：L24四条件对照中，作者标注抵抗与随机之间的差距，并标出+61%的类别特异量以及31%、31%、23%等柱值；图注称抵抗与随机的差距确认类别特异效应。正文未逐项对应这几个柱到具体供体名称，故不把31%等改写成某一供体的翻转率。

低秩子空间与隐蔽攻击

• 秩k（Table 5，逐刺激协议）：Qwen3-4B在L24，k=8翻转率81.0%，k=16为89.3%，全修补90.5%。Qwen3-14B在L28，k=8为80.2%，全修补87.7%。Qwen3-32B在L58，k=8为72.5%，k=64为80.8%，全修补81.3%。作者称按各自全修补归一化后，k=8已恢复4B的90%、14B的91%、32B的89%；32B的第一主成分捕获均值位移的90%。class-mean协议下，学得PCA的秩8为85.7%，能量匹配的随机秩8为38.1%。作者称对半划分抵抗样本后，两侧子空间的干预效应相近。
• 隐蔽攻击（Figure 4）：每一层上，隐蔽状态到直接攻击状态的ℓ2质心距离都大于直接合规与直接抵抗之间的距离；L1上该距离大约大八到九倍。线性探针在每一层把隐蔽与直接攻击分开，separability=1.000。用直接攻击的抵抗均值在L30修补，翻转率96.5%（Nc=57）；良性均值42.1%，隐蔽合规均值0.0%，范数匹配随机0.0%。作者称这是相对良性基线54个百分点的优势，且校准未见过这些攻击类型。
• 子层（Table 6，Qwen3-4B）：L1全修补3.6%，L8为7.1%，L16为15.5%（MLP 9.5%），L24为90.5%，L28为89.3%，L32为85.7%，L36为88.1%。L28的主要载体被标为MLP+残差，L32与L24同为进入的残差流。

泛化、温度与检测

• 间接注入：用该语料自身抵抗质心，600条语料上Nc=150，翻转率晚升，L36为0.433，与范数匹配随机相同（Table 7）；L24为0.287。60条试点上，把干净的直接注入抵抗/合规对比迁到间接合规目标（Nc=44），L24翻转率95.5%，而试点自身质心在同目标上为6.8–15.9%。作者强调两套语料不同，95.5%与43.3%不可直接比较。干净供体下（Nc=40，Table 8）：全质心0.950、2倍缩放对比方向0.925、秩8池化子空间0.850、仅抵抗状态的秩8为0.550；间接自身质心L24为0.159、L36为0.068。
• 自然语料与模板化基准：benchmark匹配供体的19层扫描（Table 10）在L1–L18构成零区（翻转率≤3.3%），L24峰值12.2%，同层随机为1.1%；跨分布AcmeCorp供体峰值为18.9%。作者称绝对翻转率约为合成设置的1/7.5（12.2% vs 91.7%），但早晚分离的形状仍在。BIPIA与Gandalf都在L24达峰：BIPIA 0.70对随机0.13，Gandalf 0.66对0.32；附录称类别特异差距在L24最大（BIPIA +0.57，Gandalf +0.34），到L36降到约随机水平。
• 温度、GCG、多轮与检测：采样解码T∈{0.3, 0.7, 1.3}时，L24与L36翻转率都超过89%，L1与L16明显更低（Table 2；T=1.3时L1升到0.200，L24为0.905）。20-token通用GCG后缀用在剩余280条上，合规数从无后缀时的28%降到28/280（10%）；作者明确不把此实验当作对更强GCG的鲁棒性证据。在仍合规的GCG样本上，L16翻转率0.321，L24至L36为1.000（Table 3）。多轮Nc=62，峰值仍在L24，0.871，对照单轮0.917（Table 9；L36降到0.484）。检测（Table 4）：L24 AUROC 0.993、leetspeak recall 100%；L1为0.888与13.3%；L36为0.892与100%。L24对五种混淆策略均为满召回。相对文本分类器，hard-negative上AUROC 0.993对0.709。针对L24分数的white-box GCG把5% FPR召回从1.00降到0.48（Table 13为1.000→0.475），文本分类器仅0.625→0.600。

其他消融与分析

• 几何距离：注入与良性均值状态的距离从L1增到L35，在L36下降。
• Base vs instruct（Table 12）：同一headline集上，Qwen3-4B-Base与instruct在L1的攻击可解码AUROC都是1.00；合规ASR从0.65降到0.28；L32对比方向范数从72.5升到126.0（作者称升74%）。该1.00是相对普通良性查询，与第7节hard-negative上L1的0.888不是同一评测。
• MoE：Qwen3-30B-A3B峰值翻转率0.06（L21），同层随机对照0.04。作者称不对稀疏MoE是否保留稠密单token瓶颈作强主张。
• 推理与智能体：作者称推理模型与Mixture-of-Experts上单token因果杠杆更弱；智能体rollout不受单个提示末token或承诺token修补控制（附录G、H）。论文在可见正文中未给出推理模型与智能体设置的具体翻转率数字。
• 供体质量：作者总结，直接注入供体迁到试点间接目标时L24约95%，间接语料自身质心不优于随机；benchmark匹配供体在自然攻击上不优于跨分布AcmeCorp供体（12% vs 19%，附录F）。

作者指出的局限与后续方向

• 幅度依赖供体与措辞：翻转率在标定的AcmeCorp设置达77–92%，在多样的自然基准上降到约12%；更模板化的BIPIA与Gandalf在同一L24区域恢复66–70%。间接注入中，主题变化把全局自身质心稀释到随机向量水平，而干净的直接注入供体在同一晚层恢复95%翻转率。作者称干预强度取决于供体能否干净隔离合规对比以及措辞多样性，因果位置相对更稳（第8节）。
• 未决问题：更丰富的供体表示可能改善向自然输入的迁移；强检测信号与低维子空间促使做轻量监控和有针对性的激活转向。单token图景在更广设置中变弱：智能体rollout不受单个提示末token或承诺token修补控制；推理与MoE模型的单token因果杠杆更弱。Base与instruct的比较提示攻击可解码性在预训练中出现，指令微调抑制合规并锐化晚层几何（第8节，指向附录G、H、H.2）。
• 分析重心与峰值层：详细分析主要在Qwen3-4B，尽管架构评测到32B。峰值层在网络深度的63%到91%之间变化，因此必须按模型标定（Limitations）。
• 刺激范围：主刺激主要是合成、单轮、英文（Limitations）。
• 模型类型：在稠密、非思考模型上观察到的强单token因果定位，在推理、MoE和智能体设置中明显变弱，合规可能分布在生成token或计算路径上（Limitations）。
• 威胁模型与开放挑战：工具滥用或数据外泄等更广威胁模型可能涉及不同的多步机制（Limitations）。结论中作者称，把该因果图转化成鲁棒、可泛化的防御，仍是对抗输入下保护语言模型的核心开放挑战。

实验覆盖范围

• 模型：主因果扫描覆盖Qwen3-4B/14B/32B、Phi-3-mini、Mistral-7B-Instruct-v0.3；另比较Qwen3-4B-Base，并在Qwen3-30B-A3B上报告峰值0.06对随机0.04（Figure 3B、附录H）。
• 攻击与格式：直接攻击、角色扮演与拆分载荷、600条间接注入及60条试点、多轮360条、采样温度0.3/0.7/1.3、20-token GCG后缀、五种表面混淆（第5–7节、附录D、E）。
• 公开基准：deepset/prompt-injections与neuralchemy/Prompt-injection-dataset上19层扫描，测试端90条合规；BIPIA载荷被放到用户轮、Gandalf按发布形式使用，作者写明BIPIA实验不测其间接注入威胁模型（附录F）。
• 检测：Qwen3-4B上L1、L24、L36的LinearSVC，hard-negative 100条；对照ProtectAI文本分类器，以及针对L24分数、保持合规的white-box GCG（第7节、附录I、Table 13）。
• 未报告项：论文未报告主扫描的重复次数，也未报告关键词标注与LLM评审的一致性数值；推理模型与智能体rollout的具体翻转率在正文讨论中被指向附录，但未给出与主表对齐的数字。

这篇工作用逐层激活修补定位提示注入合规发生在网络何处，并把该位置用于检测验证。

• 问题：攻击是否存在从第1层就能线性读出，但模型何时决定服从系统角色之外的指令，缺少因果层面的答案。输入输出层的防御因此仍是启发式的。
• 方法：在合规前向的最后提示token上，用抵抗运行的平均隐状态替换该层激活，以翻转率画因果图；再用秩k PCA、子层分解和逐层线性分类器检验该瓶颈是否低秩、是否也是最佳检测层。
• 主定位：五个4B–32B稠密模型上，深度前37–44%因果杠杆可忽略，峰值落在后三分之一。Qwen3-4B的Headline语料在L24翻转率0.917（Table 1）；修补该瓶颈在摘要所述设置下使77–92%的合规转为抵抗。L24的注意力或MLP单独只有21.4%，全修补为90.5%，信号在进入该层的残差流中。
• 机制与迁移：Qwen3-4B与14B在k=8越过80%翻转率阈值，32B要到k=64，但其全修补上限也只有81.3%。隐蔽攻击早期表征与直接攻击分开，却仍被直接攻击的抵抗几何在L30以96.5%翻转。自然语料峰值约12.2%，间接注入自身质心在L36与随机同为0.433；干净直接供体迁到试点间接目标则到95.5%。
• 检测与作者结论：Qwen3-4B上L24的AUROC为0.993，leetspeak召回100%，L1仅为13.3%。作者认为因果峰值编码的是合规决定而非表面形式，但是轻量互补信号，不是独立防御；把该图变成可泛化防御仍是开放问题。推理、MoE与智能体设置中，单token杠杆明显更弱。