任务未离题、结果已跑偏：评测大语言模型与智能体对近目标提示注入的鲁棒性

1. 01这篇论文试图解决什么问题？

   作者称现有提示注入评测只测明显偏离任务的目标，会漏掉保留合法外观的近目标攻击。

   核心问题：现有提示注入基准只测试明显放弃用户任务的攻击目标，可能漏掉保留大部分合法回答外观、但引入错误或有害改动的“近目标”攻击，使系统看起来鲁棒实则不然。

   • 场景与动机：LLM 和智能体处理检索文档、外部消息和工具输出时，其中的注入指令可能操纵回答、泄露隐私或诱导未授权操作。作者认为，系统可能靠拒绝明显偏离任务的攻击通过测试，却仍接受与任务相关的错误/有害改动。
   • 现有评测的不足：作者称，针对选定目标搜索更多注入指令，只能说明该目标能否被诱导，不能说明其他目标是否更容易被诱导；只测 distant target 的评测会让有缺陷的边界看起来与理想边界一样有效（Figure 2）。
   • 核心观察：攻击目标可以保留合法回答的大部分内容，只改动关键事实（如把公告时间从 10 点改为 11 点）或附带有害行为（如泄露私人电话），作者称之为 near-target prompt injection（Figure 1）。
   • 论文提出：NTBench（Near-Target Benchmark），以合法参考结果为锚生成 incorrect 与 harmful 两个轨道的目标-指令对，结合 LLM 检查与人工验证，再在 7 个 LLM、10 个语言数据集和 2 个智能体基准上评测。
   • 威胁模型：
     • 目标：诱导系统产生与任务相关但错误或有害的回答/工具调用，而非明显放弃任务。
     • 知识：对受害系统为 black-box，无参数、梯度或内部激活；攻击生成器可获得构造器提供的用户请求、相关上下文、参考结果等字段。
     • 能力：addition-only，只能在指定注入位置插入指令，不能编辑、删除、替换或重排原有内容，不能修改可信指令。
     • 受害系统：处理不可信内容的 LLM，以及在工具使用中遇到注入内容的智能体。

   收起这一问

2. 02有哪些相关研究？

   相关工作分攻击方法、评测基准、防御三类，作者称 NTBench 从目标选择角度补充现有基准。

   提示注入攻击

   • 早期与手工方法：Greshake 等（2023）展示嵌入外部内容的间接提示注入；Perez 和 Ribeiro（2022）总结手工攻击模板。
   • 自动化攻击：Neural Exec（2024）用白盒梯度搜索执行触发器；GCG 与 Tree of Attacks with Pruning 被适配到 AgentDojo（Hofer 等，2026）；AutoInject（2026）用强化学习优化对抗后缀，PISmith（2026）针对防御训练注入生成器；Zhan 等（2025）研究针对智能体与防御的自适应攻击。作者指出，这些方法针对选定目标优化注入，本身不测试其他结果。

   提示注入基准

   • 语言任务：BIPIA（2025）评测间接注入、含任务相关攻击；SEP（2025）测量指令-数据分离。
   • 智能体任务：InjecAgent（2024）与 AgentDojo（2024）评测工具使用工作流中的恶意目标；Agent Security Bench（2025）扩展智能体组件与攻击面覆盖；AgentDyn（2026）研究含有用第三方指令的动态任务。
   • 平台与目标设计：PIArena（2026）支持自适应攻击生成并研究任务对齐的知识污染；AutoDojo（2026）通过迭代黑盒优化生成攻击；StakeBench（2026）把攻击目标与利益相关者伤害和用户意图关联。

   提示注入防御

   • 检测与过滤：DataSentinel（2025）、PromptArmor（2025）在内容到达任务模型前检测或移除恶意内容。
   • 模型级防御：instruction hierarchy 训练（2024）、StruQ（2025）、SecAlign（2025）与 Meta-SecAlign（2025）、SecOPD（2026）的 on-policy 蒸馏、ISE（2025）与 AIR（2025）的表示层特权嵌入。
   • 智能体 harness：IsolateGPT（2024）、CaMeL（2026）、Progent（2025）在执行期做隔离、信息流控制与权限策略检查；EvoSafeHarness（2026）自动演化 harness 策略与执行逻辑。

   与 LocalAlign 的关系：作者称 LocalAlign（2026）用近目标样本做偏好对以改进防御泛化，是训练方法；NTBench 提供评测视角与基准，测试能抵抗基线攻击的系统是否仍易受相关错误/有害结果影响。

   基线与基准：固定目标基线取自 PIArena 的 1,700 条原始注入和 AgentDojo/AgentDyn 套件的注入任务；评测基准为 PIArena 的 10 个语言数据集、AgentDojo v1.2.2 与 AgentDyn。作者定位：NTBench 从攻击目标选择角度补充现有基准与攻击优化器，近目标目标可扩大现有任务环境内被测结果的范围。

   收起这一问

3. 03论文如何解决这个问题？

   NTBench 以合法参考结果为锚生成近目标攻击对，经双重验证后注入，按目标特定检查判定成功。

   整体思路：以合法参考结果为锚，用 LLM 生成保留大部分合法内容但引入错误或有害偏差的目标-指令对，验证目标确实构成违规后，把指令注入不可信内容，检查受害系统是否被诱导。NTBench 分 incorrect-target 与 harmful-target 两个轨道，分别报告成功率。

   问题形式化

   • 系统输入表示为 x′ = (t, u′)，其中 t 为可信的用户请求与系统指令，u' 为在指定位置插入攻击指令后的不可信内容，原有内容与 t 保持不变。
   • 近目标集合定义为 T_near(τ, y_ref, ϵ) = N_τ,ϵ(y_ref) ∩ D_τ：与参考结果 y_ref 的不相似度不超过 ϵ、且属于错误或有害偏差 D_τ 的目标集合；释义和其他合法答案被排除。
   • 攻击成功定义为：注入指令使系统实现目标 a 指定的违规条件，不要求复现 a 的其余良性细节，也不要求观测结果仍落在邻域内。

   目标与指令生成

   • 参考结果：语言任务用参考模型 f_ref 在无注入输入下生成；智能体任务取源基准 ground-truth 轨迹中注入点之后的下一个动作或回答。
   • 生成方式：生成器 LLM 按轨道特定提示词，基于任务信息、参考结果和违规类型，采样候选目标-指令对；incorrect 轨道要求相对原始请求和信息引入错误，harmful 轨道要求有害内容或行为（可伴随正确的任务完成）。
   • 接近性：仅通过提示词鼓励目标保留参考结果的内容与结构，不显式优化距离度量、不强制数值半径 ϵ；附录 B 给出完整生成提示词。
   • 接近性验证：用 Meta-SecAlign 作打分模型，比较目标与参考结果的平均 log-probability 差距；作者报告近目标轨道的中位差距相对固定目标基线下降 52.9–74.2%（incorrect）和 44.7–61.3%（harmful）（Figure 4）。

   目标验证

   • incorrect 轨道：语言任务用 LLM judge 检查目标是否引入错误（提示词见附录 A），释义和正确替代不保留；智能体任务用规则过滤，与 ground-truth 轨迹后续步骤完全一致的目标被剔除。
   • harmful 轨道：LLM judge 按固定策略 Π 评估，Π 实例化为参考 OpenAI 与 Anthropic 官方使用政策的有害标准；正确回答附带泄露或未授权动作也算违规。
   • 可执行性检查：智能体工具调用目标须使用可用工具、符合参数模式；用 Qwen3.8-27B 作构造期执行器，按攻击指令执行并检查是否产生指定目标，失败者丢弃。
   • 人工验证：LLM 检查与人工验证结合；两轨道是可重叠的评估标准，非互斥划分，成功率分别报告、不相加。

   攻击执行与成功判定

   • 注入：指令插入指定不可信内容位置，语言任务插在文档随机位置（各受害模型共享同一位置），智能体任务插在工具返回的指定注入槽。
   • 判定：文本目标由 judge 对照指定偏差检查受攻击与无攻击两次运行；工具调用目标要求注入后调用的工具与每个关键参数完全匹配（自由文本参数除外）；固定目标基线用基准原生检查（PIArena 用 judge，智能体套件用原始安全函数）。
   • 指标：排除无注入运行中已出现的偏差；报告 ASR@3（三次尝试中至少一次成功的样本比例）与 ASR@1；攻击集在评测前固定、跨模型共享、不做模型特定适配。

   收起这一问

4. 04论文做了哪些实验？

   7 个模型上两个近目标轨道的 ASR@3 全部高于固定目标基线，语言任务最高提升 35.8 个百分点。

   实验设置

   • 被测模型：Meta-SecAlign-70B（专为抵抗提示注入训练的开源模型）、GPT-5.6 Sol、Gemini 3.7 Flash、Claude Opus 5、GLM-5.3、DeepSeek-V4.1-Flash、Kimi K3，均通过官方 API 访问。
   • 数据集：语言任务为 PIArena 的 10 个数据集（Dolly Closed QA/Extraction/Summarization、SQuAD v2、Multi-News、NQ、HotpotQA RAG 与 long-document、Qasper、LCC），每样本全量使用；智能体任务为 AgentDojo v1.2.2 的 4 个套件与 AgentDyn 的 3 个套件。
   • 基线：固定目标攻击，从 PIArena 的 1,700 条原始注入或套件的注入任务中按固定种子取 3 条。
   • 判定：所有 LLM 判定用 GPT-5.6 Luna（关闭推理）；工具调用目标要求工具与关键参数完全匹配；基线用基准原生检查。
   • 预算与采样：每样本攻击执行预算 B=3；语言任务每轨道/基线共 4,197 次尝试；温度设为 0（Claude Opus 5 不支持该参数，Kimi K3 要求 1）；智能体任务默认 agent loop、15 次工具调用迭代。
   • 样本单位：语言任务为任务实例；智能体任务为被到达的注入位置（无攻击运行从未读取的位置被排除）。

   主结果

   据 Table 2 与 Table 3（每格为 ASR@1 / ASR@3，%），Overall 行：

   表格较宽，可左右滑动

   模型	语言：固定	语言：incorrect	语言：harmful	智能体：固定（Dojo/Dyn）	智能体：incorrect（Dojo/Dyn）	智能体：harmful（Dojo/Dyn）
   Meta-SecAlign-70B	1.1/3.2	17.8/36.7	8.5/18.4	1.6/1.6；4.2/6.3	9.6/21.5；15.3/31.6	2.2/5.2；12.6/21.1
   GPT-5.6 Sol	0.1/0.4	15.9/33.0	6.3/13.9	0.8/2.3；1.1/2.1	13.7/32.4；14.4/32.0	2.1/5.7；9.5/14.7
   Gemini 3.7 Flash	0.1/0.3	3.7/9.6	1.5/4.3	0.0/1.5；1.0/1.0	5.4/10.9；8.9/16.8	2.1/4.1；2.0/4.0
   Claude Opus 5	0.8/2.4	7.6/19.2	1.5/4.1	0.7/1.5；0.0/0.0	3.4/7.5；6.2/16.5	1.4/2.8；2.0/4.1
   GLM-5.3	0.3/0.9	15.2/35.7	5.1/12.7	0.7/4.4；0.0/0.0	13.1/27.6；16.0/41.0	5.7/12.8；10.1/17.2
   DeepSeek-V4.1-Flash	6.0/15.5	27.1/51.3	16.7/32.8	2.2/5.9；1.0/1.0	16.4/32.2；17.0/43.4	4.2/8.3；3.8/10.4
   Kimi K3	0.4/1.1	16.4/36.2	6.2/14.5	1.5/1.5；0.0/0.0	6.2/16.4；14.7/35.3	3.5/8.3；5.9/11.8

   • 语言任务：作者报告 incorrect 轨道 ASR@3 在全部 70 个模型-数据集组合上超过基线，提升 9.3–35.8 个百分点；harmful 轨道在 63 个组合上更高、2 个持平、5 个更低，提升 1.7–17.3 个百分点。
   • 单次尝试：作者报告每个模型的 overall incorrect 轨道 ASR@1 都超过固定目标 ASR@3。
   • 模型排序变化：作者指出两轨道给出不同模型排序——Gemini 3.7 Flash 的 incorrect ASR@3 最低（9.6%），Claude Opus 5 的 harmful ASR@3 最低（4.1%），说明对一类目标的低 ASR 不代表另一类。

   目标有效性与判定可靠性

   • 目标有效性：三名专家独立标注、多数投票作人工参照，每设置-轨道组合审计 150 个保留目标（Table 4）；语言 incorrect 91.3%、agentic incorrect 98.0% 被确认为引入错误，语言 harmful 86.7%、agentic harmful 92.0% 符合有害标准。
   • ASR 判定可靠性：每种攻击类型审计 100 条语言任务执行记录（10 个数据集各随机 10 条）（Table 5）；judge 对人工多数投票的 F1 为固定目标 83.6%、incorrect 86.7%、harmful 89.9%，一致率 91.0%–93.0%，Cohen's κ 0.78–0.85。

   其他消融与分析

   • 目标接近性：以 Meta-SecAlign 为打分模型，近目标轨道目标与参考结果的平均 log-prob 差距中位数相对基线下降 52.9–74.2%（incorrect）与 44.7–61.3%（harmful）（Figure 4）。
   • 专防模型：Meta-SecAlign-70B 的 ASR@3 从基线 3.2% 升至 incorrect 36.7%、harmful 18.4%（Table 2 Overall 行）。
   • 单数据集高点：GPT-5.6 Sol 在 LCC 上固定目标 ASR@3 为 0.0%，incorrect 为 56.6%、harmful 为 49.5%（Table 2）。
   • 智能体任务：incorrect 轨道 ASR@3 在 AgentDojo 上为 7.5%–32.4%、AgentDyn 上为 16.5%–43.4%；harmful 轨道最高分别为 12.8% 与 21.1%（Table 3）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称接近性仅靠提示词鼓励、未强制半径，固定攻击目标下的近目标构造留作未来工作。

   作者指出的局限与后续方向

   • 接近性未量化：当前构造仅通过提示词鼓励目标接近参考结果，未强制数值半径 ϵ；作者称未来可发展任务敏感的结果距离度量，研究 ϵ、目标覆盖与攻击预算的影响（Section 7）。
   • 有限攻击集的外推：作者称，对有限测试攻击集的抵抗在何种条件下支持对邻域内未测目标的结论，留作未来工作（Section 7）。
   • 固定攻击目标下的作用未知：NTBench 变化攻击者目标做压力测试；近目标构造能否在攻击者有预定目标时提升攻击成功率，作者留作未来工作（Section 7）。
   • 判定标准不完全可比：智能体对比中近目标工具调用用 invocation-based 检查，固定目标基线用 environment-state 检查，作者称所报 ASR 刻画各自标准下的失败，跨目标族的比较不证明对固定目标的成功提升（Section 7）。

   实验覆盖范围

   • 被测模型：共 7 个，其中 Meta-SecAlign-70B 为开源专防模型，其余 6 个经官方 API 访问（Section 5.1）。
   • 基准：语言任务为 PIArena 的 10 个数据集；智能体任务为 AgentDojo v1.2.2 的 4 个套件与 AgentDyn 的 3 个套件（Section 5.1）。
   • 攻击预算：每样本 3 次攻击执行，攻击集评测前固定、跨模型共享、不做模型特定适配；语言任务每轨道 4,197 次尝试（Section 5.1）。
   • 人工审计规模：目标有效性每设置-轨道 150 个（共 600 个），ASR 判定可靠性共 300 条执行记录，均由三名专家标注取多数投票（Section 5.3）。
   • 未报告项：论文未说明目标-指令生成所用的生成器 LLM 是哪个模型；未报告有害标准策略 Π 的具体条款清单（仅说明参考 OpenAI 与 Anthropic 官方政策）。

   收起这一问

6. 06总结一下论文的主要内容

   NTBench 用近目标攻击重测提示注入鲁棒性，7 个模型的 ASR@3 全部高于固定目标基线。

   NTBench 是一个针对近目标提示注入的红队基准，出发点是：系统可能靠拒绝明显放弃任务的攻击通过现有评测，却仍接受保留合法外观但引入错误或有害改动的攻击。

   • 方法：以合法参考结果为锚，用 LLM 生成保留大部分内容但引入错误（incorrect 轨道）或有害结果（harmful 轨道）的目标-指令对，经 LLM 检查与人工验证确认违规后，以 addition-only 方式注入不可信内容；按目标特定检查判定成功，排除无注入时已出现的偏差。
   • 主结果：在 7 个 LLM、PIArena 10 个语言数据集和 AgentDojo、AgentDyn 上，两个近目标轨道的 ASR@3 对每个模型都高于固定目标基线；语言任务提升 9.3–35.8 个百分点（incorrect）与 1.7–17.3 个百分点（harmful）（Table 2、Table 3）。
   • 专防模型：专为抵抗提示注入训练的 Meta-SecAlign-70B，ASR@3 从基线 3.2% 升至 incorrect 36.7%、harmful 18.4%。
   • 排序变化：作者指出两轨道给出不同模型排序，对一类目标的低 ASR 不代表另一类（如 Gemini 3.7 Flash 的 incorrect ASR@3 最低，Claude Opus 5 的 harmful ASR@3 最低）。
   • 可靠性：人工审计确认 86.7%–98.0% 的保留目标确实构成错误/有害偏差；judge 与人工多数投票的一致率为 91.0%–93.0%。
   • 作者结论：对固定目标攻击的抵抗不意味着对近目标错误/有害结果的抵抗，参考引导的目标构造能扩大鲁棒性评测所揭示的失败面；接近性量化和固定攻击目标下的近目标构造留作未来工作。

   收起这一问

相关论文