LongPIBench：面向长上下文提示注入的评测基准

这篇论文试图解决现有提示注入基准局限于短文本、无法有效评估大语言模型在长文档实际应用中安全风险的问题。

• 长文本应用场景与安全隐患：大语言模型已被广泛应用于学术论文评审、简历筛选、代码审查与企业邮件处理等长文档任务（如AAAI推出的LLM辅助评审系统），处理单次请求往往涉及数千至数万token的上下文。当长文档包含来自不受信任来源的内容时，攻击者可嵌入注入提示词诱导模型偏离目标任务。
• 现有基准的局限性：现有提示注入评测基准（如OPI、InjecAgent、AgentDojo等）的上下文通常在数十至数百token之间，且主要评估人工设计的启发式攻击。作者指出，既有基准隐含假设短文本中观察到的安全性能够外推至长文本部署，这一假设导致现有防御的有效性被高估。
• 长上下文特有的攻防失衡：在长文档中，注入提示词仅占输入的一小部分，作者认为深植于长文本中的攻击容易削弱防御信号或改变指令优先级，使得在短文本上表现优良的检测与防御方法失效。
• 论文提出的评测基准：作者提出了LongPIBench，包含4种实际长文档场景、8个数据集（合成与真实世界数据集各4个），系统评测了6种启发式攻击、2种优化攻击以及15种现有防御方法。
• 威胁模型：
  • 攻击目标：诱导受害LLM偏离原本的目标指令，执行注入任务（如论文评审给出高分8或9分、简历筛选判定合格、邮件总结嵌入攻击者链接或指定回复、代码审查批准变更）（Section 4.3）。
  • 攻击者知识：启发式攻击为模型不可知设置，无需模型内部参数；基于GCG的优化攻击假定攻击者拥有白盒访问权限，可获取输入token的近似梯度（Section 4.1、4.2）。
  • 攻击者能力：攻击者能够将恶意提示词嵌入到不可信的长上下文输入中（如论文、简历、代码diff或邮件），但无法直接修改系统提示词或用户角色的目标任务指令（Section 1、4.1）。
  • 受害系统：处理不可信长文档并依据目标指令生成决策或摘要的单次调用LLM系统（Section 3.1、4.4）。

论文围绕提示注入攻击、提示注入防御以及提示注入评测基准三方面工作展开讨论。

• 提示注入攻击：
  • 启发式攻击（OWASP, 2023; Willison, 2022, 2023; Perez and Ribeiro, 2022; Liu et al., 2024b）：依赖人工设计的规则，例如插入显式分隔符、指令忽略、转义字符或伪造完成状态，这类方法通常简单且与模型无关。
  • 优化型攻击（Zou et al., 2023; Jia et al., 2026b; Pasquini et al., 2024; Liu et al., 2024a; Hui et al., 2024）：通过自动化搜索有效注入模式，例如利用梯度优化逐样本注入提示词（GCG）或通用分离符。
• 提示注入防御：
  • 检测型防御（Meta, 2024; Liu et al., 2024b, 2025b; Abdelnabi et al., 2025; Hung et al., 2025; ProtectAI.com, 2024; Zou et al., 2025）：旨在识别输入是否包含注入提示词，涵盖分类器检测、注意力追踪（Attention Tracker）、已知答案检测（KAD）与模型内置防护（Prompt Guard 1/2）等。
  • 预防型防御（Chen et al., 2025c,b; Jia et al., 2026a; Liu et al., 2025c; Wallace et al., 2024; Wu et al., 2024, 2025; Kim et al., 2025; Debenedetti et al., 2025）：确保模型在包含恶意指令时依然执行目标任务，包括提示词分隔、微调对齐（作者称MetaSecAlign 8B在已有基准上表现稳健，被广泛视为代表性方法）、定位清除（PromptLocate）及推理扩展（SecInfer）。
• 既有基准及其不足：
  • 模型级与智能体基准（Liu et al., 2024b, OPI; Zhan et al., 2024, InjecAgent; Debenedetti et al., 2024, AgentDojo; Zhang et al., 2025, ASB）：作者指出这些基准的上下文大多较短（数十至数百token），且几乎仅涵盖启发式攻击，忽略了已被证实更有效的优化型注入。
  • 平台型基准（Geng et al., 2026, PIArena）：附录A指出PIArena侧重通用问答、摘要和代码补全任务的广度，而LongPIBench侧重具有决策后果的实际文档工作流与内生任务危害。
• 基线方法与对比基准：
  • 攻击基线包含5种既有启发式方法（Naive attack、Context ignoring、Escape character、Fake completion、Combined attack）与2种优化攻击（GCG、GCG universal）；防御基线包含9种检测方法与6种预防方法。
  • 对比基准选用了OPI、InjecAgent与AgentDojo。

作者将LongPIBench定位为针对长文本决策型文档场景的提示注入基准，强调其结合了真实业务流程、内生任务目标及优化型攻击。

作者构建了面向长文档场景的基准框架 LongPIBench，涵盖任务构建、攻防实现与评估流水线。

任务场景与注入目标设定

• 4类长文本任务：选取论文同行评审（结构化评价与打分）、简历筛选（依据职位描述判断是否合格）、代码审查（给出修改意见并决定是否批准）及邮件总结与回复拟定（Section 3.1）。
• 现实化攻击目标：区别于输出特定固定字符，攻击目标紧扣业务逻辑（Section 4.3）：
  • 论文评审目标为诱导高分（8或9分，默认）、仅报告次要问题或弱点为空。
  • 简历筛选目标为将候选人列入短名单（默认）、断言满足工作年限或学位要求。
  • 邮件总结目标为正文插入攻击者链接（默认）、草拟肯定回复（“yes, please”）或否定回复（“no, please don’t”）。
  • 代码审查目标为诱导批准变更（默认）、仅提供次要意见或不产生任何意见。

合成与真实数据集构建

• 分阶段合成流程：使用GPT-5以迭代提示逐步生成长文本，避免单次生成的不连贯（Section 3.2）。论文按大纲逐节生成并套用LaTeX模板；简历填充至CV模板；代码审查生成完整diff与上下文；邮件合成多轮嵌套链条。各任务生成100个样本，单任务置信度使用95% Wilson置信区间量化。
• 真实世界数据集：包含ICLR 2024被拒论文100篇、Resume Dataset简历库、code-review-data-v2代码审查数据以及Enron Email Dataset邮件数据（Section 3.3, Appendix B）。

攻击机制与变体设计

• 启发式攻击变体：包括直接追加的Naive attack、显式忽略指令的Context ignoring、换行符转义的Escape character、声明目标已完成的Fake completion以及组合策略Combined attack（Section 4.1）。
• 权威冒充攻击（Authority spoofing）：作者提出冒充组织或高信任度实体的攻击策略（如论文评审中伪造大会组委会与主席决定、简历筛选中冒充招聘部门负责人等），利用社会学信任偏见诱导模型遵从注入指令（Section 4.1）。
• 优化型攻击实现：评估实例级优化的GCG与针对通用连接符优化的GCG (universal)，采用白盒近似梯度搜索最优token（Section 4.2）。

防御集成与评测流程

• 防御方法集成：评估9种检测方法（Attention Tracker、DataSentinel、DeBERTa、DistilBERT、EVD、KAD、PIShield、Prompt Guard 1/2）与6种预防方法（Instructional、Delimiters、Sandwich、SecInfer、PromptLocate、MetaSecAlign 8B）（Section 5.1, 5.2）。
• PromptLocate流水线：采用“检测–定位–清除”三阶段机制，先由DataSentinel检测是否存在攻击，再由PromptLocate定位并剔除恶意片段，最终输入净化文本（Section 5.2）。
• 格式规范：遵循各模型默认模板（Qwen直接拼接、GPT将目标指令置于系统角色、MetaSecAlign分离trusted与untrusted输入角色；最大输出token数Qwen3-8B设为32,768，其余设为20,000）（Appendix C）。

实验设置

• 被测模型：主实验评估8个LLM，包括Llama-3.1-8B-Instruct（默认模型）、Llama-3.2-3B-Instruct、Apertus-8B-Instruct、deepseek-llm-7b-chat、Ministral-3-8B-Instruct、Qwen3-8B、GPT-4o与GPT-4.1；正文补充测试了GPT-5.6与Qwen3.5-9B（Section 4.4, C.1）。防御评测基于Llama-3.1-8B-Instruct与微调模型MetaSecAlign 8B（Section 5.2）。
• 数据集与规模：4个任务各包含100个合成长文档样本；真实数据集包含100篇ICLR 2024被拒论文，以及真实简历库、代码审查库与Enron邮件库（后三者具体评测条数论文未报告）（Section 3.2, 3.3）。
• 评测基线：对比OPI、InjecAgent与AgentDojo三个既有短文本基准（Table 5）。
• 评估指标：攻击成功率（ASR，被污染输入满足攻击目标的比例，无攻击条件衡量天然输出基线）；检测防御报告假阳性率（FPR）与假阴性率（FNR）（Section 4.4, 5.3）。
• 判定方式：根据任务输出是否满足指定条件（如评分是否为8或9、是否包含特定短语或链接）由程序规则判定（Appendix D）。
• 样本量与统计：合成数据每任务100例，单任务置信度采用95% Wilson区间（最大半宽约9.6个百分点），跨任务聚合使用分层Bootstrap重采样；论文未报告重复运行次数（Section 3.2）。

主结果

下表呈现合成论文评审任务下，8个被测模型在不同启发式攻击下的ASR表现：

表格较宽，可左右滑动

注：据 Table 1。省略了 Escape character 与 Context ignore 两种攻击列，以及简历筛选、邮件总结和代码审查任务的数据（完整数据见 Table 1）。

• 无防御下启发式攻击普遍有效：作者指出，无攻击时各模型基线ASR仅0.01至0.04，而在各类注入攻击下ASR大幅上升，开源模型如Llama-3.1-8B-Instruct与Qwen3-8B达到1.00。
• 权威冒充攻击效果突出：作者报告，Authority spoof在所有模型上均取得最高ASR（0.79至1.00），在闭源模型GPT-4o与GPT-4.1上相比其他启发式攻击有明显增益（分别达0.82与0.79）。
• 真实数据趋势一致：作者在附录Table 7中报告，真实数据集上Authority spoof在论文评审、邮件总结与代码审查均达到1.00的ASR，说明攻击表现并非合成数据特有。

预防型防御在长文本场景的失效评测

• 测了什么：在Llama-3.1-8B-Instruct上评估6种预防防御抵御Authority spoof的效果（Table 4），并在长文本与既有短文本基准间对比Combined attack下的防御表现（Table 5）。
• 结果：在合成数据上（Table 4），有攻击时Instructional（0.93至1.00）、Delimiters（0.90至1.00）、Sandwich（0.92至1.00）与SecInfer（0.79至1.00）的ASR均处于高位；表现相对最好的PromptLocate在各任务ASR为0.32至0.56；MetaSecAlign 8B在论文评审与简历筛选ASR达1.00。对比既有基准（Table 5），MetaSecAlign 8B在OPI、InjecAgent和AgentDojo上的ASR分别为0.00、0.01和0.00，但在LongPIBench聚合下升至0.78；PromptLocate从0.00升至0.45。
• 作者的解读：作者认为短文本上有效的预防防御无法泛化至长文本，既有短文本基准高估了防御有效性。

检测型防御的分类失衡分析

• 测了什么：评估9种检测防御方法在合成数据各任务上的FPR与FNR（Table 3），并在Figure 3中测试不同分段尺寸对检测指标的影响。
• 结果：Table 3中，Deberta与EVD在4个任务上FNR均为1.00且FPR为0.00；DistilBert与KAD在4个任务上FPR均为1.00且FNR为0.00；DataSentinel的FPR在0.54至1.00之间，FNR在0.00至0.14之间；Prompt Guard在邮件总结上FNR达0.98，Prompt Guard 2在邮件总结FPR达0.95。Figure 3中，分段尺寸增大导致多数方法FNR上升、FPR下降；较小分段尺寸降低FNR但推高FPR。
• 作者的解读：作者指出检测方法在长文本中面临难以兼顾的失衡，无法将恶意指令与良性长上下文区分开，分段检测无法消除这一权衡。

优化型攻击与上下文长度变化

• 测了什么：在4个任务上评估单样本优化GCG与通用分隔符优化GCG (universal)的ASR（Table 2）；在论文评审中改变良性内容长度（仅摘要、摘要+2节、全文），测试防御ASR（Table 10）。
• 结果：Table 2中，GCG在论文评审与简历筛选ASR达1.00，在邮件总结达0.81，在代码审查达0.92；通用变体在四项任务分别达1.00、1.00、0.71和0.87。Table 10中，随着上下文从摘要增加到全文，PromptLocate的ASR从0.13上升至0.45，MetaSecAlign 8B从0.00上升至0.78。
• 作者的解读：作者认为优化攻击在长文本中依然有效且具备迁移性；增加良性上下文直接削弱了防御效果。

其他消融与分析

• 注入位置影响（Table 8b）：代码审查任务中注入位置由前部移至中部和尾部时，ASR由0.53升至0.85和0.87；邮件总结由0.62升至0.71和0.70；论文评审由0.92升至1.00和1.00；简历筛选均为1.00。
• 文档模板样式（Table 8a）：论文评审与简历筛选在4种模板下ASR均为1.00；邮件总结ASR在0.70至0.81之间；代码审查ASR在0.75至0.87之间。
• 不同攻击目标差异（Table 9）：代码审查任务在目标(ii)（仅提供次要意见）下Naive与Combined攻击ASR为0.00，Authority spoof达1.00；邮件总结目标(ii)下Combined攻击ASR为0.01，Authority spoof达0.70。
• 多目标同时达成（Table 11）：单个注入提示词同时达成全部3个攻击目标时，论文评审ASR为0.90，简历筛选为1.00，邮件总结为0.48，代码审查为0.65。
• 现代模型补充测试（正文第7页）：GPT-5.6与Qwen3.5-9B在Authority spoof攻击下平均ASR分别由基线的0.08和0.10升至0.61和0.98。
• 智能体消息格式变体（Appendix C.2）：采用工具调用与工具输出格式传递长文本时，Authority spoof在Llama-3.1-8B-Instruct上保持1.00的ASR。

负面结果与例外

• 在真实简历数据集上（Table 7），启发式攻击ASR相对较低，Naive attack为0.12，Combined attack为0.40，Authority spoof为0.42，作者未对此解释具体机理。
• 代码审查的目标(ii)（仅生成次要意见）下，Naive与Combined攻击的ASR均为0.00（Table 9），未能诱导模型。

作者指出的局限与后续方向

• 未覆盖动态智能体工作流（出自 Limitations）：基准聚焦于单次推理的文档中心型任务，未考虑包含多步推理、外部工具调用和环境交互的智能体系统；智能体环境中的提示注入可能表现出跨步传播和延迟执行等不同特征。
• 仅限于静态长上下文输入（出自 Limitations）：评估均在单次推理中提供完整文档，未建模提示词与中间输出随时间演变的动态设置（如迭代调用或工具调用流水线），动态交互可能引入新的攻击面或改变指令优先级。
• 未阐明防御弱化的内部机制（出自 Limitations）：受控长度实验证实了增加良性上下文会削弱防御，但未确定其内部机制；上下文稀释与位置效应是两种合理的非排他性解释，未来需要基于注意力或表征层面的分析进行验证。
• 优化型攻击覆盖范围有限（出自 Limitations）：优化攻击仅评估了GCG及其通用变体，未覆盖自适应搜索方法、针对智能体的黑盒树搜索或白盒GCG，以及基于强化学习的攻击方法（如RL-Hammer、AutoInject、PISmith）。
• MetaSecAlign实验结论的适用范围（出自 Section 5.2）：论文明确指出MetaSecAlign的评估结果仅针对8B检查点，可能无法直接推广至更强的70B检查点或整个MetaSecAlign模型家族。

实验覆盖范围

• 被测模型包括主实验的8个LLM（Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct、deepseek-llm-7b-chat、Ministral-3-8B-Instruct、Qwen3-8B、GPT-4o、GPT-4.1）以及补充的GPT-5.6与Qwen3.5-9B，防御评测主要在Llama-3.1-8B-Instruct及MetaSecAlign 8B上进行（Section 4.4, 5.2, C.1）。
• 评测场景覆盖论文评审、简历筛选、代码审查和邮件总结4种长文档任务，合成数据集每场景样本量为100（Section 3.2）；真实数据集包括ICLR 2024被拒论文100篇，以及Resume Dataset、code-review-data-v2和Enron Email Dataset（论文未报告后三者的具体评估样本量）（Appendix B）。
• 防御评测覆盖9种检测方法（Attention Tracker、DataSentinel、DeBERTa、DistilBERT、EVD、KAD、PIShield、Prompt Guard 1/2）与6种预防方法（Instructional、Delimiters、Sandwich、SecInfer、PromptLocate、MetaSecAlign 8B）（Section 5.1, 5.2）。
• 提示词格式测试了模型默认Chat模板（Qwen用户拼接、GPT系统/用户角色分离、MetaSecAlign用户/输入角色分离）及一种工具调用Agent消息格式（Appendix C.2）。
• 优化攻击测试了GCG与GCG (universal)在4个任务上的表现，采用GCG默认超参数（Section 4.4）；论文未报告具体查询预算、耗时及多次重复运行的方差。

• 研究定位：针对大语言模型长文档应用缺乏针对性安全评测的问题，作者提出了长文本提示注入基准LongPIBench。
• 核心问题：现有提示注入基准主要评估数十至数百token的短文本，无法反映处理数万token长文档的实际部署环境，导致现有防御的有效性受到高估。
• 方法设计：基准覆盖论文评审、简历筛选、代码审查和邮件总结4种真实决策场景，构建了合成与真实两套长文档数据集；除了评估传统启发式与基于GCG的优化攻击外，作者提出了利用社会权威线索的Authority spoof攻击，并系统评测了15种现有防御方法。
• 主要发现：
  • 启发式攻击在无防御长文本中表现出高攻击成功率，Authority spoof在Llama-3.1-8B-Instruct与Qwen3-8B上达成1.00的ASR，在GPT-4o与GPT-4.1上也分别达到0.82与0.79（Table 1）。
  • 基于token优化的GCG攻击在长文档中依然有效，在论文评审与简历筛选上ASR达1.00，在代码审查达0.92（Table 2）。
  • 短文本下表现优良的预防防御在长文档中大多失效，MetaSecAlign 8B在短文本OPI基准的ASR为0.00，而在LongPIBench长文本聚合下升至0.78（Table 5）。
  • 检测型防御在长文本中面临分类失衡，DataSentinel等假阳性率偏高（FPR达0.54至1.00），而DeBERTa与EVD漏报率偏高（FNR达1.00），分段检测策略未能解决该矛盾（Table 3, Figure 3）。
• 作者结论：作者认为长文本设置从根本上改变了提示注入攻防的表现，短文本安全评估无法直接外推，亟需针对长上下文特性设计新的防御策略。