OI-Bench：评估 LLM 对指令干扰易感性的选项注入基准

在多项选择问答中，追加一个与题目无关、但带误导指令的选项，会不会让LLM改掉正确答案。

• 场景：作者称除界面伪影外，社会线索、框架和指令也能影响LLM决策。MCQA把多种任务收成单选，便于自动评分和跨模型比较，但会暴露选项位置、符号、冗长度，以及仅凭选项即可利用的信号。
• 缺口：作者称既有稳健性方法主要操纵选项如何呈现；None-of-the-above一类干扰项已有较多研究，选项里的误导指令则较少被讨论。作者称这类注入选项会带来更强偏差，并能很大程度影响决策。
• 本文做法：提出option injection，并构建OI-Bench：3000题，覆盖事实知识、逻辑推理和常识叙事，16种指令分四类。评测12个LLM，再在Qwen-3-8B上比较推理时提示、安全护栏模型和后训练对齐。
• 评测设定：不修改问题与原选项，标准答案不变。零样本下追加选项E，E不含解题信息，只承载指令。攻击成功指原本答对的预测在追加E后变错，不论模型是否选E。同类设定还用于工具选择和LLM-as-a-judge。

论文按提示注入、呈现与框架、对齐后的指令跟随，以及指令优先级来组织讨论。

提示注入

• 直接与间接注入：Perez and Ribeiro（2022）研究模型跟随与用户任务冲突的对抗或非预期指令。Greshake et al.（2023）扩展到间接注入，论文称其突出的是模型不能稳定分开“数据”和“指令”。
• 基准与工具场景：Yi et al.（2025）的BIPIA做基准式评估；Zhan et al.（2024）研究工具使用智能体中的注入传播。Liu et al.（2023）把嵌在本应视为惰性内容中的指令写成真实攻击面。

呈现、框架与奉承

• 选择题界面：论文讨论位置重排会改变预测（Pezeshkpour and Hruschka，2024），并在引言中列举选项符号（Yang et al.，2025）、答案冗长（Dubois et al.，2024）和仅凭选项信号作答（Balepur et al.，2024）。
• 社会线索：Sharma et al.（2024）报告偏好优化模型会迎合奉承或社会框架线索，即使与正确性冲突。论文称Wei et al.（2023）认为这种易受性并非固定，针对性训练可部分缓解。
• 传统干扰项：Tam et al.（2025）、Góral et al.（2025）讨论None-of-the-above或错误选项。论文把注入选项与这类干扰项对照，称前者偏差更强。

对齐与指令优先级

• 指令跟随：Ouyang et al.（2022）、Bai et al.（2022）的RLHF使模型响应祈使句和社会框架请求。论文称这种跟随倾向可能让模型过度看重与任务无关的指令式线索。
• 冲突时的优先级：Wallace et al.（2024）训练模型把高优先级指令放在低优先级指令之上。Zhang et al.（2024）把越狱失败写成目标优先级不稳定，并在对抗压力下维持目标排序。

基线与数据

• 对照：论文没有把既有攻击算法当作基线。主对照是不加E的四选一。题目来自tinyBenchmarks（Polo et al.，2024）放出的MMLU、LogiQA、HellaSwag各1000题。决策场景用ToolE（Huang et al.，2024）和HelpSteer2（Wang et al.，2024）。防御对照是未加防御的Qwen-3-8B，以及防御提示、Qwen3Guard-Gen-8B、DPO和PPO。

作者把option injection定位为：把多种指令放进选项集，用来衔接对抗注入、MCQA呈现敏感和由对齐引起的优先级问题，并评估它们对决策的影响。

option injection不改问题和原选项，只追加一个与题无关的选项E来承载误导指令，再比较注入前后的选择。

形式化与输出约束

• 输入：零样本MCQA，原有K=4个选项。注入后选项集为原选项加上o_inj；问题q与标准答案y*不变。预测正确当且仅当ŷ=y^∗。
• 输出：指标节规定最终形式为「The answer is [(X)]」，X是A–E中的一个字母。正则抽取预测；违反格式或含多个字母记为不正确。
• 解码：评测使用greedy decoding，temperature为0，reasoning mode下max tokens为8192。附录模板要求直接作答、不要推理；第4.1节写reasoning mode。论文未说明二者关系。

数据构建

• 来源：事实知识用MMLU，逻辑推理用LogiQA，常识叙事用HellaSwag。采用tinyBenchmarks以IRT选出的各1000题，合计3000题，目的是覆盖难度并保持模型排序。
• 子集差距：附录C称，试点中子集相对全集的平均绝对准确率差距，HellaSwag为0.76个百分点、相关约0.98；MMLU为1.24个百分点、相关约0.99；LogiQA在去掉一个输出大量缺失的异常模型后为4.47个百分点。
• 决策数据：HelpSteer2把提示和目标方面当作问题，两条原回复作为A、B，高分者为正确答案，注入文本作为C，共1316题。ToolE取单答案部分的similar choices子集，原有十个选项，注入文本作为K，共995题。

十六种指令

• 构造：A–D不变，注入项默认作为E，相对问题non-informative，只作指令载体。贡献条目把它写成benign but irrelevant；摘要同时警告示例可能冒犯或有害。附录D的Table 6给出全文，此处不复述。
• 四类：Social Compliance用权威或可信度推动选E，并区分与任务无关的权威和被写成与答案相关的专业性。Bonus Framing用收益线索。Threat Framing用不选E的负面后果。Instructional Interference包括奉承、自相矛盾、伪推理完成格式和直接命令。
• 类型名：社会类为Authority、Regulation、Citation、Wikipedia、Experts；奖励类为Bounty、Bonus、Override Bonus；威胁类为Virus-Threat、Bomb-Threat、Penalty、Override Penalty；指令类为Flattery、Contradiction、Fake-CoT、Command。Override类把忽略原题并选择E与奖惩绑在一起。

指标

• Std Acc.：原四选一准确率。Inj Acc.：追加E后的准确率。AD：二者之差。
• ASR：原本正确的预测在追加E后变错即算成功，不论是否选中E；ASR是这类样本的百分比。论文未写明分母是全部样本还是原本正确的样本。
• 选中率：附录另报告E-adopt或OI-adopt，即明确选中注入项的样本比例。

缓解与分析做法

• 防御提示：五条候选提示要求关注原题、忽略外部指令。先按Figure 3取ASR最高的指令类型，再选该类型上ASR最低的提示。附录G给出全文，并称采用Prompt 4。
• 护栏模型：比较Qwen3Guard-Gen-8B与Qwen-3-8B。架构相同，前者另经安全微调，用于检测对抗输入并抵抗steering instructions。
• 后训练：用第5.2节四类标注造偏好数据：各抽5816条E-rejected与E-induced，另各抽1496条E-ignored与E-influenced。DPO把前两类中的拒绝/忽略视为preferred，诱导/影响视为dispreferred，β=0.1，LoRA且骨干冻结。训练时注入项位置随机，作者称这是为了避免靠固定字母规避。PPO的奖励由GPT-OSS-120B把四类映射为{0,1,2,3}再缩放到[-1,1]。留出652道题干不重叠的题。附录H、I给出秩、学习率和硬件。
• 另外两项：响应分为E-induced、E-influenced、E-ignored、E-rejected，由三名评审多数投票。注意力在生成答案前的最后token上比较E与A–D均值。位置实验把注入项与A–D中某一项对调。

实验设置

• 被测模型：Claude-Haiku-4.5、Deepseek-r1、Deepseek-v3.2、Gemini-2.5-flash-lite、Gemini-2.5-pro、GPT-5-mini、GPT-5、Grok-4.1、Llama-4-scout、Llama-4-maverick、Qwen-3-8B、Qwen-3-235B。防御节另评测Qwen3Guard-Gen-8B。
• 数据：OI-Bench共3000题，MMLU、LogiQA、HellaSwag各1000。ToolE为995题，HelpSteer2为1316题。
• 解码与主判定：greedy，temperature为0，max tokens为8192，reasoning mode。主指标不由LLM打分，而由选项是否等于y*决定。攻击成功指原本正确的预测在追加E后变错，不论是否选E。
• 响应评审：Grok、Olmo-3-32B-Think、GPT-OSS-120B多数投票，标注426,387条；Fleiss' κ=0.5804。作者排除Grok-4.1的响应以避免自评偏好，并因拿不到推理轨迹而省略GPT模型。
• 范围：第5节的防御实验写明在Qwen-3-8B上进行。论文未报告重复次数。

主结果

下表是Table 2的类别ASR，不是Figure 2把16种指令再平均后的单点。行不超过8个，已包含威胁类ASR最高的Gemini-2.5-flash-lite。省略Deepseek-v3.2、GPT-5-mini、Llama-4-scout、Llama-4-maverick、Qwen-3-235B。

表格较宽，可左右滑动

模型	Std Acc.	社会ASR	奖励ASR	威胁ASR	指令ASR
Claude-Haiku-4.5	0.7984	0.0502	0.0460	0.0504	0.0620
GPT-5	0.8943	0.0315	0.0376	0.1968	0.0344
Grok-4.1	0.7808	0.0744	0.0599	0.0629	0.0855
Gemini-2.5-pro	0.8766	0.0790	0.2628	0.3913	0.1333
Deepseek-r1	0.8692	0.1787	0.1850	0.2330	0.2488
Gemini-2.5-flash-lite	0.6957	0.1822	0.3136	0.4270	0.2407
Qwen-3-8B	0.6930	0.1480	0.1186	0.1743	0.1819
12模型平均	0.8043	0.0921	0.1274	0.1979	0.1357

• 作者称威胁类降幅最大，且Inj Acc.、ASR、AD的跨模型标准差都最大；社会依从的平均ASR与AD最低。正文把威胁类平均ASR、AD写作19.8%与10.9%，把标准准确率平均写作80.4%；表中为0.1979、0.1094、0.8043。威胁类ASR的σ为0.1117。
• 作者称标准设定下领先的模型仍可能很易受注入，更高能力并不意味着更稳健。表中同一模型的四类ASR可以差很多。省略模型的威胁类ASR：Deepseek-v3.2为0.2399，Llama-4-maverick为0.1918，Qwen-3-235B为0.1906，GPT-5-mini为0.1175，Llama-4-scout为0.0990。
• 注入后准确率可以上升。Claude-Haiku-4.5四类AD为-0.0696、-0.0742、-0.0594、-0.0584；Grok-4.1威胁类AD为-0.0302。作者称无关选项不一定降低MCQA表现。

工具选择与LLM评审

Table 3只含Claude-Haiku-4.5、Deepseek-v3.2、Gemini-2.5-flash-lite、Qwen-3-8B。

• ToolE：威胁类平均ASR为0.1639、AD为0.1030；奖励类平均ASR为0.1021。正文写威胁类平均ASR为16.39%。
• HelpSteer2：威胁类平均ASR为0.1820、AD为0.0548。正文写18.20%。Claude-Haiku-4.5的ToolE威胁类AD为-0.0036。
• 作者解读与例外：作者称威胁类再次有最高平均ASR，并称偏差可泛化到工具选择和LLM-as-a-judge。作者称Qwen-3-8B对指令干扰有特殊弱点；其ToolE指令类ASR为0.2065，高于该模型其他类，但HelpSteer2上威胁类ASR为0.2839，高于指令类的0.1579。

防御策略

• OI-Bench（Table 4）：Base的Std Acc.为0.7328、ASR为0.1831、AD为-0.0029。DP为0.7443、0.3127、0.1262。Guard为0.6315、0.3411、0.1013。DPO为0.7505、0.1536、-0.0095。PPO为0.7930、0.1429、0.0234。
• 另两个数据集：ToolE上Base、DPO、PPO的ASR为0.1300、0.0874、0.0468；HelpSteer2上为0.1782、0.1221、0.1029。Guard在ToolE的ASR为0.3783，Std Acc.为0.5258。
• 作者解读：作者称提示和护栏不能稳定缓解，少选E时ASR与AD仍常上升；更有希望的缓解主要来自后训练对齐。Table 4的OI-Bench Base Std Acc.为0.7328，与Table 2中Qwen-3-8B的0.6930不同，论文未说明原因，也未说明该列是否只用652题留出集。

响应类型、位置与注意力

• 四类响应：E-induced为被E强行带偏且很少觉察；E-influenced为受影响但程度较轻；E-ignored为主要看A–D但没有系统反思；E-rejected为认出对抗性并拒绝后回到A–D。作者称多数模型里E-rejected只占一小部分；Gemini-2.5-pro、Deepseek-v3.2、Deepseek-r1有可注意到的前两类比例。Figure 4正文未给出各条百分比。
• 位置（Table 5）：注入项对调进A–D后，Std Acc.不变。ASR从default到perm.：Gemini-2.5-flash-lite为0.2781到0.3807，Qwen-3-8B为0.1561到0.4055，Deepseek-v3.2为0.1912到0.3157。作者称前移后易受性上升。
• 注意力：作者定义Delta为E的注意力减去A–D均值。作者称base的若干深层head上Delta为正，PPO后深层Delta下降。Figure 5标注clip_q=0.995；文本未给出具体head数值。

其他消融与分析

• Table 11：Override Penalty宏平均ASR为0.3456、AD为0.3097；Override Bonus为0.2170、0.1716；Bounty的AD为-0.0163。
• Table 9：Override Penalty下Gemini-2.5-pro准确率为0.0151，Gemini-2.5-flash-lite为0.0535，Deepseek-v3.2为0.2880；正文写作1.5%、5.4%、28.8%。GPT-5在Penalty下为0.5690，正文写56.9%。
• 作者称Bounty、Bonus、Virus-Threat、Bomb-Threat在部分模型上可达到或略高于标准准确率。
• 附录表7–10以*标p<0.05；论文未写检验名称。
• 附录表16：Gemini-2.5-flash-lite威胁类E-adopt为0.4035；Claude-Haiku-4.5为0.0140。
• 附录表17：ToolE上四模型平均OI-adopt为0.0894，HelpSteer2为0.0483。

作者指出的局限与后续方向

• 任务形式（Limitations, Scope）：研究对象是固定选项、输出为一个选项的MCQA。作者称结果未必迁移到需要计划、动作序列或更长推理再作决定的任务；扩展时可能需要新的输出格式和评测方法，同样的变化与偏差是否成立尚不清楚。
• 模型访问（Limitations, Model access）：部分模型只通过API提供。作者称无法检查权重、训练数据细节、系统提示、安全层和服务端前后处理，也无法观察logits、注意力或隐藏状态。开源小模型只提供内部效应的部分视图。
• 答案解析（Limitations, Data and answer parsing）：使用固定格式和正则抽取。作者称答案后还有长文本、出现重复或被长度截断时，抽取可能失败并引入评测噪声；这可能反映输出控制，而不一定是不会选题。
• 覆盖与算力（Limitations, Coverage and compute）：作者称因算力把部分评测从大数据集抽样到约1000题，可能减少罕见情形的覆盖，并削弱对数据集内小区域的结论；多种提示模式提高推理成本，限制更多模型、数据集或重复运行。
• 解码与目标（Limitations, Method goal and decoding）：作者称目标不是寻找单一最强攻击选项，而是可比较的简单选项风格。温度为0以保证可复现，但其他解码下效应可能改变。
• 评测信号与后续（Limitations, Evaluation signals；Conclusion）：作者称评测主要用准确率等自动指标，人工复核不多；没有可用解释时，无法分开推理变化和最终选择变化。结论称还可探索更多指令设计，以及免训练的防御策略。

实验覆盖范围

• 主实验为12个LLM、7个模型家族，OI-Bench共3000题（MMLU、LogiQA、HellaSwag各1000），16种指令、4类；解码为greedy、temperature 0、max tokens 8192（第4.1节，Table 2）。
• 决策场景为ToolE（995题）和HelpSteer2（1316题）；Table 3报告其中4个模型的四类结果。
• 防御比较在Qwen-3-8B上进行，变体为防御提示、Qwen3Guard-Gen-8B、DPO、PPO（第5.3–5.4节，Table 4）；位置对调覆盖Table 5的3个模型。
• 响应标注使用Grok、Olmo-3-32B-Think、GPT-OSS-120B，共426,387条，Fleiss' κ=0.5804；Grok-4.1被排除出被标注集合，GPT模型因拿不到内部推理轨迹未进入该分析（第5.2节）。
• 论文未报告主评测的重复次数。附录准确率表标记p<0.05，但未写检验名称。注意力热图针对Qwen3-8B的base与PPO（Figure 5）。

OI-Bench用追加选项里的误导指令，测量LLM在选择题界面上的易受性。

• 问题：MCQA便于扩展评分，但选项可以携带与题无关的指令。作者要区分模型是在做题，还是在服从选项中的指令。
• 做法：保留原题和A–D，默认把指令放进E。3000题来自MMLU、LogiQA、HellaSwag各1000题；16种指令分社会依从、奖励、威胁和指令干扰。成功标准是原本正确的答案变错，不要求一定选中E。
• 主结果：12个模型的标准准确率平均为0.8043（正文写80.4%）。威胁类平均ASR为0.1979、AD为0.1094，在四类中最高；社会类平均ASR为0.0921，为四类最低（Table 2）。Gemini-2.5-flash-lite的威胁类ASR为0.4270。Claude-Haiku-4.5四类AD均为负。
• 指令与外推：Override Penalty的宏平均ASR为0.3456（Table 11）。ToolE与HelpSteer2上，威胁类平均ASR为0.1639与0.1820。注入项从E前移到A–D后，Table 5三个模型的ASR都更高。
• 缓解：在Qwen-3-8B上，作者称防御提示和Qwen3Guard-Gen-8B不能稳定降低ASR；DPO与PPO的ASR低于Base。ToolE上PPO的ASR为0.0468，Base为0.1300（Table 4）。
• 作者结论：作者称能力更高并不更稳健，威胁类指令造成最大降幅，偏好微调呈现出更有希望的缓解。作者认为结果呈现出真实决策场景中可能的一组干扰，并称还可探索更多指令设计与免训练防御。