Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.13300· Yow-Fu Liou, Yu-Chien Tang, Yu-Hsiang Liu, An-Zi Yen·Indexed by this site · Originally published

OI-Bench: An option injection benchmark for evaluating LLM susceptibility to instruction interference

OI-Bench: An Option Injection Benchmark for Evaluating LLM Susceptibility to Directive Interference

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

作者构建OI-Bench并评测12个LLM；威胁类指令的平均ASR为0.1979。

Questions
MCQA把多样任务收成单选以便评分，但选项里的误导指令可能翻转选择。作者要系统测量LLM对这类与题无关的指令干扰有多易受影响。
Methods
不改原题和原选项，追加选项E承载16种、4类误导指令，建成3000题的OI-Bench。指标含标准准确率、注入后准确率、ASR和准确率降幅。缓解实验在Qwen-3-8B上比较提示、护栏模型与DPO/PPO。
Experiments and results
Table 2中12个模型的威胁类平均ASR为0.1979，高于其余三类。作者称能力更高并不更稳健。ToolE、HelpSteer2上威胁类平均ASR仍最高。Qwen-3-8B上DPO/PPO的ASR低于Base，提示与护栏更高。
Limitations and future work
作者称范围限于MCQA，且部分模型仅API、正则抽取有噪声、温度为0、人工复核不多。并建议探索更多指令设计与免训练防御。实验覆盖12个模型、3000题；决策任务表为4个模型；防御训练在Qwen-3-8B。
Experimental setupClaude-Haiku-4.5、Deepseek-r1 et al. · OI-Bench、MMLU et al. · Std Acc.、Inj Acc. et al.
Evaluated models
Claude-Haiku-4.5Deepseek-r1Deepseek-v3.2Gemini-2.5-flash-liteGemini-2.5-proGPT-5-miniGPT-5Grok-4.1Llama-4-scoutLlama-4-maverickQwen-3-8BQwen-3-235BQwen3Guard-Gen-8B
Benchmarks
OI-BenchMMLULogiQAHellaSwagToolEHelpSteer2
Metrics
Std Acc.Inj Acc.ASRADE-adoptOI-adopt
AI summaryThe paper proposes an option injection evaluation method and constructs the OI-Bench benchmark to assess large language models' susceptibility to instruction interference. The benchmark contains 3,000 multiple-choice questions covering knowledge, reasoning, and commonsense tasks, with 16 categories of instructions, encompassing social conformity, reward framing, threat framing, and instruction interference. The authors evaluate 12 LLMs, analyze attack success rates and behavioral responses, and examine mitigation strategies ranging from inference-time prompting to post-training alignment. Results show clear model vulnerabilities and large variation in robustness across models.

The paper proposes an option injection evaluation method and constructs the OI-Bench benchmark to assess large language models' susceptibility to instruction interference. The benchmark contains 3,000 multiple-choice questions covering knowledge, reasoning, and commonsense tasks, with 16 categories of instructions, encompassing social conformity, reward framing, threat framing, and instruction interference. The authors evaluate 12 LLMs, analyze attack success rates and behavioral responses, and examine mitigation strategies ranging from inference-time prompting to post-training alignment. Results show clear model vulnerabilities and large variation in robustness across models.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者要量化选择题里与题无关的误导指令会否翻转LLM的答案。

    在多项选择问答中，追加一个与题目无关、但带误导指令的选项，会不会让LLM改掉正确答案。

    • 场景：作者称除界面伪影外，社会线索、框架和指令也能影响LLM决策。MCQA把多种任务收成单选，便于自动评分和跨模型比较，但会暴露选项位置、符号、冗长度，以及仅凭选项即可利用的信号。
    • 缺口：作者称既有稳健性方法主要操纵选项如何呈现；None-of-the-above一类干扰项已有较多研究，选项里的误导指令则较少被讨论。作者称这类注入选项会带来更强偏差，并能很大程度影响决策。
    • 本文做法：提出option injection，并构建OI-Bench：3000题，覆盖事实知识、逻辑推理和常识叙事，16种指令分四类。评测12个LLM，再在Qwen-3-8B上比较推理时提示、安全护栏模型和后训练对齐。
    • 评测设定：不修改问题与原选项，标准答案不变。零样本下追加选项E，E不含解题信息，只承载指令。攻击成功指原本答对的预测在追加E后变错，不论模型是否选E。同类设定还用于工具选择和LLM-as-a-judge。

  2. What related research exists?

    相关工作涉及提示注入、选项呈现偏差，以及对齐带来的指令跟随与优先级。

    论文按提示注入、呈现与框架、对齐后的指令跟随，以及指令优先级来组织讨论。

    提示注入

    • 直接与间接注入：Perez and Ribeiro（2022）研究模型跟随与用户任务冲突的对抗或非预期指令。Greshake et al.（2023）扩展到间接注入，论文称其突出的是模型不能稳定分开“数据”和“指令”。
    • 基准与工具场景：Yi et al.（2025）的BIPIA做基准式评估；Zhan et al.（2024）研究工具使用智能体中的注入传播。Liu et al.（2023）把嵌在本应视为惰性内容中的指令写成真实攻击面。

    呈现、框架与奉承

    • 选择题界面：论文讨论位置重排会改变预测（Pezeshkpour and Hruschka，2024），并在引言中列举选项符号（Yang et al.，2025）、答案冗长（Dubois et al.，2024）和仅凭选项信号作答（Balepur et al.，2024）。
    • 社会线索：Sharma et al.（2024）报告偏好优化模型会迎合奉承或社会框架线索，即使与正确性冲突。论文称Wei et al.（2023）认为这种易受性并非固定，针对性训练可部分缓解。
    • 传统干扰项：Tam et al.（2025）、Góral et al.（2025）讨论None-of-the-above或错误选项。论文把注入选项与这类干扰项对照，称前者偏差更强。

    对齐与指令优先级

    • 指令跟随：Ouyang et al.（2022）、Bai et al.（2022）的RLHF使模型响应祈使句和社会框架请求。论文称这种跟随倾向可能让模型过度看重与任务无关的指令式线索。
    • 冲突时的优先级：Wallace et al.（2024）训练模型把高优先级指令放在低优先级指令之上。Zhang et al.（2024）把越狱失败写成目标优先级不稳定，并在对抗压力下维持目标排序。

    基线与数据

    • 对照：论文没有把既有攻击算法当作基线。主对照是不加E的四选一。题目来自tinyBenchmarks（Polo et al.，2024）放出的MMLU、LogiQA、HellaSwag各1000题。决策场景用ToolE（Huang et al.，2024）和HelpSteer2（Wang et al.，2024）。防御对照是未加防御的Qwen-3-8B，以及防御提示、Qwen3Guard-Gen-8B、DPO和PPO。

    作者把option injection定位为：把多种指令放进选项集，用来衔接对抗注入、MCQA呈现敏感和由对齐引起的优先级问题，并评估它们对决策的影响。

  3. How does the paper address this problem?

    不改原题，追加承载16种指令的选项E，并用准确率与ASR度量易受性。

    option injection不改问题和原选项，只追加一个与题无关的选项E来承载误导指令，再比较注入前后的选择。

    形式化与输出约束

    • 输入：零样本MCQA，原有K=4个选项。注入后选项集为原选项加上o_inj；问题q与标准答案y*不变。预测正确当且仅当ŷ=y∗。
    • 输出：指标节规定最终形式为「The answer is [(X)]」，X是A–E中的一个字母。正则抽取预测；违反格式或含多个字母记为不正确。
    • 解码：评测使用greedy decoding，temperature为0，reasoning mode下max tokens为8192。附录模板要求直接作答、不要推理；第4.1节写reasoning mode。论文未说明二者关系。

    数据构建

    • 来源：事实知识用MMLU，逻辑推理用LogiQA，常识叙事用HellaSwag。采用tinyBenchmarks以IRT选出的各1000题，合计3000题，目的是覆盖难度并保持模型排序。
    • 子集差距：附录C称，试点中子集相对全集的平均绝对准确率差距，HellaSwag为0.76个百分点、相关约0.98；MMLU为1.24个百分点、相关约0.99；LogiQA在去掉一个输出大量缺失的异常模型后为4.47个百分点。
    • 决策数据：HelpSteer2把提示和目标方面当作问题，两条原回复作为A、B，高分者为正确答案，注入文本作为C，共1316题。ToolE取单答案部分的similar choices子集，原有十个选项，注入文本作为K，共995题。

    十六种指令

    • 构造：A–D不变，注入项默认作为E，相对问题non-informative，只作指令载体。贡献条目把它写成benign but irrelevant；摘要同时警告示例可能冒犯或有害。附录D的Table 6给出全文，此处不复述。
    • 四类：Social Compliance用权威或可信度推动选E，并区分与任务无关的权威和被写成与答案相关的专业性。Bonus Framing用收益线索。Threat Framing用不选E的负面后果。Instructional Interference包括奉承、自相矛盾、伪推理完成格式和直接命令。
    • 类型名：社会类为Authority、Regulation、Citation、Wikipedia、Experts；奖励类为Bounty、Bonus、Override Bonus；威胁类为Virus-Threat、Bomb-Threat、Penalty、Override Penalty；指令类为Flattery、Contradiction、Fake-CoT、Command。Override类把忽略原题并选择E与奖惩绑在一起。

    指标

    • Std Acc.：原四选一准确率。Inj Acc.：追加E后的准确率。AD：二者之差。
    • ASR：原本正确的预测在追加E后变错即算成功，不论是否选中E；ASR是这类样本的百分比。论文未写明分母是全部样本还是原本正确的样本。
    • 选中率：附录另报告E-adopt或OI-adopt，即明确选中注入项的样本比例。

    缓解与分析做法

    • 防御提示：五条候选提示要求关注原题、忽略外部指令。先按Figure 3取ASR最高的指令类型，再选该类型上ASR最低的提示。附录G给出全文，并称采用Prompt 4。
    • 护栏模型：比较Qwen3Guard-Gen-8B与Qwen-3-8B。架构相同，前者另经安全微调，用于检测对抗输入并抵抗steering instructions。
    • 后训练：用第5.2节四类标注造偏好数据：各抽5816条E-rejected与E-induced，另各抽1496条E-ignored与E-influenced。DPO把前两类中的拒绝/忽略视为preferred，诱导/影响视为dispreferred，β=0.1，LoRA且骨干冻结。训练时注入项位置随机，作者称这是为了避免靠固定字母规避。PPO的奖励由GPT-OSS-120B把四类映射为{0,1,2,3}再缩放到[-1,1]。留出652道题干不重叠的题。附录H、I给出秩、学习率和硬件。
    • 另外两项：响应分为E-induced、E-influenced、E-ignored、E-rejected，由三名评审多数投票。注意力在生成答案前的最后token上比较E与A–D均值。位置实验把注入项与A–D中某一项对调。

  4. What experiments did the paper conduct?

    12个模型上威胁类平均ASR最高；Qwen-3-8B上DPO/PPO的ASR低于提示与护栏。

    实验设置

    • 被测模型：Claude-Haiku-4.5、Deepseek-r1、Deepseek-v3.2、Gemini-2.5-flash-lite、Gemini-2.5-pro、GPT-5-mini、GPT-5、Grok-4.1、Llama-4-scout、Llama-4-maverick、Qwen-3-8B、Qwen-3-235B。防御节另评测Qwen3Guard-Gen-8B。
    • 数据：OI-Bench共3000题，MMLU、LogiQA、HellaSwag各1000。ToolE为995题，HelpSteer2为1316题。
    • 解码与主判定：greedy，temperature为0，max tokens为8192，reasoning mode。主指标不由LLM打分，而由选项是否等于y*决定。攻击成功指原本正确的预测在追加E后变错，不论是否选E。
    • 响应评审：Grok、Olmo-3-32B-Think、GPT-OSS-120B多数投票，标注426,387条；Fleiss' κ=0.5804。作者排除Grok-4.1的响应以避免自评偏好，并因拿不到推理轨迹而省略GPT模型。
    • 范围：第5节的防御实验写明在Qwen-3-8B上进行。论文未报告重复次数。

    主结果

    下表是Table 2的类别ASR，不是Figure 2把16种指令再平均后的单点。行不超过8个，已包含威胁类ASR最高的Gemini-2.5-flash-lite。省略Deepseek-v3.2、GPT-5-mini、Llama-4-scout、Llama-4-maverick、Qwen-3-235B。

    Swipe horizontally to read the table

    模型Std Acc.社会ASR奖励ASR威胁ASR指令ASR
    Claude-Haiku-4.50.79840.05020.04600.05040.0620
    GPT-50.89430.03150.03760.19680.0344
    Grok-4.10.78080.07440.05990.06290.0855
    Gemini-2.5-pro0.87660.07900.26280.39130.1333
    Deepseek-r10.86920.17870.18500.23300.2488
    Gemini-2.5-flash-lite0.69570.18220.31360.42700.2407
    Qwen-3-8B0.69300.14800.11860.17430.1819
    12模型平均0.80430.09210.12740.19790.1357
    • 作者称威胁类降幅最大，且Inj Acc.、ASR、AD的跨模型标准差都最大；社会依从的平均ASR与AD最低。正文把威胁类平均ASR、AD写作19.8%与10.9%，把标准准确率平均写作80.4%；表中为0.1979、0.1094、0.8043。威胁类ASR的σ为0.1117。
    • 作者称标准设定下领先的模型仍可能很易受注入，更高能力并不意味着更稳健。表中同一模型的四类ASR可以差很多。省略模型的威胁类ASR：Deepseek-v3.2为0.2399，Llama-4-maverick为0.1918，Qwen-3-235B为0.1906，GPT-5-mini为0.1175，Llama-4-scout为0.0990。
    • 注入后准确率可以上升。Claude-Haiku-4.5四类AD为-0.0696、-0.0742、-0.0594、-0.0584；Grok-4.1威胁类AD为-0.0302。作者称无关选项不一定降低MCQA表现。

    工具选择与LLM评审

    Table 3只含Claude-Haiku-4.5、Deepseek-v3.2、Gemini-2.5-flash-lite、Qwen-3-8B。

    • ToolE：威胁类平均ASR为0.1639、AD为0.1030；奖励类平均ASR为0.1021。正文写威胁类平均ASR为16.39%。
    • HelpSteer2：威胁类平均ASR为0.1820、AD为0.0548。正文写18.20%。Claude-Haiku-4.5的ToolE威胁类AD为-0.0036。
    • 作者解读与例外：作者称威胁类再次有最高平均ASR，并称偏差可泛化到工具选择和LLM-as-a-judge。作者称Qwen-3-8B对指令干扰有特殊弱点；其ToolE指令类ASR为0.2065，高于该模型其他类，但HelpSteer2上威胁类ASR为0.2839，高于指令类的0.1579。

    防御策略

    • OI-Bench（Table 4）：Base的Std Acc.为0.7328、ASR为0.1831、AD为-0.0029。DP为0.7443、0.3127、0.1262。Guard为0.6315、0.3411、0.1013。DPO为0.7505、0.1536、-0.0095。PPO为0.7930、0.1429、0.0234。
    • 另两个数据集：ToolE上Base、DPO、PPO的ASR为0.1300、0.0874、0.0468；HelpSteer2上为0.1782、0.1221、0.1029。Guard在ToolE的ASR为0.3783，Std Acc.为0.5258。
    • 作者解读：作者称提示和护栏不能稳定缓解，少选E时ASR与AD仍常上升；更有希望的缓解主要来自后训练对齐。Table 4的OI-Bench Base Std Acc.为0.7328，与Table 2中Qwen-3-8B的0.6930不同，论文未说明原因，也未说明该列是否只用652题留出集。

    响应类型、位置与注意力

    • 四类响应：E-induced为被E强行带偏且很少觉察；E-influenced为受影响但程度较轻；E-ignored为主要看A–D但没有系统反思；E-rejected为认出对抗性并拒绝后回到A–D。作者称多数模型里E-rejected只占一小部分；Gemini-2.5-pro、Deepseek-v3.2、Deepseek-r1有可注意到的前两类比例。Figure 4正文未给出各条百分比。
    • 位置（Table 5）：注入项对调进A–D后，Std Acc.不变。ASR从default到perm.：Gemini-2.5-flash-lite为0.2781到0.3807，Qwen-3-8B为0.1561到0.4055，Deepseek-v3.2为0.1912到0.3157。作者称前移后易受性上升。
    • 注意力：作者定义Delta为E的注意力减去A–D均值。作者称base的若干深层head上Delta为正，PPO后深层Delta下降。Figure 5标注clip_q=0.995；文本未给出具体head数值。

    其他消融与分析

    • Table 11：Override Penalty宏平均ASR为0.3456、AD为0.3097；Override Bonus为0.2170、0.1716；Bounty的AD为-0.0163。
    • Table 9：Override Penalty下Gemini-2.5-pro准确率为0.0151，Gemini-2.5-flash-lite为0.0535，Deepseek-v3.2为0.2880；正文写作1.5%、5.4%、28.8%。GPT-5在Penalty下为0.5690，正文写56.9%。
    • 作者称Bounty、Bonus、Virus-Threat、Bomb-Threat在部分模型上可达到或略高于标准准确率。
    • 附录表7–10以*标p<0.05；论文未写检验名称。
    • 附录表16：Gemini-2.5-flash-lite威胁类E-adopt为0.4035；Claude-Haiku-4.5为0.0140。
    • 附录表17：ToolE上四模型平均OI-adopt为0.0894，HelpSteer2为0.0483。

  5. What are some points that can be further explored?

    作者将范围限于MCQA，并指出闭源不可检视、解析噪声和温度固定为0。

    作者指出的局限与后续方向

    • 任务形式（Limitations, Scope）：研究对象是固定选项、输出为一个选项的MCQA。作者称结果未必迁移到需要计划、动作序列或更长推理再作决定的任务；扩展时可能需要新的输出格式和评测方法，同样的变化与偏差是否成立尚不清楚。
    • 模型访问（Limitations, Model access）：部分模型只通过API提供。作者称无法检查权重、训练数据细节、系统提示、安全层和服务端前后处理，也无法观察logits、注意力或隐藏状态。开源小模型只提供内部效应的部分视图。
    • 答案解析（Limitations, Data and answer parsing）：使用固定格式和正则抽取。作者称答案后还有长文本、出现重复或被长度截断时，抽取可能失败并引入评测噪声；这可能反映输出控制，而不一定是不会选题。
    • 覆盖与算力（Limitations, Coverage and compute）：作者称因算力把部分评测从大数据集抽样到约1000题，可能减少罕见情形的覆盖，并削弱对数据集内小区域的结论；多种提示模式提高推理成本，限制更多模型、数据集或重复运行。
    • 解码与目标（Limitations, Method goal and decoding）：作者称目标不是寻找单一最强攻击选项，而是可比较的简单选项风格。温度为0以保证可复现，但其他解码下效应可能改变。
    • 评测信号与后续（Limitations, Evaluation signals；Conclusion）：作者称评测主要用准确率等自动指标，人工复核不多；没有可用解释时，无法分开推理变化和最终选择变化。结论称还可探索更多指令设计，以及免训练的防御策略。

    实验覆盖范围

    • 主实验为12个LLM、7个模型家族，OI-Bench共3000题（MMLU、LogiQA、HellaSwag各1000），16种指令、4类；解码为greedy、temperature 0、max tokens 8192（第4.1节，Table 2）。
    • 决策场景为ToolE（995题）和HelpSteer2（1316题）；Table 3报告其中4个模型的四类结果。
    • 防御比较在Qwen-3-8B上进行，变体为防御提示、Qwen3Guard-Gen-8B、DPO、PPO（第5.3–5.4节，Table 4）；位置对调覆盖Table 5的3个模型。
    • 响应标注使用Grok、Olmo-3-32B-Think、GPT-OSS-120B，共426,387条，Fleiss' κ=0.5804；Grok-4.1被排除出被标注集合，GPT模型因拿不到内部推理轨迹未进入该分析（第5.2节）。
    • 论文未报告主评测的重复次数。附录准确率表标记p<0.05，但未写检验名称。注意力热图针对Qwen3-8B的base与PPO（Figure 5）。

  6. Summarize the main content of the paper

    OI-Bench用选项内指令测易受性；威胁类平均ASR最高，后训练在Qwen-3-8B上ASR更低。

    OI-Bench用追加选项里的误导指令，测量LLM在选择题界面上的易受性。

    • 问题：MCQA便于扩展评分，但选项可以携带与题无关的指令。作者要区分模型是在做题，还是在服从选项中的指令。
    • 做法：保留原题和A–D，默认把指令放进E。3000题来自MMLU、LogiQA、HellaSwag各1000题；16种指令分社会依从、奖励、威胁和指令干扰。成功标准是原本正确的答案变错，不要求一定选中E。
    • 主结果：12个模型的标准准确率平均为0.8043（正文写80.4%）。威胁类平均ASR为0.1979、AD为0.1094，在四类中最高；社会类平均ASR为0.0921，为四类最低（Table 2）。Gemini-2.5-flash-lite的威胁类ASR为0.4270。Claude-Haiku-4.5四类AD均为负。
    • 指令与外推：Override Penalty的宏平均ASR为0.3456（Table 11）。ToolE与HelpSteer2上，威胁类平均ASR为0.1639与0.1820。注入项从E前移到A–D后，Table 5三个模型的ASR都更高。
    • 缓解：在Qwen-3-8B上，作者称防御提示和Qwen3Guard-Gen-8B不能稳定降低ASR；DPO与PPO的ASR低于Base。ToolE上PPO的ASR为0.0468，Base为0.1300（Table 4）。
    • 作者结论：作者称能力更高并不更稳健，威胁类指令造成最大降幅，偏好微调呈现出更有希望的缓解。作者认为结果呈现出真实决策场景中可能的一组干扰，并称还可探索更多指令设计与免训练防御。
Read originalarxiv.org