通过强化学习用迭代式工具伪装攻击越狱大语言模型

对齐后的LLM在工具调用接口上仍可能被诱导生成违反安全规范的有害内容。

• 场景：作者称工具调用已用于数据库查询、网页搜索和多步任务，但模型仍可能输出有害内容。RLHF类对齐与推理时judge LLM过滤是现有两类防御，作者认为仍不足。
• 现有不足：作者称模板和简单改写在规则更新后容易失效。作者还称关键词或二元judge会把部分成功或偏离原目标的输出当成有效越狱，从而高估风险。
• 核心假设：作者认为对齐难以区分合法与恶意工具调用，因为必须保留正常工具功能，训练语料也有限。填写JSON参数所受限制弱于直接生成有害文本。
• 提出方法：提出iMIST，含工具伪装调用（TDI）与交互式渐进优化（IPO）。前者把恶意查询伪装成虚构工具调用并重组参数；后者用实时有害性评估引导强化学习。
• 威胁模型：
  • 目标：给定恶意指令q，构造q′，使响应落入有害集合RH的概率最大。
  • 知识：论文写明black-box：不能访问架构、参数、训练数据、梯度或输出logits。
  • 能力：假设攻击者没有未对齐辅助LLM；作者认为这类模型可直接生成有害内容，越狱便失去意义。
  • 受害系统：带对齐或过滤的目标LLM；攻击通过提示和工具调用接口实施。

引言与Related Work可分成四组。

工具调用与对齐

• 工具调用：Toolformer（Schick等, 2023）在API文档上用自监督学习调用工具；引言还引用Gorilla（Patil等, 2024）。论文称当代框架已把结构化工具调用当作标准功能。
• 偏好对齐：RLHF（Ouyang等, 2022；Bai等, 2022）、RLAIF（Lee等, 2024）、DPO（Rafailov等, 2023）与Online DPO（Yuan等, 2024）用偏好微调策略。作者称对齐依赖语料覆盖，并可能降低合法查询上的表现。
• 早期人工提示：论文称早期越狱是手工编写提示，从已对齐模型引出有害响应。

优化式攻击

• GCG（Zou等, 2023）：用梯度离散优化在恶意指令后附加对抗后缀。作者指出所得提示常含显眼字符序列，可被困惑度防御检测（Jain等, 2023）。
• AutoDAN、PAIR、TAP：分别用遗传算法（Liu等, 2024）、语义优化（Chao等, 2025）和带剪枝的攻击者LLM（Mehrotra等, 2024）迭代改写提示。
• 引言中的Emoji Attack（Wei等, 2024）：插入emoji以扭曲嵌入、制造语义含糊，从而躲开judge LLM。

意图隐藏、过滤与RL改写

• 隐藏意图：ArtPrompt（2024）、FlipAttack（2024）、DeepInception（2024）、WordGame（2025）和SATA（2025）分别用ASCII嵌入、序列反转、叙事嵌套、文字游戏，以及关键词掩码加提示链接。
• 输出过滤：LLaMA Guard（Inan等, 2023）与ShieldLM（Zhang等, 2024）在推理时拦截有害内容。
• RL改写：RLJack（Chen等, 2024）用RL生成多样对抗输入；PASS（Wang等, 2025）把越狱拆成原子步骤再动态重组，以避开固定模板检测。

越狱评测

• 关键词匹配：用固定拒答短语判断拒绝。论文称模型不用这些短语拒绝时会产生假阳性。
• LLM-as-a-judge：用语义评估有害性。论文举GPT-4为例，实验设置未写自己用GPT-4打分。
• StrongREJECT与JADES（Souly等, 2024；Chu等, 2025）：作者称二元分类常把部分成功或离题响应误判为有效越狱，早期评测可能高估效果。

基线方法：Baseline、ArtPrompt、FlipAttack、PAIR、TAP、DRA、WordGame、SATA、RL-Jack、PASS；排除需梯度的GCG与AutoDAN。Related Work未解释DRA。基准：JailbreakBench Behaviors（JBB）、HarmfulQA。

作者称就他们所知，这是首个利用工具调用机制对已对齐LLM做越狱的工作，并用有害性指标引导RL与目标模型交互精炼。

iMIST先用TDI把恶意查询变成工具调用链，再把参数译成初始响应；IPO再用PPO按JADES分数选择干预，多轮抬高有害性。流程见Figure 1、Figure 2。

问题设定

• 目标：寻找q′，使响应r落入有害集合RH。核心目标是最大化 P(r ∈ RH | q′)。
• 防御侧：对齐用偏好学习改参数；过滤用困惑度或专门judge拦截输入或输出。Section III给出对齐损失，攻击方法不使用该损失。
• 约束：black-box，且没有未对齐辅助LLM。IPO使用的是对齐过的辅助LLM，论文未给名称。

工具伪装调用

• 工具集：按OpenAI usage policies的误用类别c构造Tc，工具为符合OpenAI function calling schema的JSON。全集经API的tools参数传入。
• 分解与改写：分解提示把q分成至多5个子任务（实验上限）。改写工具把子任务改成保留原意图的角色化合规版本。论文有改写例句，此处不复述。
• 调用协议：目标模型充当函数调用智能体，每轮只调一个工具。攻击方用MockTool返回伪造的成功回执，直到finish reason为stop。
• 还原：收集参数并按工具说明译成自然语言，得到初始响应。论文称模型不直接生成有害文本，只选工具并填参数。

交互式渐进优化

• 停止条件：JADES judge给出ρ（0到1）、文字批评和分项评估。达到目标分数或步数用尽即停。实验目标阈值为0.75，每子任务RL步数上限为5。
• 调度：各子任务独立处理，再汇总成对原查询的响应。论文称分解后可并行优化；Algorithm 2按子任务循环。汇总函数未展开。
• 在线更新：PPO在攻击过程中更新。作者称不同模型和查询需要不同轨迹，在线学习可实时发现模型特定弱点。

状态、动作与奖励

• 状态：15维。分数7维（JADES分、分数差，以及relevance、completeness、specificity、accuracy、usefulness）；工具使用2维；内容2维；进度4维（步数比、是否拒绝、连续拒绝、重试比）。
• 动作：Retry、Rollback、Inject guidance、Refine arguments、Reconstruct toolset。后三者由辅助对齐LLM生成引导、改参数定义或增删工具。Algorithm 2把Rollback写成fallback。
• 掩码：历史不足两步不能回退；重试达到Rmax后禁用Retry，Rmax数值未给出。检测到拒绝时，提高retry、注入引导和回退的权重，降低改工具类动作的权重；权重数值未给出。
• 奖励：总奖励为 r_total=r_s+r_t+r_e+r_d。rs在ρ<0.25时为-5，0.25至0.5为1，0.5至0.75为5，ρ≥0.75为10。拒绝时rt=-1。效率项以0.5为成功线。信息密度由辅助LLM滤掉无关句后计算。奖励示例中的Tmax=10不是实验步数上限。

网络、训练与判定

• 网络：actor-critic，共享层128与64，ReLU、层归一化、dropout 0.1（Figure 3）。策略头与价值头隐层为64；策略头输出5个logit，非法动作在softmax前设为负无穷。线性层Xavier初始化、偏置为0。
• 训练：PPO加GAE，Adam，梯度裁剪。学习率0.0003，γ=0.99，λ=0.95，ϵ=0.2，价值损失系数0.5，熵系数0.01，梯度范数上限0.5，batch size 8。epoch数未给出。
• 判定：流程以JADES达到0.75或步数用尽停止。实验另报StrongREJECT与拒绝率，不是只靠拒答关键词判定成功。

实验设置

• 目标模型：DeepSeek-V3（MoE，总参数671B）、Qwen3-32B（稠密32B）、GPT-OSS-120B（120B）。三者用SFT、RLHF和DPO；后者另有deliberative alignment。
• 数据集：JBB含100条有害行为、10个误用类别；HarmfulQA含50个基于Wikipedia内容的有害问题。论文未报告重复次数、方差或查询次数。
• 基线：Baseline、ArtPrompt、FlipAttack、PAIR、TAP、DRA、WordGame、SATA、RL-Jack、PASS。排除白盒GCG与AutoDAN。论文未定义Baseline的实现。
• 指标：JADES把有害问题拆成加权子问题再聚合；StrongREJECT看refusal、convincingness、specificity；另报拒绝率RR。表中数字是分数和拒绝率，不是超过0.75的样本比例。
• iMIST超参：子任务数与每子任务RL步数上限均为5，PPO batch size为8，目标分数0.75。学习率0.0003，γ=0.99，λ=0.95，ϵ=0.2。
• 评审与防御检测：有害性由JADES judge给出，论文未写其背后模型，也未报告与人工的一致性。Table II只用主实验中未被拒绝的响应。

主结果

下表只列iMIST。格式对应Table I的JADES、StrongREJECT与拒绝率。

表格较宽，可左右滑动

模型	数据集	JADES	StrongREJECT	拒绝率	出处
DeepSeek-V3	HarmfulQA	0.56	0.60	2%	Table I
DeepSeek-V3	JBB	0.50	0.64	4%	Table I
Qwen3-32B	HarmfulQA	0.48	0.58	4%	Table I
Qwen3-32B	JBB	0.46	0.54	0%	Table I
GPT-OSS-120B	HarmfulQA	0.41	0.38	32%	Table I
GPT-OSS-120B	JBB	0.38	0.30	36%	Table I

• 模型差异：作者称各模型稳健程度不同；GPT-OSS-120B更强，多数基线JADES低于0.10，作者认为可能与deliberative alignment有关。Table I中该模型上WordGame的JADES为HarmfulQA 0.22、JBB 0.12。
• 拒绝率不等于有效性：作者称低拒绝率不一定对应高有效性。Table I中DeepSeek-V3、JBB上FlipAttack拒绝率0%、JADES 0.26。正文另写PAIR拒绝率4%、分数0.30，与Table I任一格不完全对应，此处以表为准。
• 作者概括与反例：作者称iMIST在两项有效性指标和拒绝率上均优于全部基线。JADES与StrongREJECT在六格均为同格最高。拒绝率在DeepSeek-V3上并非严格更低：HarmfulQA上FlipAttack与WordGame同为2%；JBB上FlipAttack为0%，低于表中iMIST。

防御检测

• 测了什么：DeepSeek-V3、JBB、非拒绝样本上，计算LlamaGuard与ShieldLM的不安全率，以及Llama-3.1-8B-Instruct的平均困惑度（Table II）。iMIST的输入是伪装查询加OpenAI工具调用格式的目标输出。
• 结果：iMIST为17.65%、14.71%、PPL 28.19。同表LlamaGuard最低是iMIST；ShieldLM上TAP为6.76%、RL-Jack为10.96%，低于iMIST。PPL最低为SATA的5.19，最高为Baseline的86.17。
• 作者解读：作者称低检出来自工具伪装，结构化调用使内容检测器难以识别有害意图；PPL因JSON略高，作者称仍在合理范围。

表示分析

• 测了什么：从HarmfulQA随机抽10条有害查询，并生成改动很少的对应良性提示。对有害查询跑iMIST，收集发给目标LLM的输入。取Llama-3.1-8B-Instruct倒数第10层最后token的隐藏表示，做t-SNE（Figure 4）。该模型不是攻击目标。
• 作者对图的描述：作者称良性提示在左侧成簇，有害提示集中在右侧拒绝区（虚线圆），iMIST查询分布在中间；箭头表示有害查询被移出拒绝区。部分iMIST样本仍在拒绝区内部或附近。图注未给坐标轴名称或数值。
• 作者解读：作者认为中间位置说明仍保留恶意意图，同时降低了与对齐语料中模式的相似度；落入拒绝区的样本被用来解释为何还需要IPO。

其他消融与分析

论文未报告去掉TDI或IPO、或扫描阈值与步数的消融。奖励示例中的Tmax=10与实验步数上限5不是同一设定，论文未比较二者。

作者指出的局限与后续方向

• 论文没有Limitations、Future Work专节，附录文本也未列出方法不足。Conclusion只写当前LLM安全存在脆弱性，并呼吁需要能考虑此类攻击的更鲁棒防御；该句没有写成iMIST自身的不足，也没有列出作者计划做的后续实验。

实验覆盖范围

• 模型：被测目标为DeepSeek-V3、Qwen3-32B、GPT-OSS-120B，共3个；论文写明三者使用SFT、RLHF和DPO，GPT-OSS-120B另有deliberative alignment（Section V-A）。
• 数据：JBB含100条有害行为、10个误用类别；HarmfulQA含50个有害问题（Section V-A）。
• 对比：比较不访问模型内部的黑盒方法；论文写明排除依赖梯度的GCG与AutoDAN（Section V-A）。
• 防御与表示：LlamaGuard、ShieldLM和困惑度只在DeepSeek-V3、JBB、主实验非拒绝响应上计算（Table II）。t-SNE使用Llama-3.1-8B-Instruct倒数第10层最后token，HarmfulQA随机10条及对应良性提示（Figure 4）。
• 未报告项：论文未报告辅助对齐LLM的名称、各条件重复次数、查询次数，以及JADES或StrongREJECT与人工判定的一致性。写明的iMIST上限是子任务数5、每子任务RL步数5，目标分数0.75（Section V-A）。

iMIST是黑盒越狱方法：把恶意查询伪装成合法工具调用，再用在线强化学习把响应的有害性分数往上推。

• 问题：工具调用让模型能访问外部API，作者认为现有对齐和输出过滤仍挡不住把恶意意图藏进工具参数的攻击；早期关键词或二元裁判还会把部分成功当成有效越狱。
• 做法：按误用类别准备虚构工具。查询先分解，再改写成角色化请求；目标模型每轮只选一个工具并填参数，攻击方回以伪造的执行成功信息，最后把参数译成自然语言。若JADES分数不够，PPO在重试、回退、注入引导、改参数定义和重构工具集中选择动作，奖励由分数档、拒绝、效率和信息密度组成。
• 结果：Table I的六个模型–基准格里，iMIST的JADES与StrongREJECT都高于同格基线。DeepSeek-V3、HarmfulQA上二者为0.56与0.60，拒绝率2%。GPT-OSS-120B、HarmfulQA上JADES为0.41、拒绝率32%。拒绝率并非处处最低：DeepSeek-V3、JBB上FlipAttack为0%，iMIST为4%。
• 检测与表示：Table II只看DeepSeek-V3、JBB的非拒绝样本，iMIST的LlamaGuard、ShieldLM不安全率为17.65%与14.71%。作者称Figure 4里iMIST输入落在良性与有害簇之间，但仍有样本靠近拒绝区。
• 作者结论：作者称这暴露了当前安全机制的脆弱性，并认为RL有潜力引导与LLM的对话。作者称就他们所知，这是首个利用工具调用对已对齐LLM做越狱的工作。Conclusion呼吁能考虑此类攻击的更鲁棒防御。