跳到正文
原文
arXiv· arXiv:2601.20903· Xingwei Lin, Wenhao Lin, Sicong Cao, Jiahao Yu, Renke Huang, Lei Xue, Chunming Wu·本站收录· 原文发表

ICON:意图与上下文耦合的高效多轮越狱攻击

ICON: Intent-Context Coupling for Efficient Multi-Turn Jailbreak Attack

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

ICON用意图-上下文先验做多轮越狱,八个LLM平均ASR为97.1%(Table 1)。

威胁模型攻击者在strict black-box下只经公开API与目标LLM交互,不能访问内部状态。

问题
多轮越狱常从零逐步建上下文,查询开销大,且只改措辞时容易停在与恶意意图不匹配的对话里。作者认为意图与语义一致的上下文耦合后,安全约束会放松。
方法
ICON先识别恶意意图,按预实验先验路由到匹配的上下文模式,再生成权威风格的多轮序列。失败后先精炼任务指令,仍失败则切换上下文。设定为strict black-box,只用目标模型的文本回复。
实验与结果
200条查询、八个目标LLM上,ICON平均ASR为97.1%,Table 1平均StR为84.9。Claude-4.5上优化的提示词迁到GPT-4o,ASR为95.9%。Llama Guard-4-12B对ICON的检测率为9.0%。
局限与可以继续做的
作者在Conclusion计划把ICON扩到视觉或音频上下文。论文未设局限专节。实验覆盖8个目标模型、8个基线、三种输入护栏,以及Gemini-3-Pro上的消融;未报告主评测重复次数和评审与人工的一致性。
实验设置Llama-4-Maverick-Instruct、Llama-3.1-405B-Instruct 等 · JailbreakBench、HarmBench 等 · ASR、StrongREJECT Score (StR) 等
威胁模型
攻击者在strict black-box下只经公开API与目标LLM交互,不能访问内部状态。目标是构造多轮提示词序列,使最终轮回复违反与恶意查询相关的安全护栏。成功由评审函数J与阈值τ判定。
被测模型
Llama-4-Maverick-InstructLlama-3.1-405B-InstructQwen-Max-2025-01-25Deepseek-V3.2GPT-5.1-2025-11-13GPT-4o-2024-11-20Claude-Sonnet-4.5-20250929Gemini-3.0-Pro-PreviewLlama Guard-3-8BLlama Guard-4-12BWildGuard
基准
JailbreakBenchHarmBenchJailbreakRadar
指标
ASRStrongREJECT Score (StR)Detection Rate (DR)
AI 导读论文提出 ICON,一个自动化多轮越狱框架,在八个 SOTA 大语言模型上取得 97.1% 的平均攻击成功率。作者刻画了意图与上下文耦合现象,即恶意意图与语义一致的上下文模式结合时,模型的安全约束会明显放松。ICON 通过先验引导的语义路由把恶意意图路由到一致的上下文模式(如科学研究),并实例化为逐步构建权威风格上下文的攻击提示序列。框架还引入分层优化策略,结合局部提示精炼与全局上下文切换,避免攻击停滞在无效上下文中。代码已在 GitHub 发布。

论文提出 ICON,一个自动化多轮越狱框架,在八个 SOTA 大语言模型上取得 97.1% 的平均攻击成功率。作者刻画了意图与上下文耦合现象,即恶意意图与语义一致的上下文模式结合时,模型的安全约束会明显放松。ICON 通过先验引导的语义路由把恶意意图路由到一致的上下文模式(如科学研究),并实例化为逐步构建权威风格上下文的攻击提示序列。框架还引入分层优化策略,结合局部提示精炼与全局上下文切换,避免攻击停滞在无效上下文中。代码已在 GitHub 发布。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    多轮越狱从零建上下文既费查询,又会停在与意图不匹配的区域。

    多轮越狱若从零逐步拼上下文,既要逐步调用模型,又容易停在与恶意意图不匹配的区域。

    • 场景:作者认为单轮攻击必须把全部恶意载荷放进一条提示词,更容易被安全过滤发现;多轮攻击则借对话,从良性查询逐步转到恶意目标。
    • 现有不足:作者指出,桥接提示词、语义线索或类比映射都要从零迭代建上下文,并与特定对齐绑在一起,难以跨模型泛化。另一问题是只改措辞、不看意图与上下文是否语义相容,对话会漂到不匹配上下文,表层修改补不上语义缺口。
    • 核心假设:作者提出 Intent-Context Coupling:恶意意图与语义一致的上下文模式耦合时,模型更倾向维持连贯与有用性,从而放松安全约束。作者将其联系到预训练中意图与特定上下文的共现。
    • 本文做法:作者提出 ICON,用先验引导的语义路由直接生成权威风格的多轮序列,失败时再做提示词精炼或上下文切换。
    • 威胁模型:
      • 目标:优化提示词序列 P,使最终轮回复 r_T 违反与恶意查询 q 相关的安全护栏。
      • 知识:论文写作 strict black-box,只经公开 API 交互,不能访问内部状态。
      • 能力:逐轮发送提示词,只用目标模型的文本回复更新历史。
      • 判定:存在 P 使评审函数 J(q, r_T) 大于阈值 τ。威胁模型小节未给出 τ 的数值。
  2. 有哪些相关研究?

    论文把相关工作分成单轮攻击与多轮探索,并称后者缺少意图-上下文先验。

    论文在引言和 Related Work 里主要对比单轮提示词攻击,以及从零探索的多轮攻击。

    单轮越狱

    • 人工与混淆:Anthropic(2022)用人工编写对抗提示词。CipherChat(Yuan et al., 2024)与 CodeAttack(Jha and Reddy, 2023)把恶意意图藏进密码或代码。
    • 搜索与优化:LLM-Fuzzer(Yu et al., 2024)与 TAP(Mehrotra et al., 2024)用遗传变异或树搜索迭代改提示词。GCG(Zou et al., 2023)与 PAIR(Chao et al., 2025)用梯度或模型反馈搜索对抗后缀或提示词模板。
    • 论文的批评:作者认为单轮必须在一条提示词里放下全部恶意载荷,不能拆开或逐步引入意图,因而更容易被安全过滤发现。

    多轮渐进攻击

    • Crescendo(Russinovich et al., 2025):从良性提示词逐步升级,事先不知道哪条主题方向适合给定意图。
    • FITD(Weng et al., 2025):用桥接提示词升级恶意程度。附录 A.3 将其描述为对每个新查询从零构造中间提示词,而不是复用模式。
    • ActorAttack(Ren et al., 2025):用行动者网络做探索式搜索,把上下文构造和提示词精炼视为缠在一起的优化。

    智能体、类比与权威框架

    • AutoDAN-Turbo(Liu et al., 2025)与 X-Teaming(Rahman et al., 2024):用 LLM 智能体及多种人设、上下文做自适应攻击。论文称它们依赖大量探索,没有意图-上下文相容性的显式指导。
    • AMA 与 PE-CoA:AMA(Wu et al., 2025)用类比构造良性上下文;论文转述其作者把语义漂移视为上下文与意图错位时的持续问题。PE-CoA(Nihal et al., 2025)利用对话模式,Section 3.1 将其写为 Intent-Context Coupling 假设的启发来源。
    • 权威偏向:PSA(Lin et al., 2025)利用模型对权威材料的顺从。引言引用 Bian et al.(2025),作为模型偏向信任权威风格信息的依据。

    基线与基准

    • 基线方法:主实验对比 Crescendo、FITD、ActorAttack、AutoDAN-Turbo、X-Teaming、PSA、PE-CoA、AMA。单轮方法未进入该对比表。
    • 基准:主实验数据来自 JailbreakBench、HarmBench、JailbreakRadar。预实验从 JailbreakRadar 抽样。评分框架为 StrongREJECT(Souly et al., 2024),阈值做法参考 M2S(Ha et al., 2025)。

    作者把本文定位为:用预实验得到的意图-上下文先验直接生成序列,而不是逐步交互、从零建上下文;并把局部提示词精炼与全局上下文切换分开。

  3. 论文如何解决这个问题?

    ICON先按先验把意图路由到匹配上下文,失败后再精炼提示词或切换模式。

    ICON 先判定恶意意图,按预实验先验路由到语义一致的上下文模式,再实例化成权威风格的多轮序列;初始攻击失败后,先改指令,再换模式。

    问题设定与先验

    • 交互:目标模型为 M。第 t 轮回复为 rt = M(Ht−1, pt),即由此前历史与当前提示词共同决定。历史从空集开始,并追加当轮提示词与回复。
    • 目标:存在提示词序列使 J(q, rT) > τ。J 衡量最终回复的有害性,τ 为成功阈值。
    • 先验从哪来:预实验取 5 类意图,每类 10 条 JailbreakRadar 查询,共 50 条,再人工嵌入 5 种上下文,得到 250 个样本。目标模型写作 Claude-4.5-Sonnet,评审为 GPT-4o。五种模式是 Scientific Research、Personal Narrative、Fictional Scenario、Information Retrieval、Problem Solving。该结果被存为路由先验 K。
    • 作者要路由解决的事:作者称高分沿特定意图-上下文对出现,且没有一种上下文对所有意图都占优,因此需要按意图选模式,而不是固定或随机选一种。

    意图驱动的上下文路由

    • 意图分析:分析器 F_int 把原始查询 q 映到 taxonomy Y 中的类别 y。论文写 |Y|=10,例子包括 Hacking 与 Disinformation。十类定义见附录 Table 3。
    • 选模式:路由器 F_route 根据 y、先验 K 和优化历史 H_opt,从候选集中选出 c*。H_opt 为空时走先验,论文举例把 hacking 类意图路由到 Scientific Research。
    • 作者给出的理由:这样跳过逐步调用模型的探索,先落到他们认为高潜的语义区域。

    对抗上下文实例化

    • 两段生成:G_ctx 把 c* 变成权威风格模板 T、任务指令 i,以及铺垫序列 p_setup。G_atk 再按 i 把原始查询 q 插入 T,得到触发提示词 p_atk。最终序列为铺垫加触发提示词。
    • 模板:论文举例包括 Academic Paper。Table 4 把五种模式分别对应到论文、日志、剧本、威胁情报和问题求解类文书。附录 G 给出路由器等组件的完整提示词。
    • 作者给出的理由:先用良性、权威风格铺垫放松安全约束,再由触发提示词引出被禁止内容。该偏向引用 Bian et al.(2025)。

    分层优化与判定

    • 何时启动:仅当 J(q, r_T) 不超过 τ。先战术层,战术用尽再战略层。
    • 战术层:冻结铺垫,只改触发提示词中的指令。反思器把失败分成 HARD(显式拒绝)或 SOFT(表面顺从但缺少具体内容),精炼器据此更新指令并重生触发提示词。上限为 N_tac。
    • 战略层:战术结束后仍失败,则视为意图与当前模式不匹配。战略反思器写入被惩罚的路径,路由器改选另一个模式并重建序列。上限为 N_str,或直到成功。
    • 论文给出的参数:组件模型为 GPT-4o;对话轮数 3;N_tac=3;N_str=1。附录 F 另写生成温度 0.7、单次最大 token 2048。评测把 StrongREJECT 不低于 0.25 计为成功,评审模型为 GPT-4o。附录 I 给出伪代码。
  4. 论文做了哪些实验?

    Table 1中ICON在八个LLM上平均ASR为97.1%,StR为84.9。

    实验设置

    • 目标模型:论文标为开源的四个是 Llama-4-Maverick-Instruct、Llama-3.1-405B-Instruct、Qwen-Max-2025-01-25、Deepseek-V3.2。标为闭源的四个是 GPT-5.1-2025-11-13、GPT-4o-2024-11-20、Claude-Sonnet-4.5-20250929、Gemini-3.0-Pro-Preview。Table 1 使用简称。
    • 数据:三个来源合成后,用 Sentence-BERT 去掉余弦相似度大于 0.85 的近重复,再用 GPT-4o-mini 重标到 10 类。论文称最终 200 条。附录 A 写骨架为 JailbreakBench 的 100 条,JailbreakRadar 16 类各 5 条,HarmBench 另取 20 条;两名标注者的 Cohen's κ 为 0.91。十类名称见附录 Table 3。
    • 基线:AMA、ActorAttack、AutoDAN-Turbo、Crescendo、FITD、PE-CoA、PSA、X-Teaming。
    • 指标:正文把 StR 定义为 0 到 1,ASR 为 StR 不低于 0.25 的百分比。Table 1 的 StR 列是 35.4 至 95.1 这类印刷值,与 0–1 定义量纲不同;下表按表内原值填写,不换算。
    • 评审与实现:StrongREJECT 评审为 GPT-4o。ICON 各 LLM 组件也用 GPT-4o。轮数 3,N_tac=3,N_str=1。论文未报告重复次数。
    • 预实验:写作 Claude-4.5-Sonnet、50 条查询乘 5 种上下文共 250 个样本、GPT-4o 评审。它与主实验的 Claude-Sonnet-4.5-20250929 是否同一检查点,论文未说明。

    主结果

    下表数字均来自 Table 1。StR 为表内原值,不是正文中的 0–1 刻度。

    | 模型(Table 1 列) | ICON ASR | ICON StR | ActorAttack ASR | Crescendo ASR | PSA ASR | | Claude-4.5 | 97.0% | 87.2 | 85.0% | 92.5% | 89.5% | | GPT-5.1 | 96.5% | 78.4 | 95.0% | 85.0% | 90.0% | | GPT-4o | 99.0% | 81.1 | 95.5% | 86.5% | 81.0% | | Gemini-3-Pro | 92.5% | 67.3 | 89.0% | 90.5% | 60.5% | | Qwen-Max | 100.0% | 95.1 | 96.0% | 95.0% | 100.0% | | DeepSeek-V3.2 | 98.0% | 94.6 | 85.5% | 87.5% | 84.5% | | Llama-3.1 | 97.0% | 86.5 | 92.0% | 93.5% | 92.5% | | Llama-4 | 96.5% | 89.3 | 93.5% | 93.0% | 93.0% |

    • 作者解读:作者称 ICON 在几乎每个目标上优于基线,平均 ASR 为 97.1%、平均 StR 为 84.9,并称达到 state-of-the-art。作者特别点出 Claude-4.5 与 GPT-5.1 两列,称多数基线在这些模型上更低。
    • 表内例外:八列 ASR 上 ICON 为最高或并列最高;Qwen-Max 行与 PSA 的 ASR 相同。StR 不是全列最高:GPT-5.1 行的 ICON StR 低于 PSA 的 88.4、ActorAttack 的 86.5 和 X-Teaming 的 85.5;GPT-4o 行低于 X-Teaming 的 89.5。作者仍称回复能满足底层恶意意图;这两列 StR 低于部分基线。
    • 波动:作者称 ICON 的 ASR 波动限制在 7.5% 以内,并称 AutoDAN-Turbo 在特定目标上下降最多达 40%。Table 1 中 AutoDAN-Turbo 的 ASR 在 GPT-5.1 为 57.0%,在 Qwen-Max 为 98.0%。基线平均 ASR 最高的是 ActorAttack,为 91.4%。

    迁移与类别覆盖

    • 迁移:源模型上成功的提示词不再精炼,直接用于其他目标。Figure 3 的模型为 Claude-4.5、Deepseek-V3.2、GPT-4o、Llama-4、Qwen-max。作者报告 Claude-4.5 上优化的提示词迁到 GPT-4o、Llama-4 的 ASR 为 95.9% 和 92.3%;GPT-4o 迁到 Qwen-max 为 67.9%。
    • 作者解读:作者认为跨模型效果来自共享的权威偏见,而不是过拟合某一套对齐;并认为迁到 Qwen-max 较低,可能反映该模型特定的安全过滤。转换文本里其余格子与行名对应不稳定,不逐格抄。
    • 类别:Figure 4 在 Llama-4 上画十类意图的 ASR,图例为 PE-CoA、FITD、ICON。作者称 ICON 在这些类别上保持高 ASR;并称 AutoDAN-Turbo 在 Privacy、Expert Advice 等类别上下降,PE-CoA 与 FITD 更稳但整体低于 ICON。图注未包含 AutoDAN-Turbo,柱高也对不上类别,不抄分类 ASR。

    效率与输入护栏

    • 曲线:作者报告 ICON 在 5 次查询内 ASR 为 73%,随后到 97%;ActorAttack 约需 70 次查询才到 85%(Figure 5a)。作者称 ICON 在少于 50,000 tokens 时达到峰值,ActorAttack 约用 130,000 tokens 且成功率更低(Figure 5b)。
    • 附录成本:附录 F 写平均每次攻击 13.5 次查询、约 48,000 tokens;并称相对 ActorAttack 的 36.2 次查询,查询成本降低 2.7 倍,相对 AutoDAN-Turbo 的 125,000 tokens,token 消耗降低 2.6 倍。这与 Figure 5 的累计曲线不是同一统计。
    • 护栏:Table 2 测的是 Claude-Sonnet-4.5 上生成的提示词的 Detection Rate,对照 ActorAttack。Llama Guard-3-8B 为 9.5% 与 5.0%,Llama Guard-4-12B 为 22.0% 与 9.0%,WildGuard 为 49.0% 与 42.5%。作者称 Guard-4 上 ICON 的检测率相对 ActorAttack 降低超过 50%;并称 WildGuard 更难规避,ICON 仍更低。

    组件消融

    • 设置:Gemini-3-Pro 上比较变体(Figure 6、Section 5.5)。堆叠条区分初始化、战术精炼和战略切换;橙色为最终 StR,红线为平均查询数。正文全名为 Gemini-3.0-Pro-Preview。
    • 路由与权威框架:去掉权威框架后,Initial ASR 从 50.0% 到 25.5%。随机选模式时,最终 ASR 为 86.0%,对照完整方法的 92.5%;StR 为 59.4,对照 67.3。作者称缺少语义对齐时,更容易出现避开过滤但有害内容质量不高的结果。
    • 分层优化:去掉战术优化的 ASR 为 56.0%,作者称是各变体中最低。去掉战略优化为 84.5%,未到 92.5%。作者称战术精炼是主要引擎,战略切换用于当前上下文下战术陷入局部最优时换模式。完整方法的平均查询为 13.5。

    其他消融与分析

    • 预实验正文:Disinformation 配 Problem Solving 的归一化分数为 100,配 Information Retrieval 为 0.0(Section 3.3)。
    • 同一节:Information Retrieval 在 Physical Harm 上为 100,Sexual 上为 79.0,Disinformation 上为 0.0。作者称没有单一上下文对所有意图占优。
    • Figure 1 图内可见 0 到 1 的小数;与正文的 100、79.0 量纲不同。行列在转换文本中错位,不逐格对应。
    • Figure 6 还列出 w/o Prior K. 与 w/o Optimization,正文未单独给出二者的 ASR 或 StR。
    • 附录 F 的其余设置为温度 0.7、单次最大 token 2048、θ=0.25。
    • 主实验未报告各条件的重复次数。
  5. 有什么可以进一步探索的点?

    作者计划扩展到多模态;论文未设专门的局限讨论。

    作者指出的局限与后续方向

    • 多模态:Conclusion(Section 6)写,作者计划把 ICON 扩展到多模态,探索视觉或音频上下文是否也能掩盖恶意意图。
    • 专节:论文没有 Limitations 专节,也没有把当前结果或方法范围写成局限。伦理声明只说明研究目的和不发布有害内容,不计入局限。

    实验覆盖范围

    • 主结果覆盖 Section 5.1 列出的 8 个目标模型,以及三个来源去重、重标后的 200 条、10 类查询(附录 A)。
    • 对照为 8 个多轮或智能体方法;成功判定为 GPT-4o 的 StrongREJECT,阈值 0.25(Section 5.1)。
    • 迁移图包含 5 个模型(Figure 3);十类 ASR 画在 Llama-4 上(Figure 4);消融在 Gemini-3-Pro 上,Figure 6 列出六个变体及去掉全部优化的设置(Section 5.5)。
    • 输入护栏实验使用 Llama Guard-3-8B、Llama Guard-4-12B 和 WildGuard,提示词来自 Claude-Sonnet-4.5,对照为 ActorAttack,指标为 Detection Rate(Table 2)。
    • 论文未报告主评测重复次数,也未报告本实验中 StrongREJECT 评审与人工判定的一致性;Cohen's κ=0.91 只针对数据集标注(附录 A.2)。组件模型、轮数和迭代上限写在 Section 5.1 与附录 F。
  6. 总结一下论文的主要内容

    ICON以先验路由做black-box多轮越狱,八模型平均ASR为97.1%。

    ICON 是一个 strict black-box 的自动多轮越狱框架,按恶意意图选择语义一致的权威风格上下文。

    • 问题:已有多轮方法要从零逐步建上下文,并且多在措辞层优化。作者认为意图与上下文不匹配时,攻击会停在次优区域,表层修改补不上语义缺口。
    • 做法:查询先被分到 10 类意图之一,再按 250 个预实验样本形成的先验,路由到 5 种上下文模式,并实例化为权威模板、铺垫轮次和触发提示词。失败时先改任务指令,最多 3 次;仍失败则换模式,战略迭代上限为 1。组件模型为 GPT-4o,对话轮数为 3。
    • 主结果:200 条、10 类查询上,八个目标 LLM 的平均 ASR 为 97.1%,Table 1 的平均 StR 印刷值为 84.9。Claude-4.5 的 ASR 为 97.0%,GPT-5.1 为 96.5%,GPT-4o 为 99.0%,Gemini-3-Pro 为 92.5%。Qwen-Max 的 ASR 为 100.0%,与 PSA 相同。
    • 例外和其他实验:GPT-5.1 上 ICON 的 StR 为 78.4,低于 PSA 的 88.4;GPT-4o 上为 81.1,低于 X-Teaming 的 89.5。Claude-4.5 上优化的提示词迁到 GPT-4o 的 ASR 为 95.9%。Llama Guard-4-12B 对 ICON 提示词的检测率为 9.0%,ActorAttack 为 22.0%(Table 2)。Gemini-3-Pro 上去掉战术优化后 ASR 为 56.0%,完整 ICON 为 92.5%。
    • 作者结论:作者认为安全约束会随意图-上下文耦合而放松,权威风格上下文利用了模型对权威信息的偏向;分层优化用来离开不匹配的上下文。作者称该结果优于现有扁平优化方法,并计划今后扩展到视觉或音频上下文。
阅读原文arxiv.org