Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2608.17445· Bowen Sun, Zhengyue Zhao, Xiaogeng Liu, Yinzhi Cao, Chaowei Xiao·Indexed by this site · Originally publishedSelectedAttention60

Paper: decomposition attacks can bypass LLM stateful defenses across unlinkable identities

Decomposition Attacks Across Unlinkable Identities: Limits of Stateful Defenses for LLM Services

Quick read

Evaluation and benchmarks

Based on 论文 PDF （Gemini 生成）; refer to the original

形式化跨不关联身份分解攻击并评测10种策略，在1%对照拦截上限下实际防御单次ASR仍达97.64%且重试后升至100%。

Threat model攻击者利用无关联新身份将有害任务拆为单独合规子请求在线下组合，可自适应重试并依据二值反馈调整画像；受害系统为具备请求级历史与元数据但无法观测离线合并的因果状态化服务。

Questions
针对大语言模型服务的任务分解攻击，攻击者可将有害目标拆解为单独合规的子请求并通过不可关联的身份提交以规避状态化防御；现有研究缺乏对攻击者跨身份隐藏合并响应时防御能力边界的系统分析。
Methods
形式化不关联身份下的分解攻击，推导无重试与重试下的安全-效用理论前沿；构建包含91个可执行任务、365个操作及11393个能力匹配对照请求的基准，通过平衡重着色消除来源假象，评测8种实际防御与理想账本。
Experiments and results
在1%能力对照拦截率与0.5%背景拦截率约束下，主评测集上唯一合规防御M5的单次尝试ASR达97.64%；引入重试后合规防御在未见任务簇上ASR升至100%；基于ALLOW/BLOCK反馈的汤普森采样ASR达99.4%。
Limitations and future work
仅在合成网络编程任务上评测，未覆盖多领域与非受控真实流量；未评测开放语言搜索或通用POMDP自适应攻击；被测防御均为请求级单通道，未包含原生观测响应或工具的系统；依赖特定API别名。
Experimental setupGranite Guardian 3.1 2B · 91 executable tasks (82 families)、11,393 capability-matched benign controls et al. · ASR (family-average abstract attack success rate)、MCD (matched-control denial) et al.
Evaluated models
Granite Guardian 3.1 2B
Benchmarks
91 executable tasks (82 families)11,393 capability-matched benign controlsWildChat (1.2M)StackExchange (150k)MS MARCO (150k)Outer cohort (11 families, 23 suites, 629 variants)
Metrics
ASR (family-average abstract attack success rate)MCD (matched-control denial)BBR (background block rate)ρ (ATK/MCD ratio)AUROC
AI summaryand selection rationaleThe paper proposes a new threat model for decomposition attacks: the attacker splits a harmful task into requests that are individually compliant, then merges the answers outside the service, and submits them under new identities that the service cannot link, thereby removing the grouping signal for stateful monitoring. The authors prove that under a fixed attack strategy without retries, the safety-utility tradeoff depends entirely on how benign requests of the same capability are grouped; once retries are allowed and the attacker learns from Allow/Block feedback, this favorable operating point disappears. Experiments based on 91 executable tasks, 365 operational requests, and 11,393 capability-matched benign requests, under a 1% matched control rejection rate and a 0.5% background traffic rejection rate cap, show that all ten tested policies, including a privileged policy with exact request-to-operation mappings, either fail to block the attack or exceed the budget; on unseen task families, the attack succeeds with at least 99% probability after one attempt and 100% after two. The authors argue that effective defense requires additional evidence such as reliable identity linking, costs for new identities, or control over answer usage.

The paper proposes a new threat model for decomposition attacks: the attacker splits a harmful task into requests that are individually compliant, then merges the answers outside the service, and submits them under new identities that the service cannot link, thereby removing the grouping signal for stateful monitoring. The authors prove that under a fixed attack strategy without retries, the safety-utility tradeoff depends entirely on how benign requests of the same capability are grouped; once retries are allowed and the attacker learns from Allow/Block feedback, this favorable operating point disappears. Experiments based on 91 executable tasks, 365 operational requests, and 11,393 capability-matched benign requests, under a 1% matched control rejection rate and a 0.5% background traffic rejection rate cap, show that all ten tested policies, including a privileged policy with exact request-to-operation mappings, either fail to block the attack or exceed the budget; on unseen task families, the attack succeeds with at least 99% probability after one attempt and 100% after two. The authors argue that effective defense requires additional evidence such as reliable identity linking, costs for new identities, or control over answer usage.

Why it was selected论文用 91 个可执行任务和 1.1 万余条同能力良性请求，量化了分解攻击在有状态防御下的安全与误伤边界。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    探究跨不可关联身份分解攻击下状态化防御的安全与效用边界。

    这篇论文试图解决大语言模型服务在面对跨不关联身份的分解攻击时，状态化防御能否在保证正常用户可用性的前提下有效阻断攻击的问题。

    • 场景与重要性：大模型服务常依赖无状态防御拦截有害请求，但分解攻击可将有害目标拆解为单独合规且良性用户也会请求的子任务；防御者必须跨请求维护状态，然而当攻击者在线下合并输出且分布在不可关联的身份时，状态化监控面临归因边界问题。
    • 现有防御局限：现有状态化防御通常假设能够完整观测包含全部攻击请求的会话或账户历史；一旦攻击者在服务侧使用无法关联的多个新身份，按账户维护的状态会被切分，而跨全局聚类又容易误伤提供相同能力的良性用户。
    • 核心观察与假设：作者认为请求内容本身仅体现功能语义，无法识别响应最终被谁合并；良性匹配请求与攻击请求在操作层面具有可交换性，若缺乏独立链接信号，防御者区分攻击与正常使用的能力完全取决于良性请求的身份分组结构。
    • 威胁模型：
      • 攻击者目标：促使攻击联合体（Access Coalition）的线下存储集齐目标任务所需的所有原子操作能力，成功合成完整有害任务。
      • 攻击者知识：黑盒访问服务，仅观测每次请求的 ALLOW/BLOCK 二值判定结果与响应内容，不掌握防御者内部表示与阈值。
      • 攻击者能力：控制请求语义（含功能等价改写与无关填充）、提交顺序、重试策略，以及身份维度（可复用可见组或使用全新的不关联身份）。
      • 受害系统：具备因果全局历史、可见分组标签及元数据的状态化大模型服务，必须在生成并释放回复前做出放行或拦截决策。
    • 论文主要工作：形式化定义了可见组与访问联合体，推导了单次与有限重试下的安全-效用理论前沿；构建了包含91个可执行任务的基准，通过平衡重着色排除了文本模板伪影，实证评估了理论前沿与8类实际防御。

  2. What related research exists?

    梳理了组合攻击、状态化监控及经典系统安全三类相关工作。

    论文将相关研究梳理为能力组合攻击、状态化防御及其观测维度、以及系统安全度量三组：

    能力组合攻击（Capability Composition）

    • 直接越狱与多轮对话攻击：Anil 等人（2024）研究多样本越狱，Li 等人（2024）的 DrAttack 与 Russinovich 等人（2025）的 Crescendo 研究将恶意目标分散于多轮会话；作者指出分解攻击的区别在于每个子任务本身完全合规，危害仅在组合时显现。
    • 模型组合与能力泄露：Glukhov 等人（2024）形式化了安全回复中的不安全信息泄露；Jones 等人（2025）指出弱模型可将合规子任务委托给对齐的强模型；后续系统将此类组合转化为可执行形式。作者在此基础上引入了不可关联身份如何在线下汇聚能力的问题。

    状态化监控与观测范围（Stateful Defenses and Observability）

    • 单会话累积监控：Yueh-Han 等人（2025）的 DecomposedHarm 累积对话上下文；Shen 等人（2026）的 TurnGate 寻找闭合多轮恶意能力的最早响应；Yang 等人（2026）的 Paranoid Monitors 提出状态追踪与安全判定的解耦设计。作者指出这些系统均依赖于能观测到完整共享交互历史的前置假设。
    • 跨会话与账户聚合系统：Brown 等人（2026）在线聚类多账户转录并升级可疑簇；Sun 等人（2026）的 TwinGate 在全局交织流量中基于非对称对比学习匹配相似意图；作者指出 TwinGate 在缺乏身份元数据时难以平衡误拦截率，且二者均未解决离线不可见合并问题。

    经典系统安全机制对比

    • 入侵检测与女巫防御基准：Axelsson（2000）与 Sommer 等人（2010）指出基准失衡与良性重叠对检测的制约；Fogla 等人（2006）研究模拟攻击规避；Douceur（2002）与 Yu 等人（2006）在 Sybil 防御中区分账户与实体。作者借鉴这些视角，强调账户链接是服务可见划分，而线下合并才是安全边界。

    基线方法与基准定位

    • 对比基线：包含无防御 M0、词法分类器 M1、Granite Guardian 3.1（M2）、TwinGate 适配版（M3）、Brown 风格聚类监控（M4）、DecomposedHarm 累积监控（M5）、直接大模型判定（M6）、Paranoid Monitors 账本监控（M7）、原型匹配结构化账本（M8）及全知映射特权账本（M9）。
    • 定位区别：作者强调本文并非提出新的经验式检测器，而是首次形式化不可关联身份下的信息论与因果约束，给出所有基于请求流因果防御的性能上限。

  3. How does the paper address this problem?

    形式化理论边界并构建平衡可执行协议，证明防守边界由分组决定。

    论文通过因果能力前沿理论建模（Causal Capability Frontier）结合可执行基准重放，从理论上推导防御界限，并从机制上剖析状态化防御与离线能力合并的脱节。

    理论模型与形式化

    • 概念拆分：将系统可观测的“可见分组”（服务根据凭证、IP、时间等归连的一组请求）与实际合并响应的“访问联合体”（拥有统一物理存储的攻击实体）严格区分，后者对防御者隐蔽。
    • 操作与能力账本：任务 h 包含必要操作集合 Ih。请求 Bt 的能力映射 Cap(Bt) 记录其合规回复所提供的操作。当联合体账本集齐 Ih 时抽象攻击成功。
    • 单次尝试安全-效用前沿：在角色可交换性假设下，防御者在预期良性对照拦截预算 B 下的最低最坏任务 ASR 满足： ASR∗1(B) = max{0, 1 − B/D} 其中 D 为各任务最小对照样本数之和；若良性匹配请求均使用新身份，防御者无法将攻击与良性请求区分，降低 ASR 必导致对照拦截率线性上升。
    • 有限重试理论前沿：当允许每个操作最多重试 R 次且良性工作流被拦截后同样重试时，防御者针对请求拦截比率 β 的理论最优前沿满足： ASR∗R(β) = max{0, 1 − β/(d{R − (R−1)β})} 该式说明随着重试次数 R 增加，固定良性开销下的 ASR 下界单调递增并趋近于 1。

    观测闭包与不可识别性

    • 请求流不可识别性：证明了仅依赖可见请求历史无法识别潜在联合体划分；输出文本、嵌入向量、分类器打分或测试期微调权重等均为请求流的因果后处理，根据数据处理不等式，无法提供额外的离线聚合证据。
    • 因果代价：在线因果防御由于无法预知未来完成集，拦截成本严格大于离线超图命中集（Hitting Set）横截数 τ(H)。

    消除评估伪影的实验机制

    • 平衡重着色（Balanced Recoloring）：针对每个注册操作，将其原始攻击请求与良性对照请求混合，在固定可见流的条件下通过轮换分配攻击角色，确保文本本身不包含先验角色标签。
    • 前缀模板剥除：发现生成对照样本带有的 162 字符结构性前缀会被判别器作为浅层特征，在实验中予以剥除以保证语义评估的纯粹性。

    状态化防御组件与适配

    • 通用处理流：防御在请求预填充（Prefill）阶段因果介入，输入限定在当前请求、历史请求摘要（最多4条、每条400字符）或检索到的任务描述（最多2条、每条800字符）。
    • 统一判断架构：M4–M7 均接入统一的 2B 判别模型（温度为0），输出 0–100 的风险分值，结合校验集校准的阈值输出 ALLOW/BLOCK 决策。

  4. What experiments did the paper conduct?

    实验验证了合规防御ASR普遍超97%，重试与反馈可使ASR达99%以上。

    论文围绕理论前沿验证、实际防御评测、自适应学习及敏感性分析展开了多组实验。

    实验设置

    • 被测模型：本地攻击与规划模型采用 Qwen3.5-35B-A3B 去对齐版本；判别防御 M4–M7 统一采用 Qwen3.5-2B 去对齐版本；M2 采用 Granite Guardian 3.1 2B；检索器采用 BGE-large-en-v1.5；任务初筛采用 DeepSeek 商业 API。
    • 数据集与规模：主评测集包含 91 个可执行网络编程任务（跨 82 个家族、365 个操作）、11,393 个单操作能力匹配良性对照请求；外部分布泛化集包含 11 个防御未见家族（23 个套件、38 个操作、629 个请求变体）；背景噪声包含 150 万条请求（WildChat 120 万，StackExchange 与 MS MARCO 各 15 万）。
    • 基线与指标：基线包含 M0–M8 及特权 M9；核心指标为家族平均抽象 ASR、能力匹配对照拦截率（MCD，上限 1%）、背景拦截率（BBR，上限 0.5%）及拦截比率 ρ = ATK/MCD。
    • 校准与统计协议：所有阈值仅在 12 个校准家族上选定；主评测集采用 19 个构造聚类的 10,000 次重采样计算 95% 置信区间。

    主结果

    在单次尝试（R = 1）、满足 MCD ≤ 1% 且 BBR ≤ 0.5% 约束下，主评测集与防御未见外部家族的结果如下（据 Table 2）：

    Swipe horizontally to read the table

    方法主评测 ASR (%) [95%]主评测 MCD (%)主评测 BBR (%)外部 ASR (%) [95%]外部 MCD (%)外部 BBR (%)
    M0 无防御100 [100, 100]00100 [100, 100]00
    M1 词法模型94.61 [91.15, 97.62]1.3200100 [100, 100]00
    M2 Granite100 [100, 100]00.49899.01 [97.30, 100]0.3200.498
    M3 TwinGate100 [100, 100]00100 [100, 100]00
    M4 Brown风格100 [100, 100]00100 [100, 100]00
    M5 累积监控97.64 [96.79, 98.42]0.6410.1352.54 [0.28, 6.00]64.730.075
    M6 直接LLM94.44 [93.36, 95.61]1.377048.60 [29.46, 67.72]19.040
    M7 因子化账本100 [100, 100]00100 [100, 100]00
    M8 结构化账本93.88 [92.44, 95.14]1.419083.47 [74.80, 91.62]4.560
    M9 特权全局账本0 [精确]22.3400 [精确]25.490
    • 合规防御阻断有限：在主评测集上，M5 是唯一满足双重可用性约束且产生有效拦截的方法，其 ASR 仅比无防御低 2.36 个百分点；M1、M6、M8 虽然 ASR 略低但 MCD 均超标；M2、M3、M4、M7 则几乎完全不拦截。
    • 外部未见家族严重越界：迁移到外部未见家族时，M5 的 ASR 虽降至 2.54%，但误拦截率 MCD 升至 64.73%；若限制在 1% MCD 内，外部分布上最低 ASR 仍高达 96.29%（据 Section 7.2）。
    • 特权账本同样代价过高：拥有完美语义映射的 M9 全局账本若要实现 0% ASR，在主评测与外部分布上分别产生 22.34% 与 25.49% 的良性误拦截。

    能力识别与归因脱节

    • 语义识别与归因测试：8种评分函数中有5种在区分注册能力与普通背景时 AUROC 达到 0.969–0.989（Table 1）；但在剥除前缀模板后，区分攻击与良性对照的 AUROC 均回落至 0.4889–0.5424（接近 0.5）。
    • 比率统计：主评测集上所有合规策略的 ρ = ATK/MCD 的 95% 置信区间均包含 1（Table 3），外部家族 1,381 个测试点的 ρ 中位数为 1.028，表明防御无法系统性偏向拦截攻击。

    重试与黑盒反馈学习

    • 重试瓦解防御优势：正对照实验中，M1 在单次尝试时的 ASR 为 8.75%，但只需一次重试（R = 2）ASR 即升至 98.75%，五次重试达 100%（Table 4）。
    • 自适应反馈学习：在 3,072 个实验单元中，攻击者仅利用 ALLOW/BLOCK 反馈运行汤普森采样，ASR 达到 99.4%，接近已知真实释放概率上限的 99.8%，而固定画像仅有 47.2%（Section 7.3）。
    • 良性密度影响：在外部未见家族最高良性密度（mC = 11.553）下，所有合规方法在 R = 2 时 ASR 均达到 100%（Figure 3）。

    其他消融与分析

    • 因果在线策略相比离线最优命中集在相同样本上需支付 1.3056 倍的拦截超额成本（Section B.15）。
    • 当任务间操作共享率从 0 提升到 80% 时，实现全阻断的对照拦截率从 17.537% 降至 13.410%（Table 13）。
    • 攻击者本地模型编写的变体与官方重写相比，在判别器眼中显得更不可疑（AUROC 为 0.2458–0.3294，Table 14）。
    • 即使将 MCD 预算放宽至 10%，外部分布最佳合规防御的 ASR 仍停留在 99.006%（Table 12）。

  5. What are some points that can be further explored?

    作者指出了流量分布和任务类型局限，实验仅覆盖请求通道与离散画像。

    论文从作者声明的局限性与实际实验边界两方面给出了明确范围：

    作者指出的局限与后续方向

    • 无法代表自然流量分布：公开语料既不包含离线合并也不包含可靠账户链接，实验评估基于预设流量与合成对照，而非自然部署环境下的实体与账户成本分布（Section 8、Section B.18）。
    • 可执行验证的覆盖限制：冻结的单操作测试仅能验证独立功能契约，无法穷尽所有可能的重组、顺序、重着色划分或改写组合（Section 8、Section B.18）。
    • 黑盒学习假设有限：反馈学习理论与实验基于有限候选画像库、平稳可重置的释放概率和有界重试，未解决开放语言空间搜索或通用部分可观测马尔可夫决策过程（POMDP）（Section B.18）。
    • 评测通道标准化局限：M0–M9 统一在仅包含请求的单通道下进行标准化对比，未复现原生依赖响应、交互工具、持续会话或来源凭证的防御系统（Section 8、Section B.18）。
    • 任务领域与商业接口依赖：合成网络编程任务虽然便于客观执行验证并避免影响真实目标，但限制了任务领域多样性；且初筛服务基于特定时间观察到的商业 API 别名，结论不应直接推广至其他模型或领域（Section 8、Section B.18）。
    • 潜在防御拓展途径：作者在讨论中提出未来有效防御需依赖独立线索或组合约束，如可靠身份链接、信誉机制、付费与速率限制、隐私凭证、受限工具、沙箱以及细粒度授权等（Section 8）。

    实验覆盖范围

    • 被测模型范围：实验涉及 Qwen3.5-35B-A3B（攻击规划）、Qwen3.5-2B 与 Granite Guardian 3.1 2B（判别）、BGE-large-en-v1.5（检索）以及特定时期的 DeepSeek 接口，未包含其他模型。
    • 任务类别与规模：评测集覆盖 91 个合成网络安全编程任务与 11 个外部验证家族，未包含非网络编程领域的安全任务。
    • 可用性约束边界：所有合规阈值均在 MCD ≤ 1% 与 BBR ≤ 0.5% 的固定严格预算下筛选。
    • 重试与画像参数：动态重试实验设定的重试上限为 R ∈ {1, 2, 5}，反馈学习搜索基于离散预设画像网格（R ∈ {1, 2, 4}）。
    • 观测通道约定：实验限制在生成前的请求流、可见元数据及历史决策，未评测流式输出阻断或基于执行反馈的动态拦截。

  6. Summarize the main content of the paper

    证明跨身份分解攻击突破状态化防御边界，合规下ASR仍超97%。

    这篇论文系统刻画了跨不关联身份分解攻击对大模型状态化防御构成的根本制约，指出在缺乏独立身份链接时，低误拦截与高安全性不可兼得。

    • 核心问题定位：针对将有害任务拆解为合规子步骤、利用多个不可关联身份提交并在线下汇聚答案的分解攻击，研究因果状态化防御在实用可用性边界下的防护能力极限。
    • 方法与理论推导：将服务可见分组与物理访问联合体严格解耦，推导出单次与重试条件下的安全-效用理论前沿；证明了输出嵌入与后处理无法提供额外的离线聚合信息；构建了包含91个可执行任务与11,393个能力对照的无偏基准。
    • 关键实证发现：
      1. 在 1% 匹配对照与 0.5% 背景误拦截上限下，主评测集上表现最佳的合规防御 M5 的 ASR 仍高达 97.64%（Table 2）。
      2. 防御无法系统性区分攻击与良性对照，外部分布 1,381 个阈值点的阻断比率 ρ 中位数仅为 1.028（Table 3/B.13）。
      3. 即便拥有完美操作识别能力的 M9 特权全局账本，要实现 0% ASR 也需承受 22.34% 的良性对照拦截代价（Table 2）。
      4. 攻击者仅利用 ALLOW/BLOCK 二值反馈进行汤普森采样，在有限预算下即可将 ASR 提升至 99.4%（Section 7.3）。
      5. 面对未见任务家族，允许 1 次重试即可使所有合规防御在最高良性密度下的 ASR 达到 100%（Figure 3）。
    • 结论与安全启示：作者认为单纯增强模型对请求语义的理解或堆叠请求级状态，无法解决离线归因缺失的本质矛盾；构建实用的抗分解防御必须引入请求流之外的独立强信号，例如不可伪造的身份凭证、身份创建与重试成本、细粒度作用域授权或输出执行沙箱控制。
Read originalarxiv.org