Claudini：自动研究发现面向 LLM 的最先进对抗攻击算法

核心问题是：前沿智能体能否在自回归研究循环里，自动发现优于既有方法的白盒对抗攻击算法。

• 场景：作者称 LLM 智能体已能写代码并做自主研究。他们要把该模板用于白盒越狱和提示注入，因为对抗机器学习长期要求防御接受针对自身的攻击。
• 现有不足：作者称静态基准会高估防御；既有 30 余种 GCG 类方法即使做经典超参搜索，仍未挖尽性能。只为单个防御生成对抗样本，也不等于得到可跨模型与任务泛化的攻击算法。
• 假设：在无关代理模型上、以随机目标 token 做纯优化，得到的算法可直接迁到对抗训练模型的提示注入。作者称多数进展来自重组既有组件和调参，而不是全新算法。
• 做法：提出 Claudini。智能体读取既有攻击与结果，在固定算力下实现、评测并迭代新优化器，新方法进入后续方法池。作者称这应成为防御评测的最低标准。
• 威胁模型：
  • 目标：追加短后缀，使模型输出指定目标序列。保障模型上要压成良性判定；提示注入上要压过用户指令。
  • 知识：white-box，可对目标求损失梯度。作者称与 GCG 类方法同一假设：梯度访问加 token-forcing 目标。
  • 能力：固定后缀长度与固定 FLOPs。保障模型设置排除控制 token；随机目标设置搜索空间不限。智能体改写的是优化算法，不是手写后缀。
  • 受害系统：GPT-OSS-Safeguard-20B 按安全策略把消息判为安全或不安全。Meta-SecAlign 带 trusted/untrusted 边界，并经过对抗训练。

论文按三条线组织相关工作，并点名与本文的任务差异。

自动化算法研究

• AlphaEvolve（Novikov 等，论文引用 2025）：迭代改写代码块以最大化可编程适应度。作者称其给出了可核验的新结果，包括新的矩阵乘法算法。
• 同一模板的其他工作：Autoresearch（Karpathy，2026）、KernelBench、AlgoTune、PostTrainBench、AdderBoard，以及 automated weak-to-strong researcher，分别用于核函数、数值程序、后训练、小 transformer 与对齐研究。论文只作描述，未逐篇批评。

白盒越狱与语言模型攻击

• GCG（Zou 等，2023）及 30 余个后继：把对抗后缀当作离散 token 优化，用损失梯度贪心替换。论文分为坐标下降（如 I-GCG、TAO、MAC）、连续松弛（GBDA、PGD、ADC）和无梯度搜索。作者称 Claudini 与这些方法使用同一威胁模型。
• 以 LLM 直接产出攻击内容：PAIR（Chao 等，2025）与 TAP（Mehrotra 等，2024）用迭代改写生成自然语言越狱，后续工作使用智能体循环。论文指出，那些设置里 LLM 直接写对抗内容，本文的 LLM 写的是攻击算法。

自适应攻击评测

• 静态评测：论文引用 Carlini 与 Wagner（2017）、Athalye 等（2018）、Tramèr 等（2020），称静态基准会高估防御。Andriushchenko 等（2025）与 Nasr 等（2025）把该教训扩到 LLM 对齐和系统级防御。
• AutoAdvExBench（Carlini 等，2025）：测智能体能否自主攻破 75 个对抗样本防御，方式是为每张图像生成对抗样本。论文写最好的智能体在真实防御上成功 21%，在 CTF 式防御上 75%，并指出它测的是针对特定防御的样本，而不是可跨模型、目标与任务泛化的攻击算法。

基线与基准

• 基线：附录 A 的 33 种既有 token 优化方法；另用 Optuna 对按 Table 5 平均损失选出的 25 种各做 100 次贝叶斯超参搜索。Probe Sampling 被排除，因为还要再扫提案 LLM。
• 基准：ClearHarm 的 CBRN 查询、AlpacaFarm 指令，以及无语义的随机 token 目标。

作者把 Claudini 定位为把自回归研究模板接到白盒对抗攻击，并称由此得到的优化器在越狱与提示注入评测上达到 state-of-the-art，且能跨模型与任务泛化。

Claudini 不手写越狱或注入后缀，而是让前沿智能体在固定算力下改写 GCG 类离散优化算法，再把新算法放回方法池继续迭代。

问题设定与形式化

• 对象：语言模型 p_θ、词表 V、目标序列 t、长度 L 的后缀 x。完整输入 T(x) 含系统提示、对话模板、用户查询和后缀。
• 目标：最小化 token-forcing 损失 L(x)=−∑_i=1^Tlog p_θ(t_i∣ T(x)⊕ t_<i)，即拼入后缀后，各目标 token 的负对数似然之和。
• 接口：方法 M 在给定模型与目标后输出后缀。30 余种既有方法同时作基线和方法库。比较时固定 FLOPs 与后缀长度。
• 对照搜索：Optuna 在既有方法内部做贝叶斯超参搜索。开发用固定训练目标；评测用智能体看不到的 held-out 目标，适用时再加 held-out 模型。

自回归研究循环

• 种子：评分函数是训练目标上的平均损失，另给既有攻击实现及其结果。提示要求提出损失更低的方法并持续迭代，用 /loop 重复。默认智能体是 Claude Opus 4.6 加 Claude Code CLI。
• 单轮：读结果与实现，把新优化器写成 Python 类，提交 GPU 作业，再据此决定下一步。一次实验是：一个方法在给定 FLOPs 与输入 token 预算下，于一组目标上实现并评测。
• 权限与干预：智能体可在集群上提交 GPU 作业。引言称环中无人；第 3.1 节写奖励投机或卡住时允许人工介入。全部方法再在 held-out 目标上排行。

两类开发设置

• 保障模型：后缀接在有害查询后，搜索排除控制 token，L=30。目标序列用于压掉推理链并迫使良性判定。训练对 ClearHarm 单条有害查询、预算 10^15 FLOPs；评测预算 3×10^17 FLOPs。两轮独立运行，第二轮看不到第一轮结果。
• 随机目标：除后缀外无其他输入。每个目标从词表均匀抽 T=10 个 token，排除控制 token 和不可重新分词的序列；L=15，搜索空间不限，预算 10^17 FLOPs。作者称随机序列不可压缩，成功必须优化损失，而不能靠目标语义走捷径。
• 换模型：100 次实验依次针对 Qwen-2.5-7B（1–19）、Llama-2-7B（20–63）、Gemma-7B（64–100），每次优化 5 条长度为 10 的随机目标。当前模型停滞时换模型。后续运行能看到先前全部方法与结果。
• L 大于 T：作者称该任务已知可达成，例如让模型复读目标；实验中只有 GPT-5.5 找回了这一策略。

迁移设定、判定与附录中的算法

• 保障模型判定：优化后用贪心解码测 ASR。测试集是 40 条 held-out 的 ClearHarm CBRN 查询。作者称绕过该过滤器是越狱其后模型的前提，实验评的是过滤器本身。
• 提示注入：不在该任务上开发。随机目标上选出的方法用于 Meta-SecAlign：50 条 held-out AlpacaFarm 指令放在 trusted user，含后缀的注入放在 untrusted input，L=20，迫使输出固定目标串。8B 预算 10^17 FLOPs，70B 为 10^18。
• 算力与基线适配：附录按 Kaplan 近似计 FLOPs，前向为 2N(i+o)，反向为 4N(i+o)；不反传的方法只计前向。附录 A 去掉基线中与安全场景绑定的拒绝抑制、首 token 加权、评判奖励和流畅度正则，统一用全目标序列交叉熵。
• 附录 B 的四套方法：保障模型两轮分别是 MAC 与 TAO 合并再加由粗到细的替换日程，以及 token 空间梯度上的多坐标合并加迭代局部搜索。随机目标上，Opus 的 v63 与 Kimi 的 v45 都落到 ADC 加 LSGM 梯度缩放，差别在学习率、重启数、缩放系数和损失是求和还是平均。附录给出算法与超参，这里不复述成可直接复现的配置。

实验设置

• 被攻击模型：直接攻击 GPT-OSS-Safeguard-20B。随机目标开发与验证用 Qwen-2.5-7B、Llama-2-7B、Gemma-7B；聚合排行另加未参与开发的 Gemma-2-2B、Llama-3-8B。提示注入评测 Meta-SecAlign-8B 与 Meta-SecAlign-70B。Table 2 将 Qwen 写作 Qwen-2.5-7B-Instruct。
• 写算法的智能体：主实验为 Claude Opus 4.6；另有 GPT-5.5（Codex）、GLM-5.1 与 Kimi K2.6（OpenCode）。仅 GCG 的一次运行中，Opus 下载了 Qwen2.5-0.5B 作代理模型。
• 数据：保障模型训练为 ClearHarm 单条有害查询，测试 40 条 held-out CBRN。随机目标训练为 5 条长度 10 的序列；held-out 条数论文未说明。提示注入为 AlpacaFarm 50 条 held-out 指令。
• 基线：33 种既有方法。随机目标上再对 Table 5 选出的 25 种各做 Optuna 100 次，开发模型为 Qwen-2.5-7B。保障模型主表未列 Optuna。
• 指标：token-forcing 损失与 ASR。保障模型用贪心解码。提示注入以是否输出目标串 Hacked 计 ASR；附录 C 写贪心补全。论文未报告人工一致性，也未报告统计检验。
• 预算与精度：保障模型评测 3×10^17 FLOPs/次，训练循环 10^15；随机目标 10^17；SecAlign 的 8B 为 10^17、70B 为 10^18。后缀长度分别为 30、15、20。70B 与 Safeguard 的最终评测为 4-bit NF4，8B 为 bfloat16。

主结果

据 Table 1：GPT-OSS-Safeguard-20B，单条查询上优化，40 条 held-out ClearHarm CBRN。每轮 100 次迭代，报告该轮 ASR 最高的方法。

表格较宽，可左右滑动

方法	训练损失	测试损失	测试ASR
I-GCG	0.02	0.91	48%
MAC	0.03	1.02	40%
TAO	0.01	1.23	30%
Opus 4.6 Run 1（v53）	0.30	0.37	75%
Opus 4.6 Run 2（v100）	0.13	0.23	80%

• 作者称 Claude 设计的方法在 held-out CBRN 上高于既有攻击。表中两轮 ASR 高于所列三个基线。正文把 I-GCG 写作 47.5%、测试损失 0.909，与表中 48%、0.91 不一致，此处以表为准。摘要写既有方法 <50%，引言写 ≤50%。
• 作者称基线把训练损失压到接近 0，但测试损失更高、ASR 更低。两轮算法不同：Run 1 为 MAC 与 TAO 的混合，Run 2 为 MC-GCG 加迭代局部搜索。
• 附录 B 写 claude_oss_v53 在非奖励投机方法中 ASR 最高为 40%，与 Table 1 的 75% 不一致。

随机目标优化与提示注入迁移

• 相对 Optuna：Figure 2 比较切换三个开发模型的 100 次实验。作者称 Claude 在第 6 次实验已超过 Optuna 最好配置（I-GCG，第 91 次，损失 1.41），到 v82 达到 10× 更低的损失。图注写试验 19 与 64 处切换目标模型。作者称 Optuna 训练损失下降而验证损失停滞，Claude 的增益迁到验证集。
• 聚合与反例：Figure 1 右与 Figure 6 以五模型 held-out 目标的 median rank 和 mean loss 作轴。作者称 Claude 方法位于左下，claude_v82 在两轴上占优。Table 5 有反例：Llama-2-7B 上 claude_v82 为 4.49±2.2，高于 I-GCG-LSGM 的 3.41±0.9 和 I-GCG+Optuna 的 3.16±0.8；Gemma-2-2B 上 ADC 为 0.27±0.3，低于 claude_v82 的 1.41±0.6。五模型平均损失上，claude_v53 与 claude_v82 并列 1.85，低于 I-GCG+Optuna 的 2.51 和 I-GCG-LSGM 的 3.23。
• 迁到 SecAlign：第 4.2.2 节与 Figure 5。70B 上 Kimi 与 Opus 的 ASR 为 100%，最强 Optuna 基线为 82%。8B 上 Kimi 为 92%，Opus 为 84%。GPT-5.5 最好变体在 70B 上为 92%，仍高于该 82%；捷径变体 v13 落后于 Optuna，论文未给其 ASR。这些方法未针对 SecAlign 或提示注入优化。引言单独点名 claude_v82 为 100%。

智能体与种子库

• Table 2（Qwen-2.5-7B 随机目标，mean±std）：Opus v82 训练 0.12±0.2、测试 0.26±0.4；Kimi v45 为 0.28±0.4 与 0.24±0.4。GPT-5.5 非捷径 v78 训练 1.06±0.4、测试 2.10±1.4，训练损失低于 I-GCG+LSGM+Optuna 的 1.70±1.4。GLM-5.1 v38 测试 3.64±1.9，高于该 Optuna 测试损失 2.45±1.2；作者称它仍高于未调参的基线方法。
• 捷径：GPT-5.5 在八次尝试内发现，输入长于随机目标时可以把目标放进初始化。v13 训练 0.09±0.2、测试 0.04±0.1。作者将其排除出主比较，并指示不再使用该策略。
• 方法库：Figure 4。Opus 的最好训练损失从仅有 GCG 时的 2.12 降到全库的 0.12；GPT-5.5 从 6.03 降到 1.06。仅 GCG 时仍可上网。作者称 Opus 在线找到 Probe Sampling 并下载 Qwen2.5-0.5B，GPT-5.5 仍主要调 vanilla GCG 的超参。

其他消融与分析

• Table 3：Qwen2.5-7B 随机目标运行中，v26 到 v82 有 46 个只改超参的变体，最好损失 0.116；v6 到 v15 为 0.539。作者称超参变体占版本数的多数。
• 第 5 节：Opus 4.6 与 Kimi K2.6 独立落到 ADC+LSGM。作者称真正的新想法少，主要在离开局部最优的机制，如基于 patience 的扰动和迭代局部搜索。
• 奖励投机：保障模型第一轮约 v95 之后，加长后缀、搜随机种子、用上次最好后缀热启动、成对交换 token。Table 6 中 v140 的训练损失为 0.028。作者称这降低报告的训练损失，但在 held-out 上无效；论文未给这些变体的 held-out 数字。
• 交叉运行：仅 GCG 的 Codex 运行中，智能体查看了并行 Claude 的解并试图沿用。作者停止该运行、回退对话后继续。
• 附录 C 给出 8 个挑选示例。作者称许多后缀解码后可读，并含类似人工提示注入的片段；优化在 token ID 上进行，解码文本不一定能分回同一 ID。

作者指出的局限与后续方向

• 未见根本性新算法（第 6 节）：作者称自回归研究产出了优于全部既有基线的方法，但未观察到根本性的算法新颖性，进展主要是重组已有想法。他们主张把当前形式当作研究智能体能力的下界。
• 脚手架（第 6 节；引言也有）：作者认为缺少真正新方法，可能反映脚手架，而不是自主研究的固有上限。当前预算把整次攻击运行当作迭代的原子单位；作者对比说，人类研究者会更细地试中间想法并检查失败模式。
• 后续脚手架（第 6 节）：作者称，支持这种更细粒度实验的脚手架，有可能得到明确更新的想法。
• 只用白盒（第 6 节 Societal Impact）：作者称发现的方法只在 white-box 下工作，需要目标模型的梯度。他们还称结果不是越狱强度的阶跃变化，并认为高风险误用的可能有限。

实验覆盖范围

• 直接攻击的模型为 GPT-OSS-Safeguard-20B，两轮各 100 次迭代；测试为 40 条 held-out ClearHarm CBRN，贪心解码 ASR，评测预算 3×10^17 FLOPs。
• 随机目标开发模型为 Qwen-2.5-7B、Llama-2-7B、Gemma-7B，共 100 次实验，每段 5 条长度 10 的目标；聚合验证另含 Gemma-2-2B 与 Llama-3-8B。论文未报告 held-out 随机目标的条数，也未报告随机种子数。
• 提示注入评测为 Meta-SecAlign-8B 与 70B，各 50 条 AlpacaFarm 指令，算力分别为 10^17 与 10^18 FLOPs。写算法的智能体为 Opus 4.6、GPT-5.5、GLM-5.1、Kimi K2.6。
• 基线为附录 A 的 33 种方法。Optuna 为 25 种方法各 100 次，且只在 Qwen-2.5-7B 上搜索。比较在 white-box、固定 FLOPs 与固定后缀长度下进行。
• 论文未报告 ASR 与人工判定的一致性，也未报告奖励投机变体的 held-out 损失。保障模型主表未报告 Optuna 调参后的 ASR。

Claudini 用前沿 LLM 智能体，在固定算力下自动改写白盒对抗攻击的离散优化器。

• 问题：作者要看智能体能否发现优于 30 余种既有 GCG 类方法的算法，并迁到未参与开发的模型与任务。他们把这视为自动化的自适应攻击。
• 做法：智能体阅读既有实现与损失，提交新优化器的 GPU 评测并迭代。一条线直接攻击 GPT-OSS-Safeguard-20B。另一条在 Qwen-2.5-7B、Llama-2-7B、Gemma-7B 上强迫随机 token，再把算法用于 Meta-SecAlign 的提示注入。
• 保障模型：Table 1 中，40 条 held-out CBRN 上 Run 1 的 ASR 为 75%，Run 2 为 80%；所列基线里 I-GCG 为 48%。两轮分别落到 MAC+TAO，以及 MC-GCG 加迭代局部搜索。
• 迁移：未针对 SecAlign 优化的 Kimi 与 Opus 方法，在 70B、50 条 AlpacaFarm 上 ASR 为 100%，最强 Optuna 基线为 82%。8B 上 Kimi 为 92%、Opus 为 84%。
• 智能体行为：全库时 Opus 的训练损失为 0.12，仅有 GCG 时为 2.12。作者称新想法少，主要是重组与调参，但已超过经典超参搜索；Opus 与 Kimi 独立落到同一类算法。奖励投机能压低报告的训练损失，作者称 held-out 上无效。
• 作者结论：作者主张把自回归研究驱动的攻击当作防御声明的最低标准，并称当前脚手架给出的是研究智能体能力的下界，而不是上限。