高维离线 Bandit 的高效对抗攻击

离线评测中，只改奖励模型、不改日志，能否让 bandit 选错最优臂。

• 场景：作者称 bandit 已用于推荐、临床试验、动态定价，以及扩散模型、GAN 与 LLM 评测。在线评测贵，实践改用固定日志比较 UCB、ETC、ε-greedy 或调超参。作者认为同一日志既可能被对抗操纵，也可能因反复调奖励指标而过拟合。
• 现有不足：作者称既有训练期攻击通常改奖励值或样本（附录 A），尚未研究训练前只改奖励模型。作者称高维下即使弱攻击者也可成功。
• 观察：作者称维度升高后，成功攻击所需扰动范数下降，图像评测因此更暴露。直观上，每臂观测远少于 d 时高维均值估计不稳，线性或过参数网络有足够自由度误导选臂。
• 提出：作者称提出新的威胁模型，对线性奖励和 ReLU 网络给出全轨迹、无轨迹与 OSA 攻击，并在两个 Hugging Face 图像评测器上检验；另给出打乱部分日志的防御。
• 威胁模型：
  • 目标：高概率使 bandit 找不到并利用最优臂 i∗；更强时强制预定轨迹。‖δ‖2 尽量小，例如最优臂被拉次数低于 T′<T。
  • 知识：可读离线日志 D1 到 DK；奖励函数在训练前已知并可被改。
  • 能力：不能改样本，不能干预训练，也不能进入运行 bandit 的环境（Section 4.8、附录 I）。线性将 w 改为 w+δ，网络将 θ 改为 θ+δ。
  • 受害系统：K 臂、输入维 d、时域 T 的随机 MAB，样本来自 Pi，奖励为 r(X)。正文以 UCB 为主，并延伸到 ETC 与 ε-greedy。

附录 A 与引言把相关工作分成监督攻击、bandit 评测和 bandit 投毒；作者只在奖励投毒上明确写出与本文的差别。

监督模型上的对抗攻击

• 经典对抗样本：Szegedy et al. (2014)、Moosavi-Dezfooli et al. (2017)、Cicalese et al. (2020)、Cohen et al. (2019)、Dasgupta et al. (2019)。作者称监督模型上的对抗攻击已被广泛研究，bandit 的脆弱性讨论较少。
• 评测用奖励模型：Singh & Zheng (2023)、Cho et al. (2024)、Hu et al. (2023)、Hosseini et al. (2025)。作者把它们列为可与 bandit 评测器结合的奖励模型，此处未逐篇比较。

用 bandit 做模型评测

• 生成模型与 LLM：Rezaei et al. (2025)、Hu et al. (2024a; 2024b; 2025) 用 bandit 做在线选择与评测。引言还举出 CLIP、BLIP、VQA 等公开权重评测器。
• 同一日志上的调参：作者引用 Rezaei et al. (2025)、Hu et al. (2024b)、Saito & Nomura (2024)，说明实践中会在同一日志上反复测指标或调超参数。

对 bandit 的投毒

• 奖励投毒：Jun et al. (2018)、Liu & Shroff (2019)、Liu & Lai (2020)，以及 Niss & Tewari (2020)、Lykouris et al. (2018)、Gupta et al. (2019)、Hajiesmaili et al. (2020)。交互过程中改智能体收到的奖励，使学习偏向特定臂。
• 线性上下文 bandit：Ma et al. (2018)、Garcelon et al. (2020) 改所选动作的奖励；Garcelon et al. (2020) 还可只改上下文。作者称这些工作显示出对奖励与上下文操纵的敏感。
• 与本文的差别：作者称本文不直接攻击奖励，而攻击奖励模型本身，对应 bandit 被当作评测指标的用法。

基线与数据

• 对照：随机噪声（Section 4.6）；鲁棒算法 Fast–Slow（Lykouris et al., 2018）与 ε-contamination（Niss & Tewari, 2020）。Section 4.2 还把 OSA 与二次规划的 Optimal 解比较。
• 数据：合成日志；GenAI-Bench 的 30 条随机 prompt，种子 1 到 100。奖励模型为 Image Reward 与 Aesthetic Model。

作者把本文放在离线、训练前、只改奖励模型，并强调高维使所需扰动变小。

作者把劫持选臂写成对扰动 δ 的约束优化。线性奖励与足够宽的网络都收成凸二次规划；作者称随机扰动不够，必须解有目标的优化。

问题设定

• 环境：K 臂随机 MAB。臂 i 的分布 Pi 在 R^d 上，拉臂得到 X，奖励为 r(X)，时域为 T。日志 Di 有 ni 个独立样本，且 T 轮内每次拉臂都看到新样本。
• 两类奖励：线性为 w 与 X 的内积；网络为前馈 NN_θ，激活 σ，参数维 D。作者关注 d 很大，或最大隐层宽很大。最优臂 i∗ 的期望奖励严格最大。
• UCB：前 K 步每臂拉一次。之后选 UCB 分数最大的臂：经验平均奖励加上探索项，探索项为 2 log t 除以该臂次数后开方（式 1）。分数记为 Λt(i;δ)。

三类攻击

• 全轨迹：对所有 t>K 和所有非目标臂，要求预定臂 Ãt 的 UCB 分数严格更大。约束数为 (T−K)(K−1)。线性时约束对 δ 是线性的。
• 无轨迹：只要求在指定时间集合上不拉 i∗，不规定拉哪条臂。实验里辅助序列用 round-robin。若覆盖 K+1 到 T，约束数为 T−K；作者称约束数按 K−1 倍减少。
• OSA：按时间扫描。若当前 δ 还没让 i∗ 的 UCB 最高就跳过；否则加入“亚军臂分数高于 i∗”并重解。作者称每步约束通常很少，因而不是一次解很大的规划。附录 K 给出三类伪代码。

二次规划与宽网络

• 线性：Theorem 3.1 把三类攻击写成最小化 ‖δ‖2 的平方，约束为 δ 与 T_{i,t} 的内积大于 R_{i,t}。T_{i,t} 与 R_{i,t} 只由日志和原权重决定，指标集 I 由攻击类型决定。核心形式是 δ^∗=argmin|δ|₂²，且 δ^⊤T_i,t>R_i,t。
• 规模：全轨迹 |I|=O(TK)，无轨迹 |I|=O(T)。作者称实验里 OSA 的 |I| 可小到 O(log T)（Figure 7）。求解代价约为 |I| 的三次加上 d 乘 |I| 的二次，并带对数因子。
• 宽网络：作者引用 NTK，称随机初始化且足够宽时，输出对参数近似仿射，余项随最大宽度衰减，从而得到变量数为 D 的同类二次规划（Corollary 3.2）。真实大模型上，作者冻结大部分权重，只动一小部分；论文未写该子集的规模。

可行性与范数界

• 可行：若各 Pi 的协方差最小特征值大于 0，且 d>(T−K)(K−1)，则三类问题以概率 1 可行（Theorem 3.3）。摘要把全轨迹可行写成 d≥KT 并归于 Theorem 3.3；正文里 d≥KT 出现在 Theorem 3.4 的前提中。
• 范数：在乘积测度、协方差为单位阵，以及各臂均值与 w 的范数为 1、最优臂与 w 对齐、其余臂与 w 正交的记号下，若 d≥KT，全轨迹攻击的 ‖δ∗‖2 不超过 O(√(T^3 log T·log d/(Kd)))，概率至少 1−2d^{−1}（Theorem 3.4）。作者称这些范数假设只为简化记号，不改变算法。作者还称更一般的 near-product 测度留待以后。

实验设置

• 算法：主实验为 UCB。另测 ETC（探索轮数 m=5）、ε-greedy（初始 ε=0.1，随时间衰减，下限 0.01）、Fast–Slow（corruption 参数 0.5）和 ε-contamination（ε=0.15，α=0.1，σ=1，α-trimmed）。
• 奖励模型：合成线性模型；单隐层 ReLU，Adam、MSE、80/20 划分、100 epoch、batch 1024、学习率 10^{−3}，监督为样本与最优臂均值的内积（附录 E）。真实模型为 Image Reward 与 Aesthetic Model，大部分权重冻结。附录 F 另用随机初始化、只留一个隐层可动的网络。
• 数据与臂：合成实验改变 K 与 d 或最大隐层宽。真实实验的五个臂为 Stable Diffusion 3、Stable Diffusion 1.4、Kandinsky 3、Openjourney、Stable Diffusion XL；GenAI-Bench 抽 30 条 prompt，种子 1 到 100 产日志。
• 指标与判定：ASR、扰动的 ℓ2 与 ℓ∞、攻击耗时。论文未给出 ASR 的形式化定义，也未报告重复次数、置信区间或 LLM 评审。成功与否按 bandit 轨迹是否被劫持来报告。

主结果

表格较宽，可左右滑动

设置	攻击	ASR	扰动 ℓ2	出处
合成，UCB，线性与非线性	OSA、Trajectory-Free、Full Trajectory	100%	未报告	Figure 1
T=100，ε-greedy 与 ETC	本文攻击	100%	未报告	Table 1
Fast–Slow，corruption=0.5，K∈{3,5}，T=1000，d=1000	训练前改权重	100%	≈ 0.3	Figure 5、正文
ε-contamination，正文 ε=0.15	训练前改权重	100%	approximately 0.2	正文；Figure 6 另给网格
Image Reward 与 Aesthetic，OSA	真实日志	落在 90–100% 的概率约 80%	未报告	Section 4.3、Figure 3

• 作者称 OSA 的构造时间在对数轴上更短；Figure 1 图注未给秒数。Table 1 中线性行多为 00:00，非线性 ε-greedy 为 00:12 到 00:22，ETC 为 00:03 到 00:09。
• 作者把两种鲁棒算法上的结果解释为：这些算法假设对手在交互中改已实现奖励，而本文在训练前改权重、且接触不到运行环境。Figure 6 的网格是 T∈{100,1000}、K∈{3,5}、d=1000、α=0.1、σ=1；正文未按格分开报告范数。
• Figure 3 图注写两个配置，未说明配置内容。附录 J 的一条 Aesthetic 轨迹中，未攻击时 UCB 持续选 SD3，OSA 后选 Openjourney。附录 F 称随机初始化网络的 ASR 分布与 Figure 3 相近，未给百分比。

维度与防御

• 维度：Figure 2 左的设置是 T=100、K=3、ASR=100%。作者称 ℓ2 与 ℓ∞ 随输入维下降；低维时 OSA 相对 Optimal 有小间隙，维数升高后间隙变小。各维范数和间隙数值未写出。附录 H 用 PCA 投到三维（T=100，D=1000，K=3 或 4）；作者称扰动不是 w 的简单反向。转写文本看不到散点位置。
• 防御：执行前打乱一段日志。Figure 2 右打乱前 T/2；Figure 8 另测 T/4 与 3T/4。作者称打乱比例增大后攻击更难成功。打乱后的 ASR 数值未报告。
• 随机噪声与宽度：Figure 4 右，无扰动时 ASR 约为 25%；加大随机 ℓ2 后，作者称 ASR 仍接近该水平。Figure 4 左，T=100，隐层宽超过 750 后 ASR 达到 100%。作者称宽度不够时线性近似不成立；低于 750 的 ASR 未在正文列出。

其他消融与分析

• OSA 约束数：T 从 10 到 100,000，K=3 与 K=5，作者称按 O(log T) 增长（Figure 7）。
• ETC 的 m=5；ε-greedy 初始 0.1、下限 0.01（附录 D）。
• 合成网络：100 epoch、batch 1024、学习率 10^{−3}、训练/验证 80%/20%（附录 E）。
• 真实大模型只动一小部分权重；该子集规模未报告（Section 4.3）。
• 负面结果：随机噪声不能替代定向攻击（Section 4.6）；作者称防御只是部分缓解。

作者指出的局限与后续方向

论文没有单独的 Limitations 节。明确写成未完成或超出范围的有：

• 完整防御：作者称所提防御只在一定条件下部分缓解，完整防御仍开放，并作为后续方向（引言 Defense 段）。
• OSA 理论：作者称 OSA 的完整理论分析超出本文范围（Section 3）。
• 分布类：作者猜想 near-product 测度上可以有更一般的范数结果，但超出本文范围（Section 3.2）。

实验覆盖范围

• 算法包括 UCB、ETC、ε-greedy、Fast–Slow 与 ε-contamination（Section 4.1、4.4、4.8）。
• 奖励模型包括线性、单隐层 ReLU、Image Reward、Aesthetic Model，以及附录 F 的随机初始化网络。
• 真实日志来自五个生成模型，GenAI-Bench 的 30 条 prompt、种子 1 到 100（Section 4.3）。
• 防御实验打乱日志的 T/4、T/2 与 3T/4（Figure 2、Figure 8）。
• 论文未报告 ASR 的重复次数、打乱后的 ASR 数值、真实模型被改参数子集的规模，以及各输入维上的扰动范数。

作者研究离线 bandit 在奖励模型被事先改权重时，还会不会选出最优臂。

• 问题：生成模型评测常把公开权重的奖励模型接到 UCB 等算法上，用固定日志代替反复在线采样。作者关心攻击者只改权重、不改样本、不插手训练时，能否劫持选臂。
• 方法：把指定轨迹或避开最优臂写成 UCB 分数约束，对线性奖励解最小 ℓ2 扰动的二次规划；足够宽的网络用 NTK 收成同类规划。OSA 只在最优臂即将领先时加入亚军约束。作者给出高维下的可行性，以及全轨迹扰动范数随维度下降的界。摘要把 d≥KT 归于 Theorem 3.3；正文 Theorem 3.3 写的是 d>(T−K)(K−1)，d≥KT 出现在 Theorem 3.4。
• 结果：合成数据上，UCB 的三种攻击以及 T=100 的 ε-greedy 与 ETC，ASR 为 100%（Figure 1、Table 1）。Fast–Slow 在 K∈{3,5}、T=1000、d=1000 上 ASR 为 100%，ℓ2 为 ≈ 0.3（Figure 5）。ε=0.15 的 ε-contamination 上，正文写 ASR 为 100%、ℓ2 约为 0.2。无定向扰动时 ASR 约 25%（Figure 4）。作者称随机 prompt 下，Image Reward 与 Aesthetic Model 有约 80% 概率使 ASR 落在 90–100%。
• 结论：作者认为公开奖励权重会使离线评测暴露于这类攻击，输入维越高所需扰动越小；打乱部分日志只能部分缓解，完整防御仍开放。