研究者提出闭环偏见注入攻击，可将 LLaDA-8B 的 BBQ 目标差距从 1.8 提升至 16.7 个百分点

这篇论文试图解决扩散语言模型（dLLMs）在推理部署阶段面临的定向偏见注入（targeted bias injection）安全风险。

• 场景与重要性：开源扩散语言模型（如 LLaDA、Dream）在文本生成质量上已能够匹配同规模自回归模型，正被考虑用于招聘筛选等高风险决策场景；然而，因其训练语料相似，此类模型同样存在携带社会偏见的问题。
• 现有方法的不足：以往针对偏见的研究大多聚焦于权重训练带来的偏见，或自回归模型中基于提示词、固定残差流转向的开环干预；而开环转向预先假定已知模型响应，对不同样本无法自适应调节强度，容易导致顽固样本无效或敏感样本输出破坏。
• 核心观察与假设：自回归模型仅在输出 token 最终提交时暴露一次预测分布；而掩码扩散语言模型在最终提交之前，每个未决 token 位置都会在去噪步骤中被反复重预测，使内部激活和未决答案概率构成了可被利用的动态反馈通道。
• 论文提出的方案：论文提出了基于闭环比例-积分（PI）控制器的目标偏见注入方法，攻击者在去噪过程中持续监测目标选项概率并动态调整残差流转向强度，在不修改模型权重和用户提示词的前提下诱导模型输出偏见答案。
• 威胁模型：
  • 受害系统：服务商通过 API 部署的冻结扩散语言模型，在面对本应弃权的歧义问题时输出回答。
  • 攻击者知识：具有灰盒（gray-box）权限，无法查看模型权重、无法计算梯度或进行模型训练。
  • 攻击者能力：控制服务栈中能够在推理阶段向残差流注册前向钩子（forward hooks）的受损组件，可读取残差激活、通过钩子注入有界偏移量，并读取采样器本身计算的中间答案 token 概率；权重、提示词及采样器均保持不变。
  • 攻击者目标：在正确答案为弃权的歧义问题上，驱动模型选择攻击者指定的受保护群体选项（target），拉大其与对照选项（comparator）的选择率差距。

激活引导及其控制理论视角

• 对比激活添加与表征工程：ActAdd（Turner et al., 2023）与 CAA（Rimsky et al., 2024）通过提示词对或对比均值差构建残差流引导方向；ITI-C（Li et al., 2023）在注意力头层面编辑激活，Suau et al. (2024) 采用神经元抑制（AurA），Rodríguez et al. (2025) 则通过最优传输映射（Mean-AcT、Local Gaussian AcT）控制生成。
• 特洛伊激活攻击：Wang & Shu (2024) 在自回归模型中植入引导向量以诱发不安全行为，本文威胁模型沿用了该工作所设定的服务栈前向钩子接口。
• PID 激活引导：Nguyen et al. (2026) 将沿网络层深度的引导向量构建视为比例控制，并引入积分与微分项（PID Steering）；论文指出该工作控制的是沿网络深度的静态构造，而本文控制的是沿时间步去噪轨迹的动态演变。

扩散语言模型的控制与安全攻击

• 离散扩散模型的推理控制：Shnaidman et al. (2026) 在反向扩散中沿固定方向消除激活成分以抑制拒答；Avrahami & Nachmani (2026) 在每步将表征与参考序列对齐；Zhou et al. (2026) 依据属性涌现时机调度干预；论文指出这些方法均在生成前固定干预或采用开环形式，未使用目标概率作为反馈。
• 扩散语言模型对抗攻击与防御：Wen et al. (2026) 提出 DIJA 利用掩码跨度诱导越狱，Ma et al. (2026) 提出 MaskForge 自动化搜索该结构；Zhang et al. (2025) 提出 PAD 引导并行解码；Singh (2026) 重新掩码已提交的拒答 token；Li et al. (2026) 提出 DiffuGuard 防御去噪循环；这些工作主要通过提示词或解码调度诱导有害遵从，而非通过激活注入人口统计学偏见。

语言模型社会偏见评测

• 歧义问答与污名放大基准：Li et al. (2020) 与 BBQ（Parrish et al., 2022）通过欠指定问题测试模型对刻板印象的依赖；SocialStigmaQA（Nagireddy et al., 2024）评估生成模型是否放大社会污名；Mo et al. (2026) 提出 TrustLDM 针对语言扩散模型评估偏见并发现恶意上下文会加剧偏见。

对比基线与评测基准

• 基线方法与数据集：论文实验对比的引导基线包括 CAA、ActAdd、Mean-AcT、Local Gaussian AcT、ITI-C、AurA 放大与抑制变体，以及层级 PID 引导；评测基准采用 BBQ 歧义子集和三选项版本的 SocialStigmaQA。

与现有工作的定位区别

• 作者将本文定位为利用扩散语言模型去噪轨迹作为推理时攻击的反馈通道，在不修改权重、提示词或采样调度的情况下，通过单一方向的闭环动态调节诱发目标偏见。

论文提出了闭环目标偏见注入（closed-loop targeted bias injection）框架。该方法分为离线与在线两部分：离线时在残差流中提取单一对比偏见方向，在线时利用比例-积分（PI）控制器在扩散去噪步骤中跟踪未提交答案的目标概率并动态调节注入强度（Figure 3、Algorithm 1）。

离线偏见引导方向拟合

• 对比类均值差方向：利用 M 对不参与最终评估的留出问题，分别填入目标群体选项文本和对照群体选项文本生成补全，避免直接使用选项字母导致方向绑定到展示位置。
• 层位置与单位化：在第 14 层（block 14）计算两类补全在答案 token 上的残差流激活均值差向量，经 L2 范数归一化后获得固定单位方向向量 v̂（Equation 3）。
• 极性处理：在 SocialStigmaQA 上，针对 Yes 偏见和 No 偏见两类样本在非种族条目上分别拟合方向，以安全答案作为对照。

去噪过程中的在线概率感知

• 多选题答案位置监测：提示词要求输出选项字母 A、B 或 C，答案位于首个生成位置；攻击者根据条目元数据获知目标群体对应的选项字母 a*。
• 目标答案概率计算：在每个去噪步 t，传感器读取首个生成位置尚未提交时的未归一化 logits 并求得目标字母概率 pt，将不带空格前缀和带空格前缀的 token 概率相加；初始步 p0 经一次全掩码的前向传播探针获得。

比例-积分（PI）控制律与激活注入

• 闭环控制律公式：在去噪步 t，控制器跟踪设定点 s*，利用前一步概率计算误差 et = s* - pt-1 及累积误差 It = It-1 + et，计算裁剪后的引导强度：

α_t = clip(K_p e_t + K_i I_t, 0, α_max) 该式表示比例项响应当前概率差距，积分项响应历史累积误差，当未裁剪强度超出 [0, \alpha_{\max}] 时冻结累积误差以防止积分饱和（anti-windup）。

• 残差流注入公式：在去噪步 t 的前向传播中，将强度乘方向偏移量加至所有层的全部位置（包含提示词 token）：

h_ℓ^(t) ← h_ℓ^(t) + α_t v̂,   ℓ = 0, …, L − 1 该式表示将标量强度 α_t 调制的固定方向向量直接叠加于冻结模型的每一层残差流激活上。

• 操作参数选择：在 LLaDA-8B-Instruct 上，设定点设为 s* = 0.9，增益设为 (Kp, Ki) = (3, 0.1)，上限截断 \alpha_{\max} = 6（基于 100 条校准样本选定）；PID 变体引入微分项 Kd = 1。

Token 提交机制与局部线性理论响应

• 提交时界（Commitment Horizon）：以 32 token 响应和 64 步去噪为例，采样器在前 32 步每步提交一个 token，之后不再提交；首个答案位置在提交步锁定后，后续控制命令无法再改变该答案。
• 局部线性模型推论：作者在理论上建立局部线性模型 pt = \gamma pt-1 + b \alpha_t + d（Assumption 1）；证明了若采用常数强度，各样本存在各自的达到设定点阈值，当最大阈值超过保持输出连贯的最大强度时，不存在能兼顾所有样本的单日常数（Proposition 1）；而 PI 控制律能在参数稳定区间内使积分状态自适应收敛至各样本阈值并消除稳态误差（Proposition 3）。

实验设置

• 被测模型：主实验模型为 LLaDA-8B-Instruct（32 token 单块生成，64 步去噪，温度 0，低置信度重掩码）；跨模型测试包括 Dream-v0-Instruct-7B 和 LLaDA-MoE-7B-A1B-Instruct（16 层，dmodel = 2048）。
• 数据集与规模：主任务为 BBQ 的 400 条歧义 Black 目标问题，每条在 3 种选项轮换下评估（共 1,200 个提示词）；扩展至 Arab、Old、Asian、Latino、White 等目标；SocialStigmaQA 采用重构的三选项版本（518 条条目，3 次轮转共 1,554 个提示词）。
• 基线方法：CAA、ActAdd、Mean-AcT、Local Gaussian AcT、ITI-C、AurA（放大/抑制）、开环调优（α = 4）、匹配均值开环（α = 3.28）、静态单题开环（基于 p0 及后验 oracle）、层级 PI。
• 指标定义：目标选择率 Tgt. (%)、对照选择率 Cmp. (%)、弃权率 Abst. (%)、严格无效输出率 Inv. (%)、目标-对照组差距 Gap (pp) = Tgt. - Cmp.、以及相比未引导基线的差距变化 ∆g (pp)。
• 评审方式：严格解析器（strict parser）要求输出必须以选项字母开头并后接空白、标点或字符串结尾，无效输出计入所有指标分母；SocialStigmaQA 另包含语义解析器（semantic parser）。
• 重复与置信区间：BBQ 采用 10,000 次 prompt-level 及 item-clustered 配对 bootstrap 计算 95% 置信区间；SocialStigmaQA 采用 10,000 次 template-clustered bootstrap。

主结果

下表展示了 LLaDA-8B-Instruct 在 BBQ Black 目标上的主要评测结果（据 Table 1）：

Swipe horizontally to read the table

注：据 Table 1；表格省略了 Mean-AcT、Local Gaussian AcT、ITI-C、AurA (suppress)、Static α per item（from p0 及 hindsight）、Layer-wise PI。

• 攻击效果提升：作者报告闭环转向将目标-对照组差距提升至 16.7 pp，比最强的固定强度基线（4.6 pp）高出三倍以上，且 95% 置信区间完全高于所有基线（Figure 6）。
• 生成质量代价：闭环攻击伴随一定文本连贯性代价，PI 的严格无效输出率为 7.8%（未引导模型为 0%），且除 AurA 抑制外所有干预均降低了弃权率（即基准准确率）。
• 校准独立性验证：作者称移除用于选定增益的 100 条校准样本后，其余 300 条样本上的差距仍为 16.2 pp，领先各基线至少 12.1 pp（附录 A.5）。

反馈调节与开环消融对比

• 测试内容：将闭环 PI 控制器与采用相同方向和注入位置的开环常数、匹配平均强度的开环、基于初始探针 p0 设定的静态常数、以及后验 oracle 静态常数进行对比（Table 1）。
• 实验结果：应用控制器平均强度（3.28）的匹配开环仅达到 3.5 pp 差距，且导致 20.8% 输出损坏；后验 oracle 静态常数在同等均值下仅达到 8.4 pp 差距与 13.4% 无效输出率；Decode PI 达到 16.7 pp 且无效输出率为 7.8%。
• 作者解读：作者认为单日常数无法兼顾所有样本，大部分增益来自去噪过程中的动态自适应调节，而非预先为每个样本静态分配强度；78% 的序列在去噪中至少下调过一次控制命令（附录 C.7）。

跨目标与跨基准迁移评测

• 测试内容：在 LLaDA-8B 上测试向 Arab、Old、Asian、Latino、White 等目标的迁移，以及向 SocialStigmaQA 基准的迁移（Table 2、Table 3）。
• 实验结果：BBQ 上 Arab 目标取得 22.3 pp 差距（∆g = +22.5 pp，无效输出率 9.7%），Old 目标取得 31.8 pp 差距（∆g = +37.2 pp，无效输出率 9.3%）；在 SocialStigmaQA 上，严格解析器下 PI 将偏见选项选择率提升至 58.1%（∆g = +83.8 pp，无效输出率 17.4%），语义解析器下无效输出率降至 1.4% 且 ∆g 达到 99.9 pp。
• 作者解读：作者认为攻击能有效迁移至其他偏见目标和基准；但 Asian（93.8% 无效）、White（96.1% 无效）和 Latino（59.6% 无效）因无效输出率超出 15% 阈值，被作者认定为攻击失败（附录 C.2）。

跨模型泛化与防御抑制实验

• 测试内容：在 Dream-7B 与 LLaDA-MoE-7B 上测试攻击迁移，并将设定点设为零（s* = 0）测试同构闭环作为偏见抑制防御的效果（Table 3、Section 4.5）。
• 实验结果：Dream-7B 上 PI 受限于保持连贯的强度边界（\alpha_{\max} = 1），取得差距 7.5 pp（∆g = +4.2 pp，无效输出率 0.0%），领先 ActAdd 0.8 个百分点；LLaDA-MoE 上 CAA 取得差距 25.6 pp（∆g = +22.6 pp），而 PI 为 23.3 pp（∆g = +20.3 pp），CAA 领先 2.3 pp；防御实验中，s* = 0 控制器将 BBQ Black 目标差距维持在 0.2 pp（无效输出率 1.8%）。
• 作者解读：作者指出跨模型结果存在分化；LLaDA-MoE 上常数引导更优是因为各层残差流模长跨度达 405 倍导致全层干预失效，只能在单层施加，此时调优常数已能兼顾样本；防御实验证实了反向控制的数值稳定性，但因原始差距仅 1.8 pp，未能证明其能消除严重既有偏见。

其他消融与分析

• 校准集剔除：剔除 100 条校准样本后的 300 条样本上，Decode PI 的 ∆g 为 14.1 pp（Table 4）。
• 额外样本集：三组额外的 400 条独立样本抽取中，剔除重合后 ∆g 分别为 16.4、14.7、17.0 pp（附录 C.4）。
• 传感器大小写：Arab 目标加入小写字母 token 后，平均命令从 4.56 降至 3.60，∆g 变化为 -3.8 pp（95% CI [-8.5, 0.8]）（Table 4）。
• 解析器敏感性：Old 目标开环（α = 4）在自然语言回退解析器下无效输出率从 19.0% 降至 7.5%，差距从 25.8 升至 30.8 pp，而 PI 保持 31.8 pp（附录 A.6）。
• 选项位置偏差：PI 在目标位于位置 A 时的差距为 39.5 pp，而在位于 B 和 C 时的平均差距仅为 5.3 pp（Section 4.5）。

作者指出的局限与后续方向

• 超参数选择依赖评估数据：控制器增益在 400 个主要样本中的 100 个上选定，且若干针对特定目标的引导强度也是在评估数据上选取的（Section 6、附录 A.5）。
• 多选题形式与单 token 读取限制：研究仅测试了从选项字母概率中读取信号的多选题；对于目标缺乏单一 token 可供测量的自由生成形式尚未进行测试（Section 6）。
• 污名机制的特异性尚未确立：SocialStigmaQA 上的结果展示的是答案选择控制能力的迁移，而非专门针对种族污名本身的特异性引导机制（Section 6、附录 C.8）。
• 理论分析依赖局部线性假设：控制理论推导属于局部近似模型，并假设 token 最终提交前的响应关系为线性（Section 6、附录 D.1）。
• 防御抑制评估环境较为单一：反向抑制实验仅在未引导模型原始偏见差距已接近于零（1.8 pp）的设置下测试，未验证其缓解显著既有偏见的能力（Section 4.5、Section 6、附录 C.5）。
• 后续探索方向：作者提出将偏见注入攻击扩展至自由文本生成，以及在服务层测试针对前向钩子等接口的防御机制（Section 6）。

实验覆盖范围

• 模型覆盖范围：实验测试了 LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct 共 3 个开源扩散语言模型。
• 基准与人口统计目标：评估覆盖了 BBQ 基准中的 6 个人口统计目标（Black、Arab、Old、Asian、Latino、White）及 SocialStigmaQA 中的 7 类种族污名。
• 样本规模与轮换协议：BBQ 主实验基于 400 条歧义问题，在 3 次选项位置轮转下进行 1,200 次提示词测试；SocialStigmaQA 测试 518 条条目共 1,554 次提示词。
• 对比基线种类：包含了 CAA、ActAdd、Mean-AcT、Local Gaussian AcT、ITI-C、AurA、层级 PID 引导及 4 类开环消融设置。
• 未报告的测试维度：论文未报告商业闭源模型 API 场景、非选项式自由长文本生成、多轮对话或工具调用场景下的实验结果。

• 研究定位：该论文揭示了扩散语言模型（dLLMs）去噪轨迹作为推理时控制通道的新型安全脆弱性。
• 解决的问题：针对冻结扩散语言模型在推理服务栈可能遭受的灰盒操控风险，研究攻击者如何在不更改模型权重、提示词及采样器的情况下，操纵模型在歧义问题上输出指定受保护群体的偏见回答。
• 核心方法设计：提出了闭环目标偏见注入方法，离线提取残差流中区分目标与对照选项的均值差单位向量，在线去噪过程中通过比例-积分（PI）控制器实时跟踪未提交答案的目标概率，动态调节注入残差流的引导强度。
• 核心实验结果：
  1. 在 LLaDA-8B-Instruct 的 BBQ Black 目标上，Decode PI 将目标-对照组差距从未引导的 1.8 pp 提升至 16.7 pp（∆g = +14.9 pp），而固定强度开环仅达 4.6 pp（Table 1）。
  2. 在 SocialStigmaQA 上，Decode PI 将偏见选项选择率从 17.6% 提升至 58.1%（严格解析器下 ∆g = +83.8 pp，Table 2）。
  3. 跨目标测试中，LLaDA-8B 在 Arab 和 Old 目标上分别取得 22.3 pp 和 31.8 pp 的偏见差距（Table 3），但在 Asian、White、Latino 上因无效输出率过高（59.6%–96.1%）导致攻击失败。
  4. 跨模型测试中，在 Dream-7B 上 PI 取得 7.5 pp 差距（∆g = +4.2 pp），而在 LLaDA-MoE 上以 23.3 pp 落后于调优常数 CAA 的 25.6 pp（Table 3）。
• 作者的结论与启示：作者认为模型的公平性不仅取决于权重本身，更是整个部署服务系统的属性；仅针对模型检查点的离线安全审计无法发现此类服务层激活操纵，未来的安全审计应直接针对已部署的推理端点。