当指向变成画像：文本可引导视觉编码器中的社会偏见与拒答

核心问题：文本可引导（text-steerable）视觉编码器的"指向"接口是否会把语言中的刻板印象注入到它指向谁，以及模型能否对不该回答的提示词拒答。

• 场景与重要性：SteerViT 这类模型在冻结的 ViT 上注入自由文本提示，输出按提示词条件化的热图和全局特征，一个模型即可完成指向、检索和分割。作者认为，当提示词的指称无法从画面判断时，模型仍必须指向某处，而这个"指向谁"是关于人的决定。
• 现有研究的缺口：作者称，以往的偏差审计研究的是双编码器的标签或字幕输出、检测/分割模型的准确率差异；以往的拒答（如 GRES）只覆盖"目标不存在"的指称性情形。没有工作审计文本条件化定位模型的人口属性路由，也没有覆盖"人在场但查询要求刻板推断"的应拒答情形（Table 1）。
• 核心观察：作者报告，发布版 SteerViT 中 "the person" 84.6% 选中男性，crime 词比 occupation 词更常选中黑人，"the man" 在四名女性中 75.6% 选中黑人女性，"the monkey" 选中黑人；这些不在骨干网络的无引导显著性里，也不在冻结文本编码器里，而是随引导强度增长、经最后两层 cross-attention 进入。
• 论文提出什么：一套用于文本引导定位的反事实审计协议（合成马赛克加两个真实多人数据集）；一个区分"物体缺失拒答"与"公平性拒答"的基准；以及 SafeSteer——在同样 23M 引导参数上增加可学习拒答输出并做反事实不变性训练的修复方法。
• 审计对象设定（非攻击/防御论文，按论文自己的研究问题写）：
  • 被测系统：公开发布的 SteerViT 模型（主模型为 DINOv2-B/14 骨干），以及 CLIPSeg、Grounding-DINO、SAM 3、Qwen2.5-VL 四个定位参照模型。
  • 关心的风险：模型按感知种族/性别路由注意力（人口画像），以及对缺失物体或需刻板推断的提示词无法拒答。
  • 测量条件：反事实马赛克（四人仅差一个受保护属性、四种轮转）与真实多人照片；提示词的指称在画面中不存在或不可见。

视觉-语言模型中的社会偏差

• Agarwal et al. [1]——发现 CLIP 在零样本分类中把黑人面孔分到非人类类别、把男性分到犯罪类别。
• 字幕与 VLM 研究 [15, 30, 6]——字幕模型放大性别偏差且"理由错误"；VL-BERT 中文本线索压过视觉证据；训练数据本身携带刻板印象。
• 去偏方法 [10, 5]——从文本嵌入中投影掉偏差方向，或对抗学习去偏提示词 token。论文指出这些都研究双编码器或生成器的标签/文本输出，而本文研究可引导编码器"指向哪里"，危害由引导机制引入而非继承自联合嵌入空间。

检测、定位与分割中的公平性

• FACET [14]——论文称其为最接近的真实图像公平性基准，测量跨感知属性的准确率差异；SAM 的自审计 [18] 报告各组准确率大致持平。论文指出这些测的是准确率差异，本文测的是提示词条件化指向中的主动刻板印象注入；并称没有先前工作审计文本条件化定位模型（SteerViT、Grounding-DINO、OWL-ViT、SAM 3、Qwen2.5-VL）的人口属性路由。

定位中的拒答

• GRES [20]——给指代分割加 no-target token，目标不存在时不输出掩码；并发工作 [31] 教多模态 LLM 拒绝不存在的指称。论文指出这些拒答是指称性的（物体物理上缺失），本文的拒答针对人在场但查询欠定或诱发刻板印象的情形（"the criminal"、"the Muslim"），并报告置信度信号能处理指称性情形但在公平性情形上差距大。

反事实不变性

• 反事实扰动不变性训练是标准公平性工具，其在反事实定义不良时的局限已知 [26]。论文称本文的反事实按构造匹配（同场景只改一个属性），回避了该问题，并同时用于测量偏差和监督修复；反事实构造借鉴 SocialCounterfactuals [16] 与 PAIRS [12]，交叉性框架借鉴 Gender Shades [7]。

对照与基准：参照模型为 CLIPSeg、Grounding-DINO、SAM 3、Qwen2.5-VL-7B-Instruct；数据集为 SocialCounterfactuals、FairFace、PAIRS、PHASE、Open Images MIAP；效用基准为 RefCOCO 家族与 CORE。

定位：作者称本文在输出（被引导的指向）、危害（引导接口主动注入刻板印象）和拒答情形（人在场的应拒答查询）三个轴上都不同于先前工作（Table 1）。

整体思路分两步：先用反事实审计协议隔离引导接口引入的人口属性路由并定位其来源，再提出 SafeSteer，在同一个 23M 引导参数上同时修复"画像"与"不能拒答"两个失效。

被测模型与审计协议

• SteerViT 结构：冻结 ViT（主模型 DINOv2-B/14）加六层门控 cross-attention（位于 block 1, 3, …, 11），提示词由冻结 RoBERTa-Large 编码、经两层 MLP 连接器映射；patch 上的线性头输出 softmax 热图。只训练 cross-attention 层、连接器和头，约 23M 参数，称为引导适配器。
• 引导强度 ω：每层输出经 tanh(α_l) 门控缩放；推理时把 α_l 替换为 ωα_l（ω∈[0,1]），ω=0 复现冻结骨干，作为无引导对照。
• 反事实马赛克：2×2 网格放四个人，仅差一个受保护属性；每组做四种循环轮转以消除位置先验；记录每人获得的热图质量份额和 top-1。人物来自 FairFace（真实面孔）、SocialCounterfactuals（合成反事实兄弟，控制最强）、PAIRS（跨种族性别的平行场景）；另在未筛选真实照片 PHASE（4,317 张、15,161 人）和 Open Images MIAP（2,886 张混合性别照片）上按人框求和热图质量。
• 提示词与指标：130 个提示词分十个族（中性、视觉、种族词、crime、occupation、trait、wealth、非人类、非视觉受保护属性、20 个日常物体的 null 族）。报告以 "the person" 为参照的中性参照效应；95% bootstrap 置信区间（以马赛克组为单位），Wilcoxon 符号秩检验，Benjamini-Hochberg 校正；CIS 与 SafeSteer 跑三个种子。

安全基准（拒答评测）

• 构成：72 个提示词分四类——benign-present（"the person"、位置词）、visible roles（"the police officer"）、absent objects（"the pizza"）、非视觉敏感属性（"the criminal"、"the Muslim"、"the person with HIV"）；前两类应回答，后两类应拒答。
• 指标：用 AUROC 衡量拒答分数区分两类的程度；论文刻意区分物体缺失情形（no-object 类已覆盖）与公平性情形（敏感属性 vs 可见角色，人都在场），后者是修复目标。

归因方法

• 逐层消融：每次将一个 cross-attention 门控置零，观察偏差指标与定位效用的变化。
• 文本交换干预：固定图像和权重，只改变指定层接收的提示词特征（类似 VLM causal tracing 的 interchange intervention），检验路由是否随提示词走。
• 文本编码器检验：用冻结 RoBERTa 以 WEAT 式方法测 crime 词与 "Black" 的嵌入距离，并用 masked-LM 头验证。

SafeSteer 的设计

• 拒答输出：在 N 个 patch logit 后追加一个由全局特征算出的可学习标量 null logit s∅，对 N+1 项取 softmax，多出的一项即拒答概率（拒答头 769 参数）。
• 不变性与拒答训练：在反事实马赛克上，无视觉理由偏袒任何人的提示词训练为四人均匀分布；指缺失物体或非视觉属性的提示词训练为拒答（25 个基准词加 77 个不出现在任何评测提示词中的额外词）；benign-present 与可见角色训练为不拒答。
• 效用保持：指代批次蒸馏发布版模型的热图；只训练 23M 引导参数加拒答头，4k 步，三个种子。仅去偏变体 CIS（counterfactual-invariant steering）用真值掩码做不变性、无拒答头。
• 策略边界：可见的感知种族/性别可作为指代表达回答（"the Black person" 拒答概率 ≤0.03）；国籍、宗教、犯罪性不可见，任何回答都是凭外貌猜测，应拒答；提示词不适用于任何人时均匀铺开。作者说明策略由训练标签决定，而非方法本身。

实验设置

• 被测模型：发布版 SteerViT 的七个检查点（DINOv2-B、MAE-B、SigLIP-B、SigLIP2-B、DINOv2 comm-S/B/L），主审计对象为 DINOv2-B；参照模型 CLIPSeg、Grounding-DINO、SAM 3、Qwen2.5-VL-7B-Instruct。
• 数据集：SocialCounterfactuals（SC）、FairFace（FF，验证集）、PAIRS 三类马赛克；真实照片 PHASE（4,317 张、15,161 人）与 MIAP（2,886 张）；安全基准 72 提示词四类；效用用 12,922 条 RefCOCO/+/g、LVIS、VG 指代查询与 CORE 检索基准。
• 指标：top-1 率与关联对比（如 crime−occupation，公平值 0）、"the man"→黑人女性（机会值 0.25）、P(woman|"person")（ parity 0.5）、拒答 AUROC、over-refusal（应指提示词上的平均拒答）、指代定位准确率与 CORE P@1。
• 统计：马赛克组为单位，10,000 次 bootstrap 得 95% CI；Wilcoxon 检验，26 个头条检验经 BH 校正后全部 q<0.05；训练模型用三种子 Welch t 检验。
• 重复与种子：CIS 与 SafeSteer 三个种子（mean±std）；参照模型在 SC 上用 300/1,050 组（Table 2 标注）。

主结果

据 Table 3（SC/FF，3 种子；公平值在括号内）：

表格较宽，可左右滑动

指标（公平值）	Released	CIS	SafeSteer
crime−occ, SC (0)	0.092	−0.002	0.014
crime−occ, FF (0)	0.047	0.002	0.016
monkey−dog, SC (0)	0.128	−0.047	0.000
"the man"→黑人女性, SC (.25)	0.756	0.302	0.294
"the person"→woman, FF (.5)	0.154	0.511	0.397
race spread, held-out (0)	0.306	0.120	0.159
"the woman" acc., FF (1.0)	0.977	0.977	0.982

• 作者称发布版存在男性默认（"the person" 仅 15.4% 选女性，ω=0 时为 54.5%）、crime 路由与对黑人女性的男性化解读；SafeSteer 去掉了大部分种族路由且不损 "the woman" 准确率。
• 作者称 CIS 在 crime 路由上去得更彻底（−0.002），SafeSteer 因拒答与不变性共享适配器而残留略多。
• 训练语料中性别中性词 63.0% 指男性，作者称模型把它放大到 84.6%；"criminal"、"thief" 从不出现在训练字幕中。

归因与范围

• 逐层与强度：置零 block 9 使 crime−occ 从 0.092 降到 0.005、"the man"→黑人女性从 0.756 降到 0.395，性别定位保持 ≥0.96（Table 8）；crime−occ 随 ω 增长：0.017→0.055→0.085→0.092（ω=0.3/0.6/0.8/1.0，Table 9）。
• 文本交换：仅给 block 9、11 提示词（其余层给 "the person"）复现 93% 的 crime 对比和 98% 的多余 "the man" 路由；反之去掉 91% 和 71%（Table 7）。
• 文本编码器无此关联：crime 词与 "Black" 的 RoBERTa 嵌入不比 occupation 词更近（d=−0.04, p=0.55）；masked-LM 头一致（0.530 vs 0.520, p=0.35），作者称关联由引导适配器零样本产生。
• 检查点扫描：两个头条种族效应在全部七个检查点上都存在，跨三种预训练目标和两种数据混合，DINOv2-B 最强（Table 2、Table 11）。

真实照片与其他模型

• PHASE/MIAP：3,096 张同时含男女的照片中 "the person" 仅 24.5% 指女性（基准率 48.8%）；MIAP 36.7%（基准率 44.4%）；ω=0 时为 58.7%、45.3%。1,026 张含黑人与他族照片中 crime 比 occupation 多指黑人 2.6 pp（p=1.9e−9）。100 张全女性含黑人女性照片中 "the man" 61.0% 选中她（基准率 42.0%）。
• 四个参照模型：均无 crime 路由（CLIPSeg −0.1 pp、G-DINO −1.0 pp、SAM 3 0.0 pp、Qwen2.5-VL +0.6 pp），"the man"→黑人女性分别为 25.3%、30.5%、42.9%（SC；真实 FF 面孔上 21.9%）、拒答（答 "there are none"）；作者称种族路由是 SteerViT 引导特有的，但 CLIPSeg、SAM 3、Qwen2.5-VL 的职业性别刻板印象更强。

拒答与修复效果

• 发布版不能拒答：热图平坦度区分应指/应拒答 AUROC 0.517（随机水平）；缺失物体上比人在场更尖锐（AUROC 0.31，低于随机）。
• 置信度不够：发布版隐藏 max patch logit 在缺失/在场达 0.880，CLIPSeg 0.883，但公平性情形（"the criminal" vs "the police officer"）CLIPSeg 0.480、logit 0.757；SAM 3 达 0.852 但以过度拒答为代价（43% 可见角色、15% benign-present 被拒），Qwen2.5-VL 拒 82% 敏感词同时拒 51% 可见角色（Table 4、Sec. 5）。
• SafeSteer：应指/应拒答 AUROC 0.997±0.001，缺失 0.995、公平性 0.998、held-out 词 0.998；0.5 阈值下拒 99.8% 训练敏感词、62% held-out 敏感词，对 benign-present 与可见角色零过度拒答（Table 16）。真实 PHASE 照片上非视觉身份提示词拒答率 49% vs 可定位提示词 1.2%（AUROC 0.935）。
• 效用保持：指代定位 0.819±0.001（发布版 0.826），CORE P@1 0.962±0.001（发布版 0.964）；等预算真值掩码微调降到 0.793，作者称是蒸馏保住了定位（Table 17）。仅拒答消融 AUROC 0.988 但偏差维持发布版水平（crime−occ 0.101），说明两个目标都需要。

其他消融与分析

• held-out 提示词：未见过的提示词上每个种族对比至少去掉 80%（crime−occ 0.135→0.026；"the boy"/"the elderly man"→黑人女性 0.605→0.267，Table 15）；例外是 held-out 中性词 "the face"，SafeSteer 的女性份额进一步低于 parity。
• 未见类别：按 16 类词汇留一训练，fold A/B 上未见类别敏感词 AUROC 0.977/0.897（发布版 logit 0.825/0.866，Table 19）。
• 迁移：同一配方迁移到 MAE-B、SigLIP-B 检查点（各分割 AUROC 均 >0.92、零过度拒答）和 CLIPSeg（敏感/角色 0.480→0.974，Table 20、21）。
• 非提示词分类器：同样词上训练的文本探针在 held-out 基准词仅 0.748；文本门加 logit 的两段式管线最高 0.934；SafeSteer 的拒答依赖物体是否在图中（COCO AUROC 0.89），且 12,922 条真实指代查询零拒答（Table 22、23）。
• 性别呈现控制：控制 CLIP 男性化分数、发长、背景亮度后，黑人女性被选中的 odds ratio 仍为 7.6（SC；FF 2.0）；在她既非最男性化也非最短发的马赛克中仍被选 72.6%（Table 24）。
• 其他偏差轴：纹身者被选为 "the drug dealer" +0.430；否定被忽略（"ignore the woman" 仍 82.4%/91.5% 选女性）；男性化误差对黑人女性随引导上升（0.083→0.100），对其他族裔下降（附录 P）。

作者指出的局限与后续方向

• 真实杂乱场景上修复不完全（Sec. 7）：在完全杂乱的自然场景上，crime→Black 路由只被部分降低（PHASE 上 2.6→1.8 pp），男性默认可以迁移；作者认为缩小差距可能需要在 FACET 这类自然图像上做框级监督。
• 拒答与不变性共享适配器带来权衡（Sec. 7）：SafeSteer 残留的 crime 路由多于仅去偏的 CIS；且对真实照片上未见过的国籍和移民类词从不拒答。
• CIS 的副作用（Sec. 7）：仅去偏的 CIS 削弱显式种族词定位（"the Black person"），作者称这是不变性预期内的副作用。
• 发布计划（摘要）：作者计划发布代码、基准和整理后的马赛克集合。

实验覆盖范围

• 被测模型为 SteerViT 的七个发布检查点加四个参照定位模型（CLIPSeg、Grounding-DINO、SAM 3、Qwen2.5-VL-7B-Instruct），共 11 个；SafeSteer 另在 MAE-B、SigLIP-B 检查点和 CLIPSeg 上验证（Sec. L、M）。
• 评测数据覆盖三类马赛克来源（FairFace、SocialCounterfactuals、PAIRS）和两个真实照片集（PHASE 4,317 张、MIAP 2,886 张）；效用覆盖 12,922 条 RefCOCO 家族查询与 CORE 检索（附录 A、I）。
• 种族与性别标签来自数据集标注者按外貌标注或生成提示词设定，非本人自我认同，二元性别类别沿用数据集（附录 A）。
• 训练类结果（CIS、SafeSteer）为三个种子；其他骨干（MAE-B、SigLIP-B）上的 SafeSteer 为单种子，未见类别 fold B 为单种子（Table 19、20）。
• 论文未报告 SafeSteer 训练的计算成本或耗时；参照模型在 SC 上只用 300/1,050 组（Table 2 标注）。

一篇对文本可引导视觉编码器的公平性审计与修复论文。作者问：当提示词的指称无法从画面判断时，SteerViT 会按感知种族/性别决定指向谁吗？它能拒答吗？

• 审计方法：反事实马赛克（四人仅差一个受保护属性、四种轮转消除位置先验）加真实多人照片（PHASE、MIAP），配合逐层门控置零、文本交换干预和冻结文本编码器检验做归因。
• 主要发现（发布版）："the person" 84.6% 选男性；SC 上 crime 比 occupation 多指黑人 0.092；"the man" 在四女性中 75.6% 选中黑人女性；"the monkey" 比 "the dog" 多指黑人 12.8 pp。作者称这些随引导强度增长、经最后两层 cross-attention 进入，文本编码器不含此关联，七个检查点全部存在；四个参照定位模型无 crime 路由。
• 不能拒答：patch softmax 必须归一，发布版区分应指/应拒答的 AUROC 仅 0.517；置信度信号能处理物体缺失（约 0.88）但在公平性情形不超过 0.757，SAM 3 与 Qwen2.5-VL 靠过度拒答可见角色来拒答敏感词。
• SafeSteer：在 N 个 patch logit 后加可学习 null logit 做拒答输出，配合反事实不变性训练（同 23M 引导参数、4k 步）。应指/应拒答 AUROC 0.997，held-out 词 0.998，基准上零过度拒答；crime−occ 降到 0.014、"the man"→黑人女性降到 0.294；定位 0.819（发布版 0.826）、CORE P@1 0.962（0.964）。
• 作者的结论：作者称语言引导把社会刻板印象注入到模型指向的位置，拒绝诱发刻板印象的查询应成为引导接口的一等属性；局限是真实场景上 crime 路由只部分消除、与拒答存在权衡、CIS 会削弱显式种族词定位。