Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2607.24017· Pengkun Jiao, Bin Zhu, Jingjing Chen, Yu-gang Jiang·Indexed by this site · Originally published

多模态大模型注意力中的语义与结构偏差解耦：SPAR 免训练干预方法

Disentangling Semantic Attention from Structural Bias in the Attention Manifold

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

作者提出 SPAR 干预多模态注意力；LLaVA-NeXT 在 GaslightingBench 的否定后准确率为34.04%。

Threat model针对 Induced Hallucination／Gaslighting，用户在两轮图像问答的第二轮加入否定正确答案的误导文本，诱导模型放弃视觉依据。

Questions
作者认为，多模态模型的视觉注意力含有不随文本查询改变的结构偏置，可能稀释语义信号，使生成依赖语言先验，并增加自发幻觉和误导文本诱发的幻觉。
Methods
SPAR 在推理时估计并扣除结构偏置，用视觉特征方差调节扣除强度，再按净化后注意力的稀疏程度决定返还多少概率预算，无需训练。
Experiments and results
Table 2 中，SPAR 提高了两个被测模型的否定后准确率。Table 1 的组合方法降低了 CHAIR 指标，但附录 POPE 分项存在加入 SPAR 后准确率下降的例外。
Limitations and future work
作者未专门讨论局限。主要结果涉及两个模型，另有 InternVL2-8B 注意力分析；重复次数未报告，部分模型名称、图表引用及默认参数结果存在不一致。
Experimental setupLLaVA-1.5-7B、LLaVA-NeXT · GaslightingBench、POPE et al. · Precision、Recall et al.
Threat model
针对 Induced Hallucination／Gaslighting，用户在两轮图像问答的第二轮加入否定正确答案的误导文本，诱导模型放弃视觉依据。防御直接干预模型内部注意力；论文未指定 black-box 等知识设定。
Evaluated models
LLaVA-1.5-7BLLaVA-NeXT
Benchmarks
GaslightingBenchPOPECHAIRMMMUAI2DiagramMMBench
Metrics
PrecisionRecallF1 ScoreAccuracyCHAIR_SCHAIR_IBefore-Negation Acc(%)After-Negation Acc(%)Inference Delaymean end-to-end response time
AI summary研究者提出 SPAR（Saliency-guided Purification and Adaptive Redistribution），一种免训练、即插即用的推理干预方法，用于缓解多模态大语言模型（MLLMs）中普遍存在的结构性偏差。该偏差使模型过度关注语义无信息的视觉 token（即"register"或"Visual Attention Sinks"），导致语义视觉信号被稀释，进而引发多模态幻觉。SPAR 通过净化结构噪声并将回收的注意力预算重新分配给信息量最大的视觉区域，在多个幻觉基准上有效恢复了真实视觉 grounding，且计算开销可忽略。

研究者提出 SPAR（Saliency-guided Purification and Adaptive Redistribution），一种免训练、即插即用的推理干预方法，用于缓解多模态大语言模型（MLLMs）中普遍存在的结构性偏差。该偏差使模型过度关注语义无信息的视觉 token（即"register"或"Visual Attention Sinks"），导致语义视觉信号被稀释，进而引发多模态幻觉。SPAR 通过净化结构噪声并将回收的注意力预算重新分配给信息量最大的视觉区域，在多个幻觉基准上有效恢复了真实视觉 grounding，且计算开销可忽略。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者将视觉注意力异常视为广泛的结构偏置，提出推理时净化与概率重分配。

    核心问题是如何削弱多模态模型中与查询无关的视觉注意力偏置，同时保留语义信号。 作者认为，这种偏置可能让模型优先依赖语言先验，产生与图像不一致的回答。

    • 应用场景：研究同时关注 Spontaneous Hallucination 和 Induced Hallucination／Gaslighting，后者由误导用户文本诱发。
    • 现有方法：作者称，对比解码通常需要多次前向计算；只处理离散 attention sink 的方法没有处理更广泛的结构偏置，并可能增加延迟。
    • 核心假设：作者提出 Semantic-Structural Decoupling（SSD），将观察到的注意力分成语义信号、查询不变的结构偏置和残余噪声。
    • 提出的防御：SPAR 是无需训练的内部注意力干预，通过净化结构偏置并按置信度重分配概率预算，尝试恢复视觉依据。
    • 威胁模型：
      • 目标与系统：误导多模态图像问答模型，使回答偏离视觉事实。
      • 可控输入：两轮对话中，第二轮用户文本否定正确答案，并施加语言压力（附录 E）。
      • 知识设定：论文未指定 black-box、white-box 等术语，也未说明攻击者是否知道 SPAR。

  2. What related research exists?

    相关研究围绕 attention sink、推理时幻觉缓解和否定式 gaslighting 展开。

    作者将 SPAR 定位为处理广泛结构偏置的注意力干预，而非仅移走孤立 sink 的概率质量。

    Attention sink 与视觉 registers

    • Xiao 等（2024）与 Cancedda（2024）：前者讨论初始 token 获得不成比例注意力；后者将首个 token 的偏置归因于其隐藏状态的大范数。
    • Sun 等、Yu 等（2024）：讨论语义较弱 token 上的异常激活或隐藏 attention sink；论文据此指出 sink 不一定固定在输入序列某个位置。
    • Darcet 等（2024）与 Kang 等（2025）：前者报告视觉 Transformer 背景区域的高范数 token；后者研究 MLLM 的 Visual Attention Sink，并提出注意力重分配。

    训练与对比解码

    • Jiang 等、Sun 等（2024）：分别采用幻觉增强对比学习和事实增强 RLHF；作者称这类路线需要额外训练资源。
    • HALC、VCD、Favero 等（2024）：通过配对输出的 logit 对比缓解幻觉；作者称此类方法通常需要多次查询。
    • ONLY（2025）：采用单次查询、单层干预，论文将其作为减少推理计算的相关工作。

    内部注意力与视觉回溯

    • PAI（2024）与 HGAI（2025）：分别增强解码时对图像 token 的注意力，以及利用 attention lens 识别和纠正中间层产生的物体幻觉。
    • CasualMM（2024）与 MemVR（2025）：分别分析注意力因果关系以抑制模态先验，以及在记忆空间回溯视觉输入以核验回答。

    诱发幻觉与实验基线

    • GaslightBench、GasEraser（2025）及 GasVideo（2026）：分别评估语言压力下的视觉问答、重定位异常注意力，以及将否定式 gaslighting 扩展到视频模型。
    • 基线方法与基准：POPE、CHAIR 对照包括 Regular、AGLA、ONLY、VAR；附录 POPE 表另列 VCD、M3ID。GaslightingBench 对照包括提示词强化和 GasEraser。

    作者认为，SPAR 与既有方法的区别在于将结构偏置视为覆盖注意力流形的噪声层，并在扣除后有选择地返还概率预算。

  3. How does the paper address this problem?

    SPAR 先估计并净化结构偏置，再依据注意力稀疏度返还概率预算。

    SPAR 在模型内部修改文本到图像的注意力，以特征方差引导偏置扣除，再用稀疏度控制重分配。Figure 4 给出了这一流程。

    语义与结构的分解假设

    • 结构偏置定义：作者将其定义为对文本查询取期望后仍保留的视觉空间偏好，实际以文本维度上的注意力均值近似。
    • 加性模型：Aobs=Asem∗+λ Astruct+ζ。三项分别代表潜在语义信号、结构偏置和不含区分性语义信息的近似误差或噪声（式 3）。
    • 理论条件：作者在“低视觉 SNR 时，归一化视觉似然趋于不区分候选 token”的假设下，推导后验趋向语言先验；附录 A 给出证明草图。
    • 机制解释：作者以 softmax 单位和约束、指数放大及类似 Pólya urn 的自强化过程解释偏置形成；这些是作者的解释与假设。

    显著性引导的偏置净化

    • 视觉显著性：对每个视觉 token 的隐藏状态计算特征方差，按视觉序列内方差的均值和标准差归一化，再经 sigmoid 得到 S。
    • 偏置模板：对每个注意力头，将文本到图像注意力沿文本维度取均值，得到每个视觉位置的模板 Ā。
    • 净化操作：Ai,jpur=ReLU(Ai,j−λ(1+β Sj)Āj)。按式 12，S 较大的位置扣除量更大，负值被截为零。
    • 设计动机：作者称，直接压制高频注意力可能误删真实视觉信号，并放大低频噪声，因此加入显著性调节。

    置信度控制的概率重分配

    • 稀疏度代理：计算净化后每行最大注意力占该行总注意力的比例，再通过 sigmoid 转为置信度 γ。
    • 返还预算：计算扣除的概率质量 Δ，仅按 γ 返还其中一部分，并对该行净化后的注意力统一缩放。
    • 保留不确定性：作者认为，这比直接重新归一化更能避免放大残余噪声；该置信度来自注意力稀疏度，而非另一个评审模型。

    注入位置与实现设置

    • 模型内部干预：正文为 LLaVA-v1.5 和 LLaVA-NeXT 选择最初两个 Transformer 层，提取各头的文本到图像注意力并替换相应注意力图。
    • 默认参数：λ=1.0、β=1.0、τ_sparsity=0.1；数值稳定项举例为 1e−6。式 13 的 sigmoid 斜率 k 未给出具体值。
    • 误导评测配置：附录 E 采用强化系统指令作为研究基线。附录 E 和 Figure 11 给出完整提示词与攻击示例，此处仅概括其视觉事实优先的作用。

  4. What experiments did the paper conduct?

    主表报告幻觉指标改善，但原始问答能力、POPE 分项和参数表存在例外或不一致。

    实验包括自发幻觉、否定式 gaslighting、组合方法、组件消融及延迟比较。 主结果来自数值表；转换文本无法支持热图空间位置或曲线端点的独立判断。

    实验设置

    • 被测模型：正文列 LLaVA-1.5-7B、LLaVA-NeXT；附录 F 列 LLaVA-1.6-Vicuna-7B，但未明确其与正文名称的对应。附录 B 另分析 InternVL2-8B。
    • 自发幻觉数据：POPE 含 MSCOCO、A-OKVQA、GQA，各有 random、popular、adversarial 子集；附录 C 写每个数据集设置为每图6问、3,000条。CHAIR 使用 MSCOCO 验证集随机500图。
    • 诱发幻觉数据：GaslightingBench 含1,287个选择题样本、20类；扩展到 MMMU、AI2Diagram、MMBench。附录 C 给出的总规模不等同于扩展实验实际使用量，后者未报告。
    • 基线与解码：主表比较 Regular、AGLA、ONLY、VAR、GasEraser及提示词强化；附录 POPE 另有 VCD、M3ID。默认为 multinomial sampling，AGLA、VAR、ONLY 沿用官方配置。
    • 指标与判定：POPE 用准确率、精确率、召回率、F1；CHAIR_I 为幻觉物体占提及物体的比例，CHAIR_S 为含幻觉物体的句子比例。Gaslighting 用否定前后准确率；未报告 LLM 裁判、人工一致性或重复次数。
    • 运行与长度：使用 RTX A6000。Table 1 的 CHAIR 最大生成长度为128，附录 D 的幻觉任务最大响应长度为1,024；论文未解释两者如何对应。

    主结果

    据 Table 2，数据集均为 GaslightingBench；准确率单位为%，延迟单位为 s/it。

    Swipe horizontally to read the table

    模型方法否定前准确率否定后准确率延迟
    LLaVA-v1.5原模型63.2524.710.41
    LLaVA-v1.5提示词强化63.2533.890.41
    LLaVA-v1.5GasEraser61.0740.951.05
    LLaVA-v1.5SPAR63.7141.740.42
    LLaVA-NeXT原模型65.8919.810.81
    LLaVA-NeXT提示词强化65.8924.020.81
    LLaVA-NeXTGasEraser65.0430.581.68
    LLaVA-NeXTSPAR65.3034.040.82
    • 作者解读：作者称 SPAR 以较小延迟代价提高否定后的视觉问答表现。附录 E 说明强化系统指令作为研究基线。
    • 能力例外：作者称否定前能力得到保留或改善；表中 LLaVA-NeXT 的 SPAR 否定前准确率低于原模型。
    • 模型范围：该表没有 InternVL2-8B 或附录名称 LLaVA-1.6-Vicuna-7B 的独立结果行。

    自发幻觉与组合方法

    • Regular＋SPAR：LLaVA-v1.5 在 POPE 的准确率从76.69到85.20，F1 从79.72到85.42；召回率从90.42到85.72（Table 1）。
    • CHAIR 组合：LLaVA-v1.5 的 AGLA＋SPAR 得到 CHAIR_S=33.4、CHAIR_I=11.9；ONLY＋SPAR 为31.4、12.5。VAR＋SPAR 为40.4、12.4（Table 1）。
    • 分项例外：Table 11 的 A-OKVQA random 中，AGLA 准确率86.30，Ours＋AGLA为85.40；Table 12 的 GQA random 中，VAR为89.00，Ours＋VAR为88.70。两表未明确标注被测模型，不能将组合收益概括为所有分项均改善。

    扩展 gaslighting 与效率

    • 跨基准结果：LLaVA-v1.5＋SPAR 在 MMMU、AI2Diagram、MMBench 的否定后准确率分别为27.96、36.77、46.05，三者均高于同表 GasEraser（Table 3／9）。
    • 否定前例外：同一模型在 MMMU 加入 SPAR 后从37.56到36.47，AI2Diagram从49.66到49.08；作者未解释这些下降（Table 3）。
    • 响应延迟：CHAIR 的平均端到端响应时间为 AGLA 8.55、VAR 59.58、ONLY 3.49、SPAR 3.40 s/it（Table 6）；表未写明模型、生成长度，且无 Regular 延迟，不能据此计算额外开销。

    注意力分析与图文对应

    • 结构偏置图：作者称 Figure 1、2、8、9 显示查询不变的空间偏好和早层偏置；当前文本仅保留标签与图注，无法核验热图强度和位置。
    • 动态分辨率分析：附录 B.3／Figure 10 分析 InternVL2-8B 的1,792个视觉 token，并对照 LLaVA-v1.5 的576个 token；作者称早层偏置仍存在，没有报告该模型的 SPAR 幻觉指标。
    • 图文不一致：Figure 3 的(a)坐标写 After Gaslighting Accuracy，(b)写 Instance hallucination rate，图注对自发／诱发顺序的描述相反。附录 J 称误导后答案与假前提一致，但 Figure 12 的职业案例答案并不一致，且方法标成 FAPR。

    其他消融与分析

    • 边缘化来源：Table 4 的 LLaVA-v1.5 仅文本侧、仅图像侧、联合边缘化否定后准确率为41.74、34.28、41.18；表标题未写基准。
    • 组件消融：GaslightingBench 完整 SPAR、去显著性、去重分配、去稀疏度引导的否定后准确率为41.74、35.20、33.91、36.13；Table 5 未写模型。
    • λ 敏感性：GaslightingBench、β=1.0时，λ=0.8的否定前准确率64.25；λ=1.2或1.4的否定后准确率41.77（Table 8，变体行未单独标模型）。
    • 默认参数差异：Table 8 的λ=β=1.0结果为63.79／41.17，Table 2 的 LLaVA-v1.5＋SPAR 为63.71／41.74；论文未解释差异。
    • 层数分析：正文称 SPAR 前两层、GasEraser 前16层达到峰值；引用的 Table 7 实为提示词强化表。Figure 7 无可读取的点值，不能补写峰值准确率。

  5. What are some points that can be further explored?

    论文未专门讨论局限，也未明确提出后续研究方向。

    论文未专门讨论局限，也没有在结论或附录中明确列出后续研究方向。 可核查的证据范围主要来自实验设置、结果表和附录说明。

    作者指出的局限与后续方向

    • 作者说明：Conclusion 重述 SSD 与 SPAR 的设计及结果，没有单列局限或后续计划；正文和附录也未提供可收录的明确方向。

    实验覆盖范围

    • 模型范围：Table 1 为 LLaVA-v1.5，Table 2 为 LLaVA-v1.5、LLaVA-NeXT；附录 B.3 对 InternVL2-8B 做注意力分析。附录 F 声称三个模型，但仅列两项配置，名称对应未解释。
    • 评测范围：定量表覆盖 POPE、CHAIR、GaslightingBench及三个扩展基准。正文还提到 MME 幻觉子集，但所给全文没有其结果表。
    • 误导条件：附录 E 采用两轮否定式 gaslighting，并用强化系统指令作为基线；论文未报告针对 SPAR 调整攻击策略的评测。
    • 样本与判定：附录 C 给出 GaslightingBench、POPE、CHAIR 的规模；扩展评测实际样本量、重复次数和人工一致性未报告，亦未指定评审模型。
    • 理论与实现：Corollary 1 依赖低 SNR 下视觉似然失去区分性的假设；式 13 的 k 未给数值，默认参数的 Table 2、8 结果不同，层数分析的表号引用与实际表内容不一致。

  6. Summarize the main content of the paper

    SPAR 以结构偏置净化缓解视觉幻觉，结果需区分误导后收益与原始任务例外。

    SPAR 是一种无需训练、直接修改多模态内部注意力的幻觉防御。 作者关注视觉信息被查询不变的注意力偏置稀释，以及误导文本进一步推动模型依赖语言先验的问题。

    • 设计：先用文本维度均值估计结构模板，再以视觉特征方差调节扣除量；根据净化后注意力的稀疏度，有选择地返还被移除的概率质量。
    • 诱发幻觉：GaslightingBench 上，LLaVA-v1.5＋SPAR 的否定后准确率为41.74%，GasEraser为40.95%；LLaVA-NeXT 对应为34.04%和30.58%（Table 2）。
    • 物体问答：LLaVA-v1.5 的 Regular＋SPAR 在 POPE 得到85.20的准确率和85.42的F1，原 Regular 为76.69和79.72；召回率则从90.42到85.72（Table 1）。
    • 生成幻觉：LLaVA-v1.5 的 AGLA＋SPAR 在 CHAIR 得到 CHAIR_I=11.9，原 AGLA为14.1；ONLY＋SPAR 的 CHAIR_S=31.4，原 ONLY为49.8（Table 1）。
    • 例外与边界：LLaVA-NeXT 的否定前准确率从65.89到65.30（Table 2）；附录 POPE 也有组合方法准确率下降的分项。默认参数结果和若干图表引用存在不一致。

    作者称，这些结果支持将广泛结构偏置作为幻觉缓解的干预对象，并认为 SPAR 可以补充既有方法；其后验坍缩推导仍以视觉似然失去区分性为前提。

Read originalarxiv.org