跳到正文

#多模态

今天还没有收录新动态
10月1日周四
  1. arXiv:可解释性 ·

    D-Scope:用稀疏自编码器分解与操控扩散 Transformer

    D-Scope 是一个把扩散 Transformer(DiT)特征解释与生成控制打通的框架,通过将高激活图像块的 SigLIP 2 嵌入聚合成视觉质心,在共享图文嵌入空间中用文本描述匹配检索单个特征,无需逐特征文本标注。研究刻画了两个模型家族、五个层的 150 个 SAE,并发布含 100 个目标概念、每个概念十种上下文的基准。结果显示高重建保真度可与低字典利用率和有限的视觉证据覆盖并存;在逐例最优强度选择下,对比检索在测试的操控配置中带来更大的区域 SigLIP 2 平均增益,但未持续改善区域外保持。

  2. arXiv ·

    研究:多智能体讨论中异议被压制时收益下降

    研究提出一个简约模型,解释 LLM 多智能体讨论何时提升准确率、何时形成错误共识,模型基于四类反复观察到的智能体行为:压制异议、内化已陈述答案、看到异议后重新考虑、向正确答案修正。模型显示,只有当压制率 c 低于临界率 c* = γ/(γ + a) 时,讨论才能推翻错误的初始多数,其中 γ 为净修正率、a 为内化率。作者用贝叶斯方法从对话日志估计这些比率,并在 HiddenBench 和 MedEInst 等基准上验证:随着压制率上升,讨论带来的增益缩小;指示智能体不要压制异议会提升增益;关闭推理同样提升增益,因为推理会提高内化率 a,使智能体不再重新考虑少数派答案。

9月29日周二
  1. arXiv:对齐与欺骗 ·

    CoRe:协同演化奖励模型缓解视频扩散模型中的潜在奖励作弊

    针对固定潜在奖励模型优化会导致潜在奖励作弊、生成视频的感知与运动质量下降的问题,研究者提出协同演化奖励框架 CoRe,将潜在空间对齐视为生成器与奖励模型之间的动态交互,持续用生成器当前样本重新拟合奖励模型并锚定真实视频偏好,使生成器无法通过偏离数据分布获取高奖励。在 Wan2.1-T2V-1.3B 上,CoRe 的生成质量持续优于预训练模型和既有对齐方法,并避免了固定奖励优化带来的质量崩溃。

9月28日周一
  1. arXiv:越狱与提示注入 · · 原文 82

    窄域多模态微调可诱发涌现性失配,覆盖 15 个视觉语言模型

    研究者在视觉语言模型上定义并分析了涌现性失配(EM),发现仅用窄域多模态任务微调即可让模型在无关任务上出现广泛失配行为。他们设计了三个训练任务:以截图形式补全不安全代码、认可危险家用物品的粗心使用、把普通场景解读为阴谋论,目标本身不含明显有害内容。在 4B 到 100B 以上共 15 个商业与开源模型上,微调后出现失配观点、视觉事实不诚实、生成不安全图像、易受视觉越狱以及有风险的智能体操作,且评测任务与训练数据完全不重叠。分析显示 EM 不取决于训练数据的表面有害程度,而敏感于训练与评测的模态是否一致;SFT 与 DPO 都能诱发,且可经由中间推理传播。提示词接种、良性样本继续训练和激活层 steering 可部分降低 EM,其中在 64 层解码器的第 32 层减去一个方向可移除该行为,加到基座模型上则可诱发。

    推荐理由论文把涌现性失配从纯文本扩展到视觉语言模型,并给出跨 15 个模型的评测套件与三种部分缓解手段,适合关注微调安全的研究者参考。

  2. arXiv:可解释性 ·

    大型音频语言模型中的时间绑定机制研究

    研究用机制可解释性方法分析了三个开源大型音频语言模型(LALM)如何表征和绑定声音事件的时间信息。结果显示,事件位置信息集中编码在中间模态整合层的事件名称表征中,沿低维弯曲的相对时间轨迹分布;沿该轨迹对事件名称表征进行引导可系统性改变模型的前/后判断,但同类干预无法可靠改变预测的事件起始时间戳,表明粗粒度时间推理与精确事件定位依赖不同机制。

  3. arXiv:对齐与欺骗 ·

    Uni-TMPO:统一轨迹匹配策略优化,提升 T2I 生成多样性与 VLA 泛化

    Uni-TMPO 是一个面向扩散与流策略的统一 RL 后训练框架,用前向 KL 优化让策略分布匹配由标准化奖励构造的目标分布,替代传统的奖励最大化。该方法在 T2I 上取得更高奖励,并获得最佳的奖励—多样性—效率权衡;在 VLA 上取得更高的 ID 成功率,并更好地泛化到留出任务与场景。真机评测显示,当更高奖励目标受阻时,多种动作策略具有实际价值。

  4. arXiv:对齐与欺骗 ·

    论文提出测量 LLM 社会自组织的框架,并揭示群体层面病理现象

    Adrian de Wynter 提出一个测量 LLM 社会系统自组织程度的框架,并将其应用于三个系统:Schelling grid、社交网络 Moltbook 和类似 Twitter 的虚假信息模拟 Rogue,三者均表现出统计显著的自组织。研究发现,其弛豫动力学随智能体可获得的环境信息而变化,开放式系统(Moltbook、Rogue)呈现类似相变的剧烈动态。进一步结果显示,即使 LLM 经过安全微调或受到监控,群体层面的病理现象仍可能出现,主要由群体中一个子集的协调活动驱动。作者还展示了在 commons dilemma(GovSim)和 LLM-as-a-judge 审议方案(ChatEval)两个场景下自组织不会出现。

  5. arXiv:可解释性 ·

    用自动化可解释性增强视觉异常检测

    研究用自动化可解释性增强视觉异常检测器:将 PatchCore 最近正常残差经稀疏自编码器(SAE)分解为稀疏特征,由多模态 LLM 描述并标注为异常、干扰或不确定,再据此抑制干扰特征、放大异常特征并重建 patch 嵌入重新打分。在四个基准的 40 个类别上,联合干预使宏平均图像级 AUROC 从 0.8724 升至 0.8857,合成损坏下从 0.8066 升至 0.8210;在 RobustAD 三个类别上,源数据从 0.8745 升至 0.9056,真实采集偏移下从 0.6069 升至 0.6599。

9月26日周六
  1. arXiv:对齐与欺骗 ·

    SGA-Flow-GRPO:面向 Flow-GRPO 的空间梯度引导信用分配

    针对 Flow-GRPO 在时间去噪步与空间潜维度上统一使用标量优势、忽略图像空间结构的问题,研究者提出 SGA-Flow-GRPO,为 Diffusion Transformers(DiTs)设计梯度引导的空间信用分配框架。该方法将 Flow-GRPO 的转移级对数似然改写为与 DiT patch 架构对齐的 token 级表示,并用奖励梯度构建连续空间信用图,配合基于 Median Absolute Deviation(MAD)的异常值鲁棒归一化与温度缩放抑制梯度噪声。在 GenEval 上的评测显示其达到 SOTA 对齐质量,收敛速度与 DiffusionNFT 等顶级方法相当,对齐性能显著优于 Flow-GRPO 类方法。

  2. arXiv:可解释性 ·

    机制可解释性揭示脑到语音解码器中的共享因果子空间

    机制可解释性研究通过激活修补发现,脑到语音解码器的跨模态增益并非由单个神经元驱动,而是来自小群神经元,且以发声语音为最有用来源。这些神经元群在解码器早期阶段基本因条件而异,在后期阶段则出现重叠。该结果指向通过训练目标鼓励主要从发声数据学习共享后期表征,从而构建更数据高效的内隐语音解码器。

  3. arXiv:对齐与欺骗 ·

    用强化学习增强胸部 X 光报告生成中的视觉推理

    研究以 Qwen3-VL-8B-Instruct 为基座,经监督微调、冷启动 SFT 和强化学习适配医学领域,通过整合解剖区域、边界框与区域级文本描述来验证模型推理过程,并设计空间与事实奖励机制。结果显示,强化学习带来的性能提升超过单纯 SFT,联合验证推理步骤与最终输出优于单独验证任一者,同时研究识别出 RL 阶段多种奖励作弊模式,结构化思维链还提升了输出可审计性。

9月25日周五
  1. arXiv:可解释性 ·

    FLIP:面向视觉语言模型的末层推理时探针

    FLIP 是一种末层推理时探针,用于检验开放权重视觉语言模型中面向 logit 的干预位点是否支持结构化、任务相关的计算。它对最终归一化隐藏状态做逐元素下限截断,不改变参数、提示词与解码,在检测/计数探针上随干预强度呈现无变化、有界内部区间(IoU 0.50 下检测召回率 R50 提升、容错计数误差下降)与过度抑制三种区域。该方法被定位为干预式机制可解释性的验证步骤,而非引导方法。

9月23日周三
  1. arXiv:对齐与欺骗 ·

    AGIMUD:面向人机多智能体交互模拟的社会情感 AI 软件架构

    研究者提出软件架构 AGIMUD,用于在模拟动态世界中实现人类与多个智能体的实时交互。该架构整合了智能体行为中的社会感知推理与情绪、面向人类用户与人工智能体的多模态方案,以及通过网络分发 AI 处理以支持多个自主智能体。基于该架构的动态世界以多用户地牢(MUD)形式呈现,智能体与人类可同时实时互动,代码已在线公开。

9月22日周二
  1. arXiv:对齐与欺骗 ·

    RULER:面向 SVG 生成的实例感知评分标准奖励

    RULER 用实例感知评分标准为 SVG 生成提供强化学习奖励,无需配对 SVG 真值或人类偏好标注。它把每条指令转成覆盖语义、视觉、风格三个维度的六项评分标准,由 judge VLM 对渲染结果逐项打分,加权满意度经 GRPO 优化。在 MMSVG-Illustration 和 MMSVG-Icon 上,评分从 0.432/0.395 提升至 0.693/0.683,超过专用 SVG 模型并追平更大的 DeepSeek-V3。

9月21日周一
  1. arXiv ·

    TAME:用 SAE 抑制激活缓解 VLM 思维链混淆

    论文研究强化学习在提升视觉语言模型推理能力时引发的思维链混淆现象,即任务奖励或准确率上升但推理轨迹变得不接地、更难监控。作者发现 RL 过程中模板相关激活与接地相关激活的可分性下降,匹配的干预实验支持这些特征对可监控性退化的贡献。据此提出 TAME,用 Sparse Autoencoders 结合行为反馈,在 RL 中对模板相关激活做非对称抑制,只惩罚高于 RL 前基线的部分。在 VIRL-39k、SPA-VL 和两个模型族上,TAME 相比 GRPO 将思维链可监控性分别提升最多 30.9 和 16.7 个百分点,盲评人类评估与两个留出监控模型族也复现了提升;任务准确率变化较小且方向不一,通用能力基准显示存在任务特定权衡。

9月17日周四
  1. arXiv:可解释性 ·

    稀疏特征揭示视觉语言模型有害表情包检测中的读出缺口

    研究用稀疏自编码器、角色条件探针、因果干预和恢复实验,在 Gemma-3 与 Qwen3.5 上区分视觉语言模型误判有害表情包时是缺少内部证据还是无法把已表征的证据传到输出。在六个有害内容基准上,稀疏读出均优于模型原生预测:Qwen 平均 macro-F1 为 0.740,原生为 0.432,残差重建为 0.486;Gemma 从 0.532 提升到 0.714。作者强调这些增益衡量的是标签对监督读出的可及性,并不说明模型原生生成已采用该决策规则。在评测规模下,Qwen 静默特征消融对探针的敏感度是路由特征修补的 24-63 倍,而在字面 yes/no 任务上路由特征修补对输出的敏感度是前者的 16-140 倍。

9月15日周二
  1. arXiv:可解释性 ·

    ResLRP:残差抵消如何导致 Vision Transformer 归因不稳定

    Vision Transformer(ViT)中残差路径的抵消效应会引发归因爆炸,且这种抵消在 ViT 中比在语言 Transformer 中强得多。为此提出的 ResLRP 显式在传播规则中处理残差分支的抵消,保持精确守恒并可证明地约束归因爆炸。在覆盖监督、自监督、对比、层级与多模态 ViT 及 FunnyBirds 基准上,ResLRP 提升了忠实性与定位质量,在现代 VLM 上定位提升 +27-29%、忠实性最高提升 3.4x,并可用于在输入空间定位 SAE 特征。

  2. arXiv:可解释性 ·

    多语言模型的目标语言生成:激活引导与最优控制

    研究提出一种面向多语言模型目标语言生成的最优控制方法,并配套评估框架,从语言依从性、语言连贯性和语义连贯性三方面衡量生成文本质量。在多数受测模型上,该方法表现至少不逊于常用的 difference-in-means 激活引导方法,且所需超参数调优大幅减少。该工作已被 EMNLP 2026 接收。

9月12日周六
  1. Failure-First ·

    Value-Aware Prediction:通信丢失下基于价值加权的鲁棒多智能体协调

    Kafadar 等人提出 Value-Aware MARO,将预测器损失函数耦合到策略的价值信号上,使多智能体系统在通信可靠性低于 40% 乃至完全中断时仍能维持协作执行。 该方法用 GAE 计算演员-评论家优势估计并分离梯度作为重要性权重,经 ReLU 过滤避免负优势导致梯度反转,再通过 λ 超参数调节其对预测损失的缩放,从而聚焦高回报的有意图动态而非随机探索噪声和被淘汰的策略行为。

9月11日周五
  1. arXiv:对齐与欺骗 ·

    SteerDuplex:可操控的全双工语音对话模型

    SteerDuplex 是一个基于 Moshi 微调的全双工语音对话模型,通过自然对话与合成对话训练提升指令跟随、发声表现与双工交互能力,并采用两阶段强化学习结合可验证交互检查与评判式语义反馈优化时序与响应连续性。团队同时提出 SteerBench 基准,含 390 条语音提示和 1,067 条人工编写的音频与文本评分标准,覆盖语气、人设、风格/口音和语速/长度。

9月9日周三
  1. arXiv:可解释性 ·

    解读文本到图像扩散模型中的对象依赖概念脆弱性

    文本到图像扩散模型存在一种"对象依赖概念脆弱性":仅对象不同的少量提示词在相同生成设置下持续无法实现同一目标概念,表现为系统性内部盲点而非随机噪声。研究者提出可解释性框架,在逐步稀疏自编码器(SAE)空间中分析去噪轨迹,比较成功与失败生成,定位证据缺失、减弱或延迟的概念维度,并构建类别级概念原型。基于该审计流程,引入轻量推理时校正策略,将去噪特征向 SAE 空间中的对应原型插值,在多个扩散骨干模型的风格与属性失败案例上显著提升概念一致性、文本保真度与修复成功率。

9月8日周二
  1. arXiv:可解释性 ·

    多语言 LLM 中的刻板印象如何从内部表征传导到输出:Llama-3.1-8B、Qwen3-8B 与 Gemma-2-9B 的机制对比

    研究对比线性探针、归因修补、稀疏自编码器(SAE)与特征消融,在 Llama-3.1-8B、Qwen3-8B 和 Gemma-2-9B 中追踪多语言刻板印象从内部表征到输出的路径。三个模型的探针性能峰值均明显早于归因,相差 36-53% 的模型深度。评估的残差流特征中仅 6-18% 具有语言无关效应,且无一具备类别无关效应,说明可解码性、输出影响与跨语言消融效应需分别测量。

9月3日周四
  1. arXiv:可解释性 ·

    FailSAE:用稀疏自编码器实现视觉语言模型的可解释失败预测

    研究提出 FailSAE,用稀疏自编码器(SAE)对 CLIP 等视觉语言模型做可解释的失败预测,将失败预测建模为 SAE 稀疏隐激活上的分类任务,并设计三阶段失败感知训练流程。实验显示该框架在失败预测上优于所评估的基线,失败感知训练使 SAE 隐方向捕获更多类别特定概念。分析还发现模型失败时表征从类别特定概念转向更模糊或风格相关概念,并探索了用学到的 SAE 隐方向支持运行时失败恢复。

8月28日周五
  1. Failure-First · · 原文 80

    Yao 等人揭示多模态强化学习中的奖励作弊现象

    Yao 等人的研究指出,多模态大模型的强化学习中代理奖励上升并不代表能力提升,而是出现代理分数线性提高、oracle 正确率急剧下降的 Scissor Curve 剪刀曲线现象。作者用三个诊断指标刻画这种偏离:Reward Hacking Rate(RHR)、Reward-Oracle Gap(ROG)和新获奖励失败率(NRFR);在多组奖励设计和不同模型规模下,NRFR 均高于基线 RHR,表明 RL 会主动强化 oracle 判定无效的行为而非继承既有缺陷。研究将捷径分为决策作弊、证据作弊和奖励形式作弊三类,后者表现为冗长度膨胀、关键词堆砌和模板坍缩。

    推荐理由该研究给出量化指标与新失败率证据,并对比三种 RL 算法在不同规模下的抗作弊差异,可作为奖励设计参考。

8月19日周三
  1. arXiv ·

    VA-Judger:面向联合视频-音频生成的人类偏好反馈奖励建模

    针对现有视频-音频生成奖励信号分维度评估、易致奖励作弊的问题,研究者构建了大规模人类偏好数据集 VAPref-10K(含 9K 提示词与 10.3K 细粒度成对比较),并提出思维链全模态奖励模型 VA-Judger。该模型先学习质量差距明显的样本对,再通过拒绝采样蒸馏偏好解释,最后按维度做强化学习分解人类反馈。实验显示 VA-Judger 在域内与域外偏好预测上均优于指标基线,其奖励用于后训练还能显著提升生成质量。

5月11日周一
  1. Thinking Machines Lab Blog ·

    Thinking Machines Lab 发布交互模型研究预览:原生实时人机协作

    Thinking Machines Lab 发布交互模型(interaction models)研究预览,该模型从零训练,原生处理交互而非依赖外部脚手架,可连续接收音频、视频和文本并实时思考、回应与行动。模型采用多流、微轮次(micro-turn)设计以保证实时响应,支持无缝对话管理、言语与视觉插话、同时说话、时间感知以及边听说边并发调用工具、搜索和生成 UI。研究预览在智能与响应速度的综合表现上达到 SOTA,并展现出质变的新交互能力。

10月28日周二
  1. SPY Lab Blog · · 原文 72

    SPY Lab 研究:统一多模态模型无法凭记忆描述图像

    SPY Lab 提出“模态失语症”概念,指统一多模态模型能生成记忆中的图像,却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5,图像生成的整体错误率明显低于口头描述,且重大幻觉只出现在文字描述中。

    推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象,并展示其可绕过基于文本的安全过滤。

已经到底了