MEA：面向忠实模型解释的奖励驱动多智能体系统

黑盒分类器需要能用自然语言追问，且解释要能经扰动核对到模型行为，而不是只看起来合理。

• 场景：作者指出医疗、金融、法律等高风险部署中，不透明会妨碍从业者、监管者与终端用户的信任；基础模型还可能给出无依据输出。
• 现有不足：post-hoc 方法各执行固定流程，输出归因向量、热图或超像素，与用户想问的问题无关，还要求会选方法、读高维结果并综合多工具。对话式框架多为手工路由或提示工程，作者称因此不忠实；也未在大规模、多模态数据上评估。作者转述 Kroeger 等：LLM 解释落后于 post-hoc 解释器，且受字母顺序偏差影响。
• 评价缺口：作者称既有对话式系统或只评单一解释类型，或只看简单线性模型，把生成结果当最终输出，没有对照模型行为做验证。
• 作者的判断：前沿 LLM 会系统性给出不忠实解释；前沿智能体在可解释性任务上产生幻觉。作者要把离线忠实性变成在线训练信号。
• 本文提出：MEA，由 Proposer 按问题与模态选工具，Actor 合成跨 tabular、text、vision 的自然语言解释，并用忠实性奖励加模态自适应惩罚做端到端优化。配套十类问题与 MEA-BENCH（六种架构、六个数据集，13K 训练、3.5K 测试）。作者称该问题分类是首个综合的、与模型及模态无关的 taxonomy。

Post-hoc 解释与离线忠实性

• LIME（Ribeiro 等，2016）在实例附近拟合局部线性代理；SHAP（Lundberg 与 Lee，2017）用 Shapley 值归因，并带一致性保证。
• 视觉侧 Grad-CAM（Selvaraju 等，2019）与梯度方法（Sundararajan 等，2017；Smilkov 等，2017）提供像素级信号。
• 作者将研究缺口写为：既有忠实性评价（Li 等，2023；Zhang 等，2025）是离线事后评估，没有工作把它变成在线训练信号，用于多问题、多模态的智能体框架。

对话式与智能体式 XAI

• TalkToModel（Slack 等，2023）用自然语言探查模型行为；ECHO（Vanbrabant 等，2025）把回答锚定在计算出的归因上，而不是参数知识。
• 本文作者写 FAX（Kim 等，2025）把工具使用与忠实性评价结合起来，但面向开放问题，并依赖 LLM-as-a-judge。
• MAIA、OpenMAIA、NeuronScope 用多模态智能体解释内部表征；作者指出它们不是为领域从业者的预测级问题设计。另有 actor–critic 多模态智能体用于多步任务，论文将其放在可解释性之外。

基线与数据

• 基线方法：同一基础设施、执行环境与 XAI 工具集上的 Zero-Shot、CoT、ReAct、ToT；post-hoc 解释器；反事实生成器 DiCE 与 Growing Spheres。结果正文还对照 GPT-5.4、Gemini-3.1；附录表含 Claude-Haiku-4.5。
• 基准/数据集：主实验为 Adult Census Income、Breast Cancer、SNLI、IMDb、CUB-200-2011、STL-10；OOD 为 German Credit、Yelp Review Polarity、CIFAR-10。

作者将本文定位为：用 GRPO 端到端联合优化 Proposer–Actor，以忠实性为奖励，覆盖多种模态与问题类型；并称此前没有工作同时做到这些。

MEA 在共享多模态 backbone θ 上分两步工作：Proposer 先定策略，Actor 再执行工具并写出结构化解释；训练时用扰动忠实性做终端奖励，两步一起更新。

问题设定与十类问题

• 对象：黑盒分类器 f: X→Y。输入为问题 q、实例 x 与预测 ŷ=f(x)。x 可以是图像、token 序列或特征向量。解释要定位与 q 相关的证据：框、token 段或特征键。
• 三类问题：附录 Table 3 列十问。特征归因 Q1–Q4 问哪些部分推动、几乎不影响、区分次优类，或为何两实例预测不同。反事实 Q5–Q7 问遮挡后是否改变、如何改写以翻转预测、改一处后预测如何变。虚假特征 Q8–Q10 问误分类是否来自无关部分、多个误分类实例的共同特征，以及看似相似却预测不同的原因。
• 训练排除：Q8、Q9 只在 ŷ≠y* 上有定义。作者称合格训练样本少，会扰乱梯度估计，故不参与训练，只作未见问题类型的 OOD 探针。

Proposer 与 Actor

• 策略：给定问题类型、模态 m 与 ŷ，Proposer 输出 S=(stype, Tsel, Aauto)。stype 取 autonomous、tools 或 hybrid；Tsel 是该模态工具子集；Aauto 列出 grounding、reasoning、comparison 子任务。附录 A.2 的库包括 Grad-CAM（仅视觉）、Integrated Gradients、Guided Backprop、SmoothGrad、Sensitivity Analysis（text 与 tabular）、LIME、SHAP。
• 执行：Actor 对每个选中工具调用 f 与 x，把热图、token 或特征分数收成文字摘要（状态、描述、关键统计），不把原始张量直接交给生成。tabular/text 返回重要性最高的 25%；vision 把最高 1% 归因坐标收成一个框。
• 输出空间：再在这些摘要上生成 e。Em 为框、token 段或特征列表。附录 A.4 写两角色共用同一 LoRA backbone，只靠不同系统提示区分；附录 A.15 给出完整提示词。

扰动忠实性

• 判据：标出区域 r 后遮挡并重查 f。第 3.4 节的 x−r 为 tabular 零填充、vision 灰填充、text 删段。分数越高越忠实。Q1 为预测类概率下降，且不低于 0：

m₁=max(0,P(ŷ|x)−P(ŷ|x_−r)) Q2 要求遮挡最不相关区域后概率几乎不变。Q3 看 top-1/top-2 间隔是否收窄；Q4 要求不同预测实例的归因图不相似。

• 其余问题：Table 4 中，Q5 检查变化方向是否与 yes/no 一致；Q6 在 vision 上用原预测类概率下降，在 text/tabular 上用目标类概率，与正文式 (6) 的单一写法不同，此处按 Table 4。Q7 看遮挡后智能体所预测的新类概率。Q8 把正确类概率增益除以剩余空间并截断到 [0,1]；Q9 对 N 个误分类实例平均；Q10 比较正确与错误实例的归因图。
• 二值表述：附录 A.3 称 Q3、Q5、Q6、Q7 在条件成立时为 1、否则为 0，同时 Table 4 给出连续公式。Figure 2 的示例分数为 0.396 与 0.980。论文未说明主实验最终采用哪一种计分。

GRPO 与模态自适应惩罚

• 信用分配：每个 episode 含 Proposer 出策略、Actor 出解释两步；工具执行为确定性转移，奖励只在 Actor 结束后计算。组内归一化优势同时加到两步的每个 token：

Â_k=(R_k−mean{R_j})/std{R_j} 作者的理由是：策略选错后 Actor 无法补救，所以两边都要收到信号。

• 防奖励投机：作者指出只优化原始忠实性会出现整图遮挡，以及无差别调用工具。vision 从 mi 中减去 λsize·ρ，ρ 为框面积比，λsize=0.3。全模态再减工具/任务数惩罚，nmax=9，λtool=0.05，结果截断到 [0,1]。作者称 λtool 取得小，是为了不压低训练前分数很低的问题（tabular Q1/Q8 初始化为 0.01/0.04）上的梯度。tabular/text 已有 top-25% 约束，不再加面积惩罚。

实验设置

• 被解释模型：tabular 为 Adult Census Income、Breast Cancer，配 two-layer network 与 TabNet；text 为 SNLI、IMDb，配 lightweight neural network 与 CNN；vision 为 CUB-200-2011、STL-10，配 ResNet-50 与 DenseNet-201。贡献写 12 个数据集–模型组合。OOD 为 German Credit 加三层网络、Yelp Review Polarity 加 BERT、CIFAR-10 加 ResNet-18。
• 智能体：主结果微调 Qwen3.6-35B-A3B，LoRA r=32，3 epochs；学习率 1×10−5，batch size 32，KL 系数 0。每问 K=4 条 rollout，T=1.0，更难类型 K=8；评测 T=0.0。论文未点名哪些类型算更难。主结果用 Hybrid（各模态在 batch 内交错）。顺序训练与 4B 消融用了别的 backbone，见后文。
• 基线：Zero-Shot、CoT、ReAct、ToT，工具集与执行环境相同。另有 post-hoc 解释器，以及 DiCE、Growing Spheres。闭源对照在正文写 GPT-5.4、Gemini-3.1；附录 A.14 写 Gemini-3.1-flash、GPT-5.4、Claude-Haiku-4.5。
• 指标：按 Agarwal 等，用扰动核对解释是否被目标模型行为支持，不是 LLM-as-a-judge。评测节写：vision 灰填充，反事实可用 Stable Diffusion 修复；text 删除或换成智能体给出的反事实文本；tabular 用均值填充或智能体指定值。这与第 3.4 节的 zero-filled 并不相同，论文未说明二者如何对应到各问。
• 规模：前文写 13K 训练、3.5K 测试，结论写 16k。附录 A.5 称各问样本数因预测配置而变，正文未给 Figure 3 的逐格样本量，也未报告主评测重复次数。Table 1 写 Adult Census n=63、Breast Cancer n=44。
• Figure 2 标注：tabular Q1 的 P 从 0.884 到 0.488，分数 0.396；text Q3 从 0.625 到 0.013，分数 1.0；vision Q6 从 0.984 到 0.004，分数 0.980。图中模型名作 TabNN、2LayerNN，论文未说明它们与第 4.1 节架构名的对应。

主结果

作者称 Figure 3 中 MEA 在三模态上分数最高。正文只给出部分对照：

表格较宽，可左右滑动

条件	MEA	对照	出处
tabular 反事实	0.855	Base Agent 0.670	正文 / Fig. 3
tabular 虚假特征	0.997	Gemini-3.1 0.879	正文 / Fig. 3
text 反事实	0.708	Gemini-3.1 0.574	正文 / Fig. 3
vision 反事实	0.598	GPT-5.4 0.328	正文 / Fig. 3

• 作者给出的相对差为 tabular 反事实 +28%、text 反事实 +23%、vision 反事实 +82%。摘要与结论另写相对未训练 backbone 的平均增益为 +28%、+21%、+34%，与上表不是同一组对照；论文未给出这三个平均数所依据的绝对分数。
• 作者称三模态虚假特征分数为 0.997/1.000/1.000，该句未逐项标注模态。附录 Table 14 的 Q10 上，MEA 为 1.000（n=160）；text 上 Gemini-3.1 为 0.996，vision 上 Base Agent 为 0.981。作者称差距最多 0.02，检验得到的差异来自 MEA 在天花板处方差为零。
• 作者称 MEA 在全部问题类型与模态上高于闭源模型以及 CoT、ToT、ReAct。Figure 3 的完整柱值未在正文列出，无法逐格核对。

与专用解释器的对照

• Q1：解释器输出也按 top-25% 特征或 top-1% 像素收成框。Figure 4 正文：tabular 0.195 对 0.150（作者称 +30%），text 0.265 对 0.237（+12%），vision 0.499 对 0.497（p=0.944）。正文未点名该“最高分解释器”。0.499 对 0.497 与 Table 13 中 MEA 对 Guided Backprop 相同。
• Table 13：vision Q1，MEA n=96、均值 0.499。相对 SHAP 0.018（n=59）、LIME 0.259、GradCAM 0.131，作者报告 p<0.001；相对 Integrated Gradients 0.481、Guided Backprop 0.497、SmoothGrad 0.496，p 为 0.661、0.944、0.935。Sensitivity 无评测数据。
• Q6，仅 tabular：Table 1 中 Adult Census 的翻转率为 MEA 100.0%、DiCE 100.0%、Growing Spheres 98.4%，平均 faithfulness 为 0.894、0.631、0.499。Breast Cancer 翻转率为 95.5%、97.7%、81.8%，faithfulness 为 0.886、0.580、0.412。作者称翻转率相当、faithfulness 更高；Breast Cancer 上 MEA 的翻转率低于 DiCE。

分布外泛化

Table 2 为训练时未见的数据集与架构，按问题组平均。Base 是未做 GRPO 的 Proposer–Actor。

表格较宽，可左右滑动

模态·问题组	Base	MEA	出处
Tabular overall	0.379	0.581	Table 2
Tabular 特征归因	0.447	0.783	Table 2
Text overall	0.625	0.689	Table 2
Text 反事实	0.860	0.770	Table 2
Vision overall	0.448	0.576	Table 2
Vision 特征归因	0.621	0.583	Table 2
Vision 反事实	0.246	0.521	Table 2

• 未列入的行都是 MEA 更高：tabular 反事实 0.422→0.499、虚假特征 0.264→0.349；text 特征归因 0.428→0.563、虚假特征 0.639→0.778；vision 虚假特征 0.416→0.624。作者称 tabular 总体 +53%、其特征归因 +75%，vision 反事实 +112%，并把两处低于 Base 归因于还需要按模态调超参。
• 留出的 Q8、Q9（Table 5）：tabular 总体 0.081→0.106，但 Q9 为 0.024→0.019；text 总体 0.116→0.186；vision 总体 0.069→0.034，Q8 为 0.068→0.050，Q9 为 0.070→0.023。作者认为没有该训练信号时，vision 上的虚假特征泛化仍然困难。
• Q11：taxonomy 之外的概念归因，用 CAV 在表示空间做正交消去，120 问（cub_resnet 与 cub_densenet）。Table 7 均值 0.0316 对 0.0373，作者称约 18%；类翻转 5/120 对 4/120。

提示稳健性与 Critic

• Table 15 的配对检验中，9 个问题组×模态里 8 个 p>0.05。vision 反事实是例外：复述 0.614、MEA 0.539，Δ=+0.075，p=0.026。作者认为该类可能受益于更多训练多样性。正文写复述与原文相差在 1% 以内，并举例 vision 特征归因 0.686 对 0.692；Table 15 对应格为 0.686 对 0.693。
• 推理时 Critic（附录 A.9）低于 MEA：text 反事实 0.644 对 0.876，vision 反事实 0.439 对 0.569。tabular 虚假特征上，Agent+Reflection 为 0.514，低于未训练 base 的 0.677，MEA 为 0.997。作者称端到端 RL 的增益大于推理时批评。

其他消融与分析

• 顺序训练用 Qwen3-VL-30B-A3B-Instruct：tabular checkpoint 为 0.632；接着训 text 后，Q3 从 0.326 到 0.264，Q6 从 0.780 到 0.728；vision 的 batch reward 从 0.512 到 0.578（附录 A.6）。
• Hybrid：A.6 写 902 steps、3 epochs，reward 从 0.313 到 0.594；A.14 写主 Hybrid 约 93 GRPO steps、组大小 128–256。论文未说明两处步数如何对应。
• 4B（Table 11，1 epoch）：overall 从 0.419、0.403、0.142 到 0.671、0.575、0.508（tabular/text/vision）。vision 虚假特征从 1.000 到 0.955。
• 策略模式（Table 10，约 500 问，含 Q1–Q7 与 Q10）：MEA 自由选择 0.748，仅工具 0.731，仅自主 0.668；Base 仅工具 0.589，自由选择 0.516。Q6 上 MEA 自由选择 0.822，仅工具 0.766，仅自主 0.782。
• 捷径检验（附录 A.12，Adult Census 上的 TwoLayerNN，verification_flag 与标签约 90% 相关）：测试准确率 0.939；一致行（89.7%）准确率 0.981，不一致行（10.3%）为 0.575。Table 12：特征归因 0.407 对 0.626，反事实 0.653 对 0.941，Q10 0.725 对 1.000。Q1 上应点名该列时，MEA 12/13、base 9/13；Q2 上 base 把该列误作最不相关 10/20 次，MEA 为 0/20。
• Q10 的其余闭源分数（Table 14，MEA 均为 1.000，n=160）：text 上 GPT-5.4 0.733（n=157）、Claude-Haiku-4.5 0.665（n=158）；vision 上 GPT-5.4 0.921（n=156）、Claude-Haiku-4.5 0.855（n=160）、Gemini-3.1 0.979（n=159）。

作者指出的局限与后续方向

• 任务与工具库：MEA 目前限于分类任务和固定工具库（第 6 节）。
• 评测协议：基于扰动的协议与同类方法一样，对分布偏移敏感（第 6 节）。
• 后续工作：扩展到其他任务、其他工具库和其他忠实性信号，作者称为有希望的未来工作（第 6 节）。
• 捷径实验的范围：作者把该发现限于所测的单一偏差注入设计和 tabular 模态，并写明没有直接测试 vision 上的水印类捷径，或被放大的真实敏感属性（附录 A.12）。

实验覆盖范围

• 主训练与主评测 backbone 为 Qwen3.6-35B-A3B；4B 消融为 Qwen3.5-4B、1 epoch、300 LoRA steps；顺序/混合曲线比较使用 Qwen3-VL-30B-A3B-Instruct（第 4.1 节，附录 A.6、A.11）。
• 主实验被解释的是六个数据集上的六种架构；OOD 另有 German Credit、Yelp Review Polarity、CIFAR-10 及对应的三层网络、BERT、ResNet-18（第 4.1 节、第 5 节、Table 2）。
• 数据规模在前文为 13K 训练与 3.5K 测试，结论写 16k。Q8、Q9 不参与训练。Q11 在 CUB-200-2011 上评 120 问（第 1、3、5 节，Table 7）。
• 对照包括 Zero-Shot、CoT、ReAct、ToT、post-hoc 工具、DiCE、Growing Spheres，以及 GPT-5.4、Gemini-3.1、Claude-Haiku-4.5。post-hoc 对照限于 Q1；DiCE 与 Growing Spheres 限于 tabular 的 Q6（第 5 节，Table 1、Figure 4）。
• 附录 A.13 报告了部分 Welch 与配对 t 检验。论文未报告 Figure 3 各格样本量与主评测重复次数；附录 A.5 只说明各类样本数随构造条件变化。附录 A.6 与 A.14 对 Hybrid 步数分别写 902 与约 93，论文未说明对应关系。

MEA 是一个奖励驱动的双智能体，用来给黑盒分类器的单次预测写自然语言解释，并检查解释能否被扰动后的模型行为支持。

• 问题：高风险场景中的模型不透明。固定流程的 post-hoc 工具不随用户问题变化，对话式系统又多为免训练路由，缺少跨模态、多问题的在线忠实性信号。作者称前沿 LLM 会给出不忠实解释。
• 做法：十类问题覆盖特征归因、反事实和虚假特征；Q8、Q9 留出。Proposer 在自主推理、工具和混合模式中选策略，Actor 把工具摘要收成特征、词段或框。GRPO 以扰动分数为终端奖励，vision 另罚大框，全模态罚工具数量。主结果在 Qwen3.6-35B-A3B 上用 Hybrid 训练。
• 结果：作者称相对未训练 backbone 的平均 faithfulness 增益为 tabular +28%、text +21%、vision +34%。正文另报 tabular 反事实 0.855 对 Base Agent 0.670，text 反事实 0.708 对 Gemini-3.1 0.574，vision 反事实 0.598 对 GPT-5.4 0.328。Q1 上 tabular、text 高于文中最高的 post-hoc 分数，vision 与之同为约 0.50，且与多种梯度工具的检验 p>0.05。
• 例外：未见数据上，text 反事实 0.770 低于 Base 0.860，vision 特征归因 0.583 低于 0.621。留出的 vision Q8/Q9 总体也低于 Base。Breast Cancer 的 Q6 翻转率 95.5%，低于 DiCE 的 97.7%，但 faithfulness 更高。
• 作者的结论：学会解释比提示去解释更有原则；智能体可以作为通向 ML 可解释性的接口。作者同时把当前范围写为分类任务、固定工具库，以及对分布偏移敏感的扰动协议。