MiniRep：面向多智能体辩论的鲁棒声誉聚合方法

历史声誉能否在恶意智能体改行为或协同作答时，仍可靠地指导多智能体辩论（multi-agent debate, MAD）的集体决策。

• 场景：作者称 LLM 智能体正进入开放生态，跨提供方互操作协议与声誉登记（如 ERC-8004 Reputation Registry）按历史任务结果或反馈打分。MAD 中多个智能体对同一查询作答、辩论并聚合成最终输出；同一任务使行为可比较，也使声誉直接决定对集体决策的影响。
• 现有不足：作者认为经典声誉用过去行为估计未来可靠性，但 LLM 智能体任务依赖强，且具有自主性、记忆、工具使用和互操作。只看历史表现时，自抬声誉（self-promoting）与协同（orchestrated）攻击都能操纵聚合；强大模型可先诚实积累高声誉，再在后续任务注入错误答案。作者称 MAD 漏洞尚无统一分类。
• 核心观察：当前任务上的证据应能降低智能体的影响力，即使它已有很强声誉；同一底层 LLM 的克隆组（clone group）不应被当成独立声誉来源。
• 威胁模型：
  • 目标：对手 A 使 MAD 输出偏离“全体智能体诚实时”会产生的输出。
  • 知识与控制：对手控制固定集合 B ⊆ P，每轮至多 f 个；任务 t 可激活任意子集 Bt ⊆ B。恶意智能体始终参与并按时提交；提案对客户端与全体智能体一致可见，任务上下文（含公共证据）相同，但候选答案可任意偏离诚实答案。恶意方可先诚实积累声誉，再在自选时刻开始攻击。
  • 受害系统：MAD 的 Decide 聚合阶段；智能体跨任务保持持久身份。系统使用四类信息：提案、ctx 中的公共证据、由提案导出的可观察属性、以及已知的 clone-group mapping。
  • 作者称的假设：跳过提案不能直接把对抗内容注入聚合；在有注册表的受管生态中，身份、提供方或模型信息可暴露，故 clone-group mapping 可用。
• 本文提出：攻击分类（声誉系统攻击与软件测试变异算子）以及 MiniRep，一种面向恶意智能体的声誉聚合：同时评估当前任务行为与长期声誉，并防止高度相似响应的群体主导最终决策。

论文在引言与 Related Work 中把相关工作分成三类，并在实验里对照七个聚合或声誉基线。

• 智能体与 MAD 攻击：Greshake et al. (2023)、Debenedetti et al. (2024) 研究经数据读取的间接提示注入；Yang et al. (2024)、Chen et al. (2024b) 把后门植入记忆或知识库；Shapira et al. (2026)、Deng et al. (2025) 讨论经交互传播的社会工程。MAD 还多一条通道：智能体可被推向错误多数（Amayuelas et al., 2024）。Table 1 把分类中的攻击与已有机制对应：Ko et al. (2026)、Cui et al. (2026) 的从众与错误传播；Kraidia et al. (2026) 的说服性候选论证；Hu et al. (2026) 的共谋；Park et al. (2026) 的先建信任再注入；Liu et al. (2025) 的操纵单个智能体。作者注明这些研究并不明确以智能体声誉为目标。
• 单任务或历史权重防御：Zheng et al. (2026) 用提示词与隐藏状态探测答案置信，以在单次实例中容忍拜占庭多数；Chen et al. (2024a) 用区块链记账配合多指标答案评估，覆盖一次协调；Ebrahimi et al. (2025) 从过去问答贡献学习智能体权重。作者称 MiniRep 把当前提案的质量与风险、持久声誉和克隆组控制合在一起。
• 经典声誉及其不能直接迁移：Resnick and Zeckhauser (2002) 汇总交易反馈；Kamvar et al. (2003) 在交互历史上传递信任；Jøsang and Ismail (2002)、Herbrich et al. (2006) 用统计模型表示声誉；Mui et al. (2002)、Huynh et al. (2006) 系统化开放多智能体的信任与声誉。Hoffman et al. (2009)、Koutrouli and Tsalgatidou (2012) 按被攻击组件分类；Douceur (2002) 描述无中心权威时的 Sybil；Srivatsa et al. (2005) 的 TrustGuard 用 PID 式更新应对策略性振荡。作者给出两条不迁移的理由：辩论里可见结果只是聚合答案，单个智能体贡献观察不到；从众压力和伪造共识会让错误结果看起来合理，单靠结果信号分不开诚实与对抗。Ren et al. (2026)、Lou et al. (2026)、Chishti et al. (2026) 以及部署中的登记（De Rossi et al., 2025; Xiong et al., 2026）被作者认为沿用了基于结果的假设。
• 基线与数据集：MAD 聚合基线为 Uniform Majority（Kaesberg et al., 2025）、Uniform Random-k、Single-Metric；声誉基线为 EigenTrust、Beta Reputation、TrueSkill、Babylon。数据集为 GoEmotions、MATH（levels 4–5）、HumanEval Pro。

作者称 MiniRep 只借用两类经典成分：Jøsang and Ismail (2002) 式的带先验统计更新，以及 Srivatsa et al. (2005) 式对近期负面行为的快速反应；反馈层本身被重建为每轮多信号行为证据，并在聚合之前采取行动。

MiniRep 只替换 MAD 的 Decide 阶段，Propose 与可选 Debate 沿用已有流程。它包含 Response Analyzer、Reputation-Aware Aggregator 和 State Updater（Figure 1）。朴素声誉聚合直接用历史权重：

ŷ^naive_t = Agg({v_i,t}_{i∈ P}, ctx_t; w^hist_t)

即全体智能体按历史权重聚合。作者用一道 MATH 例说明：正确答案为 (3, −1) 时，三名高声誉恶意智能体提交 (3, 1)，若其历史权重之和高于其余七人，朴素加权投票会输出错误答案。MiniRep 在聚合前先评估当前提案。

问题设定与攻击分类

• 协议：任务序列 t，智能体集合 P，|P|=n。任务 τt=(ctxt, χt)，ctxt 为对所有人公开的证据。提案 vi,t=(ci,t, ρi,t)。经过 R 轮辩论后，Agg 先选合格池 Pt⊆P，再结合上下文与持久状态 σt−1 得到最终回答；无状态规则省略 σt−1。
• 三类攻击（Table 1）：随机协同、优化协同、多样共谋改变同一任务内提案如何构造与协调；On-off 与 Adaptive 先积累声誉再攻击，属 self-promoting；算术运算符与边界值攻击用变异算子改动本可诚实生成的提案。附录给出示例所说明的是这些攻击如何实例化，此处不复述载荷。
• 主实验约束：n=10，f=3，k=7，R=0。所有方法重放同一份缓存提案，把聚合与任务内辩论隔开；声誉仍跨任务演化，包括 OnOff 与 Adapt 的时间表。

Response Analyzer

• 输入输出：提案、公共证据和 clone-group mapping；输出质量、风险、有效性和阻断信号。公共证据可以是题面、给定事实或函数规格，不使用标准答案或隐藏测试。
• 质量：公共支持分结合提案间一致性与答案分布；同一克隆组的提案不计为独立证据。语义核验由小语言模型完成，实验中为 1.5B 模型，估计提案相对任务是否正确。
• 风险与阻断：多层感知机（MLP）行为模型检查当前提案中的指令覆盖迹象；若有辩论修订，还检查跨轮意外变化。无法抽出候选答案，或共享检测器结合正确性与行为信号将其标出时，该提案在当前任务被阻断。精确规则在附录 B.1.3。

Reputation-Aware Aggregator

• 校准：用当前质量相对其他有效提案的位置、当前风险证据和已记录的行为风险，调整历史权重。被阻断的提案、近期可疑的智能体、以及抽不出答案的响应额外降权。因此高历史权重本身不保证当前影响力。精确加权与克隆组规则在附录 B.2.1。
• 选择与聚合：先限制每个克隆组的总影响，使同一底层模型的多个实例不被当作独立声誉来源；再按所得权重选出 k 个智能体进入 Pt，并确定池内权重。最终为

ŷ_t = Agg({v_i,t}_{i∈ Pt}, ctx_t; {w_i,t}_{i∈ Pt})

任务相关的 Agg 在附录 A.2。若 Pt=P 且直接使用历史权重，则退回朴素声誉聚合。

State Updater 与状态

• 更新时机：答案 ŷt 确定之后才运行，因此 σt 不影响任务 t 的答案。无效或格式不良的响应不提供新的质量或风险观测。
• 记录：分别维护长期质量、近期质量和已检测的可疑行为。长期与近期质量由该智能体以往有效提案的 qi,t 计算；持续高质量逐步提高声誉，可疑行为降低其对后续任务的影响。符号表给出长期质量为 Beta 式先验、强度 12，短期质量为非对称 EMA（0.30/0.08）。更新后的记录决定下一任务的历史权重 wi,t+1^hist。
• 与基线的差别：有状态方法共享任务后的质量反馈；MiniRep 还在聚合前使用当前任务信号。比较的是完整聚合流程，包括当前任务筛选和 GoEmotions 读出，而不是单独的声誉组件。

实验设置

• 数据：GoEmotions、MATH levels 4–5、HumanEval Pro。每个数据集固定同一组 100 个任务（Table 2）。指标分别为 exact-match accuracy 与 sample F1、mathematical-equivalence accuracy、Pass@1。作者称报告描述性点估计；strict win 指观察到的分数更高，不是统计显著性。指标定义在附录 C.3。
• 智能体：由七个 API 可访问 LLM 实例化，按各数据集单独的独立得分从强到弱排序；正文未给出这七个模型的名称。四种组合：all strong、7-strong+3-weak（7S+3W）、all weak、random。模型排名与十人池构造在附录 C。
• 攻击网格：n=10，f=3，k=7，R=0。四种植入：B（较高排名）、W（较低排名）、R1 与 R2（两次随机）。七类攻击加干净运行。每种组合 28 个攻击条件，每个数据集 112 个。攻击只在 attacked run 中发动。
• 基线：UMaj、URand、Single；Eigen、Beta、TS、Babylon。URand 与 Single 分别是池大小和简单历史反馈的对照。所有方法重放同一缓存提案。
• 评审：按数据集指标对聚合输出打分，论文未写 LLM 评审或人工一致性。附加的留出攻击与组合分析在附录 D.1、D.2。

主结果

Table 3 为干净运行与 112 个攻击条件的平均任务分数（%）。最佳基线按干净与被攻击分别选取。

表格较宽，可左右滑动

数据集 / 指标	干净最佳基线	MiniRep 干净	被攻击最佳基线	MiniRep 被攻击
GoEmotions / accuracy	21.50（Beta）	21.75	19.59（Beta）	21.16
GoEmotions / sample F1	36.42（UMaj）	34.42	34.87（Beta）	33.94
MATH / accuracy	59.25（UMaj）	66.75	54.37（Beta）	61.95
HumanEval Pro / Pass@1	79.50（UMaj）	77.75	77.92（Eigen）	78.15

据 Table 3。

• 作者解读：MATH 上干净准确率高于最佳基线 7.50 个百分点；干净 GoEmotions F1 与 HumanEval Pro Pass@1 分别低于最佳基线 2.00 与 1.75 个百分点。被攻击时，MiniRep 在四个任务指标中的三个上平均分最高，HumanEval Pro 仅高 0.23 个百分点。
• 严格胜场：112 个 MATH 攻击条件中，84 个条件 MiniRep 高于每一个基线。Table 4(a) 中，MATH 的 7S+3W 为 28/28，all strong 为 27/28；GoEmotions accuracy 的 7S+3W 为 25/28；GoEmotions F1 的 all weak 为 17/28（对照 Single 为 8/28）；HumanEval Pro 的 7S+3W 为 12/28（对照 Eigen 为 10/28）。
• 作者称这与用当前质量、风险去调整历史权重一致；即使在干净运行，该机制也可压低暂时较差的响应。

强模型被攻陷与自抬声誉

• 测了什么：Table 4(b) 在 7S+3W 下选五个条件，GoEmotions 用植入 B，MATH 用 R2。分数为被攻击的 F1 或准确率。
• 结果：五条件中四条件 MiniRep 最高。MATH / R2 / Div：Babylon 55.00%，MiniRep 73.00%；MATH / R2 / Bound：Babylon 54.00%，MiniRep 69.00%。例外是 GoEmotions / B / Strong：MiniRep 33.00% F1，Beta 35.83%。作者称该差距主要反映干净表现（Beta 38.27% F1，MiniRep 35.00%），被攻击后 MiniRep 的下降小于 Beta。同表另两格：GoEmotions / B / Arith 为 Beta 34.00%、MiniRep 34.90%；Bound 为 Single 33.73%、MiniRep 35.17%。
• OnOff 与 Adapt：Table 4(c) 在 HumanEval Pro、7S+3W、四种植入共八个条件上报告 Pass@1。MiniRep 在五条件高于最佳基线、两条件持平。作者称增益为 1–3 个百分点，对照基线已在 78%–82%。表中唯一 MiniRep 更低的格子是 R1/Adapt：Eigen 82，MiniRep 79。B/Adapt 与 W/Adapt 均为持平（81 对 81）。

组合间的平均被攻击分

Table 13 把每种组合下 28 个条件（四种植入 × 七类攻击）再平均。

• MATH：all strong、7S+3W、random 上，MiniRep 均值分别高于最佳基线 7.07、10.82、12.71 个百分点（对应 MiniRep 78.82%、76.57%、56.68%）。all weak 是例外：MiniRep 35.71%，Beta 36.04%，尽管严格胜场为 10 对 7。作者称更大的胜场数不必对应更高的平均分。
• 其他任务：GoEmotions exact-match 上 MiniRep 领先 all strong（23.79）、7S+3W（23.50）和 all weak（15.82），random 由 Beta 领先（22.11 对 21.54）。sample F1 仅 all weak 由 MiniRep 领先（31.65）。HumanEval Pro 上 all strong 由 Eigen 领先（79.93 对 MiniRep 78.82），其余三种组合 MiniRep 均值最大，幅度为 0.25–1.32 个百分点。作者称这些比较衡量的是对所评估池组合的敏感度，不隔离单个声誉组件，也不在独立生成种子上建立显著性。

其他消融与分析

• 主文比较完整聚合流程；附录 D.1、D.2 另有留出攻击与组合分析，正文未给出这些附录表的数字，此处不转写未在正文出现的单元格。
• 全文有状态方法共享任务后质量反馈；MiniRep 额外使用聚合前的当前任务信号（第 4.1 节）。
• 作者明确：strict win 不是统计显著性检验（第 4.2 节）。

作者指出的局限与后续方向

• 其他任务结果混合：Conclusions 写明，所评估的聚合设置中 MiniRep 在干净与被攻击运行里 MATH 平均准确率最高；其他任务的结果是混合的，包括干净 GoEmotions F1 和 HumanEval Pro Pass@1 低于最佳基线。
• 论文没有单独的 Limitations、Discussion 或 Future Work 节。引言与结论没有把发布代码写成已完成或计划事项。

实验覆盖范围

• 被测设置为三个数据集、每种组合 28 个攻击条件、每个数据集 112 个条件；每数据集固定 100 个任务（第 4.1 节、Table 2、Table 3）。
• 全部主实验固定 n=10、f=3、k=7，且 R=0，用缓存提案把聚合与任务内辩论隔开（第 4.1 节）。
• 智能体来自七个 API 可访问 LLM 的四种组合；排名按数据集分开计算。正文未列出这七个模型的名称（第 4.1 节，排名在附录 C）。
• 指标为描述性点估计；strict win 被作者定义为更高的观察分数，不是统计显著性（第 4.2 节）。论文未报告重复次数或与人工判断的一致性。
• Table 13 覆盖四种组合的平均被攻击分：MATH all-weak 上 MiniRep 35.71%、Beta 36.04%；GoEmotions F1 与 HumanEval Pro 的领先方法随组合变化（附录 D.2）。

MiniRep 是面向恶意智能体的 MAD 声誉聚合，只作用在 Decide 阶段。

• 问题：历史表现做成的声誉被用于集体决策时，恶意智能体可以改行为、协同提交，或先诚实积累声誉再攻击。作者认为经典声誉依赖可观察的双边结果，而辩论里能看见的往往只是聚合答案。
• 做法：攻击分类覆盖三类协同、两类跨时间自抬声誉，以及算术运算符和边界值两类变异。Response Analyzer 用克隆组感知的公共支持、1.5B 语义核验和 MLP 行为风险评估当前提案，必要时阻断。Reputation-Aware Aggregator 用这些信号惩罚历史权重、限制同一底层模型的总影响，再从 n=10 中选 k=7 做加权聚合。State Updater 在答案固定后更新长期质量、近期质量和风险记忆。
• 设置：GoEmotions、MATH levels 4–5、HumanEval Pro 各 100 题；四种 LLM 组合、四种植入、七类攻击，共每数据集 112 个攻击条件；R=0，重放缓存提案。对照 UMaj、URand、Single、Eigen、Beta、TrueSkill、Babylon。
• 结果：Table 3 中 MATH 干净准确率 MiniRep 66.75%，最佳基线 UMaj 59.25%；被攻击平均 61.95%，最佳基线 Beta 54.37%。112 个 MATH 条件中 84 个高于每一基线；7S+3W 为 28/28。被攻击的 GoEmotions accuracy 为 21.16%（Beta 19.59%），HumanEval Pro Pass@1 为 78.15%（Eigen 77.92%）。干净 GoEmotions F1 为 34.42%（UMaj 36.42%），干净 Pass@1 为 77.75%（UMaj 79.50%）。Table 4(b) 中 MATH 的 Div、Bound 分别比最强基线高 18 与 15 个百分点；GoEmotions Strong 上 MiniRep 低于 Beta。Table 13 的 MATH all-weak 均值 MiniRep 35.71%，低于 Beta 36.04%。
• 作者结论：在所评估设置中，MiniRep 的 MATH 平均准确率在干净与被攻击时都最高；其他任务结果混合。作者把 MATH 上的优势联系到同时使用历史表现和当前质量，并在聚合前检查提案、把检出的风险带到后续任务。