去中心化 LLM 推理网络的自适应鲁棒成本感知 Proof of Quality

开放参与的去中心化 LLM 推理要在异构延迟和成本下奖励高质量输出，并承受不可靠或恶意的评估者。

• 场景：作者称这类网络追求开放访问、透明和抗审查，并避免中心化单点故障。现代 transformer 的密码学推理验证在交互延迟下仍然昂贵，因此实用系统用轻量评估信号加聚合来近似质量。
• 已有缺口：Proof of Quality（PoQ）采样评估节点打分，再聚成网络级质量信号。作者先前的成本感知 PoQ 把延迟成本写入推理节点和评估节点的联合奖励。作者称在无许可部署中，一部分评估者仍可抬高偏好输出、压低竞争者或注入噪声；简单均值脆弱，奖励可能被用来超额支付，或把选择扭向低质量输出。
• 观察：评估者差异大，与任务级质量的相关性还可随任务反转。作者把恶意评估者类比为 Byzantine 参与者，并用稳健聚合和偏离驱动的信任权重降低极端分数的影响。
• 本文做法：保留显式成本感知奖励，增加中位数、截尾均值和自适应信任加权共识，再用地面真值代理与四种分数操纵做离线仿真。
• 威胁模型：
  • 受害对象：推理节点托管 LLM 并生成候选输出；评估节点托管轻量打分模型。每任务采样 K 名评估者，分数合成共识后再决定两侧奖励。
  • 知识：对手控制子集 M，恶意比例 ρ 等于 |M|/|E|，可被视为完全了解协议参数。
  • 能力：被采样时用操纵分数替换诚实分数；不修改推理输出、测得成本或共识规则。
  • 策略：有界均匀噪声、固定上偏的 boosting、固定下偏的 sabotage，以及以概率 p 随机方向施加更大偏差的间歇操纵。

PoQ 与去中心化协作

• Zhang 等（2024）的 PoQ：用轻量评估者打分并聚合，作为交互延迟下密码学证明昂贵时的验证方式。
• 作者先前的成本感知 PoQ（2025）：把基于延迟的成本写入推理节点和评估节点奖励。本文沿这一奖励原则，改做对抗评估者。
• 联邦学习与 secure aggregation：Kairouz 等讨论异构资源下的多方更新；Bonawitz 等（2017）做隐私保护的安全聚合。作者称评估者不训练共享模型，且安全聚合本身不处理提交分数是否正确。

Byzantine 与稳健聚合

• Lamport 等（1982）、Castro 与 Liskov（1999）：把部分参与者任意偏离形式化为 Byzantine 故障。
• Blanchard 等（2017）、Yin 等（2018）等：在学习中聚合可能被污染的梯度或更新。论文转述这些工作的观点：对手即使只控制少量参与者，朴素平均也可能脆弱。
• Huber（1964）及重尾均值估计：中位数、截尾均值用于限制离群点。作者把恶意评估者类比为 Byzantine worker，把这些规则转成 PoQ 分数聚合。

多来源判断与激励

• Dawid 与 Skene（1979）、Raykar 等（2010）：用最大似然或联合建模估计标注者错误率、工人质量与分类器参数。Whitehill 等（2009）、Zhou 等（2012）估计专长和任务难度并重加权。
• 声誉与同行预测：EigenTrust（Kamvar 等，2003）把历史交互收成信任分；Miller 等（2005）的 peer prediction 与 Prelec（2004）的 Bayesian truth serum 在无地面真值时激励如实报告。作者称自己的聚合与信任加权和这些思路相容，奖励仍跟随成本感知 PoQ。
• 评估信号对抗与 LLM 评判：Bagdasaryan 等（2020）、Fang 等（2020）展示少量恶意参与者可破坏联邦模型；Fung 等（2020）讨论 Sybil。作者把攻击面改成操纵分数而非投毒梯度。Chen 等（2024）、Fu 等（2023）、Wang 等（2024）讨论 LLM 评判的偏见、任务依赖和事实性限度。作者称流程里的 GPT-based judging 只是辅助分析信号，威胁模型针对直接操纵 PoQ 评分层的评估节点。

基线方法是同一评分接口上的 simple mean、median、trimmed mean 与 adaptive weighted mean；任务数据为 SQuAD v1.1 development set 与 CNN/Daily Mail。作者把本文定位为成本感知 PoQ 的对抗稳健扩展：用聚合规则和信任加权限制战略性评估者，而不是靠安全聚合保证分数正确。

作者扩展的是adversary-resilient cost-aware PoQ：奖励仍同时看质量与成本，共识层改用稳健聚合，并用偏离信号在线调整评估者权重。Figure 1 概括从推理、评估、成本、共识到奖励和权重更新的流程；Figure 2 标出四类分数操纵以及稳健聚合、偏离信号的位置。

角色、抽样与成本

• 两类节点：推理节点托管池 F 中的 LLM，对查询与上下文生成输出；评估节点托管轻量打分模型。任务 t 采样大小为 K 的子集，每个评估者提交 [0, 10] 上的分数，聚成同范围的共识。
• 信任归一化：每个评估者有非负权重。用于共识时按全池权重归一化，使平均权重为 1，以便不同绝对尺度的运行可比。
• 成本：用共享负载上的平均延迟，在推理角色内部和评估角色内部分别做 min-max，得到 [0, 1] 的成本。分析时还测了吞吐和峰值 GPU 内存，奖励公式使用的是延迟成本。
• 实验分数从哪来：仿真读取预计算记录。评估者对参考文本和模型输出算原始相似度，再按评估者在全部生成记录上做 min-max，映射到 [0, 10]。这与“无参考、现场打分”不是同一设置。

四条共识规则

• simple mean：K 个分数的算术平均。作者称它在分数无偏且近似独立时合适，但对极端值敏感，可被抬分或压分利用。
• median：K 个分数的样本中位数，用来降低大离群点的影响。
• trimmed mean：分数排序后，两端各去掉 m 个再平均。m 等于 max{1, floor(γK)}，γ 属于 (0, 0.5)。实现里 γ 是固定超参，实验取 0.2。作者称它通常比中位数保留更多信息，同时限制对抗影响。
• adaptive weighted mean：用归一化信任权重做加权平均，

c_t^w=∑_{e∈ Et}w̃_e s_t,e/∑_{e∈ Et}w̃_e 即降低反复偏离者在当轮共识中的比重。四条规则在同一接口中可切换。

奖励与信任更新

• 质量进入奖励的方式：共识先除以 10，得到 [0, 1] 的归一化质量。推理奖励沿用成本感知基线：基础项是质量权重乘质量、再减去成本权重乘推理成本；质量低于阈值时扣阈值差的平方；另有带上限的效率奖励，形式是质量乘以 1 减成本，而不是除以成本。作者称避免除法并封顶，是为了不让极低成本模型的奖励膨胀。论文未给出质量权重、成本权重、阈值和奖励上限的数值。
• 评估者奖励：偏离等于分数与共识之差的绝对值除以 10；接近度是 0 和 1 减偏离中的较大者。奖励等于接近度权重乘接近度，再减去评估成本权重乘评估成本。作者称这鼓励与集体信号一致且延迟较低的分数；操纵会增大偏离、降低接近度。
• 乘性信任更新：

w_e←clip(w_e·(1+λ(0.5−d_t,e)),w_min,w_max) 偏离小于 0.5 增权，大于 0.5 降权，并钳制在允许区间。作者称它不需要额外监督，且操纵会改变偏离模式。实验初值 1.0，学习率 0.1，上下界 0.1 与 3.0。

单轮流程与分数替换

1. 均匀抽一条含模型键和预计算归一化分数的记录，取对应推理成本。
2. 在有分数的评估者中抽 K 个；若该评估者被标为恶意，用第 3.6 节的策略替换诚实分数，再进入共识和奖励。
3. 按所选规则算共识；若用信任权重，则传入归一化权重。
4. 记推理奖励；对每个被采样评估者算偏离、接近度、评估者奖励，再按上式更新权重。

重复固定轮数 T 估计期望奖励、奖励方差和稳健性。附录 A.2 只说明噪声半宽为 r、抬分或压分偏置为 b、间歇操纵的幅度为 Δ、触发概率为 p，未给出这些数。默认仿真参数见 Table 7：T 为 5000，K 为 3，γ 为 0.2。

实验设置

• 任务与规模：SQuAD v1.1 development set 与 CNN/Daily Mail 各采样 200 例，固定随机种子，共 400 个输入。种子数值论文未给出。
• 推理池：5 个开源指令微调 LLM，每个输入都生成，共 2000 条记录。问答提示要求依据上下文和问题给出简短答案；摘要提示要求 2 到 3 句。贪心解码，最大生成长度固定，数值未报告。
• 评估池与代理：2 个 cross-encoder、3 个 bi-encoder，对参考文本和模型输出算相似度，再按评估者在 2000 条上 min-max 到 [0, 10]。地面真值代理是 SQuAD 风格 token-level F1 再乘 10，只用于离线分析。Table 1 的 Avg GT 是归一化到 [0, 1] 的该代理。
• 仿真：未另作说明时 T 为 5000、K 为 3。信任初值 1.0，λ 为 0.1，权重钳在 [0.1, 3.0]，γ 为 0.2。奖励参数沿用成本感知基线，含效率奖励上限和质量阈值惩罚；α、β、τ、η、Bmax 的数值未报告。按 Eq. 7，K 为 3、γ 为 0.2 时两端各去 1 个分数，截尾均值只剩中间 1 个，与 median 相同。
• 攻击与对照：随机选取比例 ρ 的评估者，替换为 noise、boosting、sabotage 或 strategic。对照规则为 simple mean、median、trimmed mean、adaptive weighted。另扫 K 从 1 到全池，并更细地扫恶意比例。r、b、Δ、p 未给数值；未报告多种子重复。
• 评审：主对齐指标是与 F1 代理的 Pearson、Spearman。第 2.6 节称 GPT-based judging 为辅助信号；第 5–6 节结果表未报告该信号。

主结果

Table 5 是 ρ 为 0.8 相对该防御自身 ρ 为 0.0 的平均推理奖励变化（%）。默认 T 为 5000、K 为 3，故 Median 与 Trimmed 按上一节定义相同。论文未给无攻击时各防御的绝对平均推理奖励。

表格较宽，可左右滑动

攻击	Mean	Median	Trimmed	Adaptive
random noise	-1.100%	-0.500%	-0.500%	-1.100%
strategic	-2.200%	-0.800%	-0.800%	-2.200%
sabotage	-52.100%	-57.200%	-57.200%	-52.200%
boost	39.300%	44.900%	44.900%	39.400%

• 作者称 median 与 trimmed mean 在高恶意比例下减轻 noise 和 strategic 操纵带来的奖励偏移。
• 作者称 sabotage 在所有防御下造成最大的推理奖励下降，协调的负向打分仍难处理。表中该行与 boost 行的 Median、Trimmed 变化幅度大于 Mean；adaptive 与 Mean 接近。
• 作者称 boosting 下推理奖励上升应看成 payout inflation，不是输出质量变好。第 7.2 节进一步称，恶意比例高时稳健规则也会被压过，因为中位数和截尾均值依赖足够大的诚实比例。第 7.1 节认为，权重用它们参与定义的同一共识的偏离来更新，对称攻击或恶意分数靠近共识时对比度会下降，且小偏离可能把权重大多推到上界。

共识与地面真值

Table 4 在每条记录的全部可用评估者分数上聚合，不是默认 K 为 3 的抽样。评估者池共 5 个；论文未写明每条记录是否都有 5 个可用分数。adaptive weighted 不在此表。

表格较宽，可左右滑动

Consensus	Pearson all	Spearman all	Pearson QA	Pearson sum
simple mean	0.581	0.720	0.742	0.514
median	0.748	0.801	0.865	0.542
trimmed mean	0.725	0.798	0.844	0.545

• 作者报告 median 的 Pearson all 从 simple mean 的 0.581 升到 0.748，trimmed mean 也有可比改进。
• 作者称这支持把稳健聚合当作 PoQ 的默认防御，并能把对齐恢复到接近单个评估者中的最高者。Table 3 的最高 Pearson all 为 0.754。
• 三条规则的 Pearson QA 都高于对应的 Pearson sum。摘要列里 trimmed mean 为 0.545，略高于 median 的 0.542。

评估者与代理的相关

Table 3 在归一化到 [0, 10] 的分数上计算。Figure 4–6 给出任务趋势、热力图和散点的补充视图；正文数值以表为准。

表格较宽，可左右滑动

Evaluator	Pearson all	Spearman all	Pearson QA	Pearson sum
ce minilm	0.392	0.426	0.422	0.425
ce deberta	-0.487	-0.267	-0.635	0.071
sts stsb	0.733	0.776	0.863	0.433
sts minilm	0.737	0.812	0.877	0.576
sts paraphrase	0.754	0.806	0.872	0.519

• 作者称 bi-encoder 与代理相关强，总体最好的 Pearson 高于 0.75，且 QA 高于摘要。三个 sts 行符合 QA 高于摘要。
• 作者称一个 cross-encoder 在 QA 上负相关，评估者选错可能把激励方向反转。ce deberta 即该行；ce minilm 的 QA 与摘要几乎并列，QA 并未更高。

K 敏感性

• 测了什么：K 从 1 到 5，每配置 T 为 5000。论文未说明使用哪条共识，也未说明该扫描是否注入攻击。
• 结果：Table 6 中 K 为 1 时推理平均奖励 0.540、标准差 0.158，评估者平均 0.935、标准差 0.118；K 为 5 时推理 0.536 与 0.154，评估者 0.808 与 0.177。K 为 2、3、4 的推理平均为 0.539、0.534、0.538，评估者平均为 0.838、0.818、0.811。
• 作者解读：作者称该配置下推理奖励相对稳定，更大的 K 降低评估者平均奖励并提高其支付标准差，因为偏离共识的机会增加，closeness 奖励下降。

其他消融与分析

• Table 1 基线推理奖励：llama 3 2 3b 为 0.682（Avg GT 0.541，Cost 0.223，Jobs 1033）；gemma 2 2b it 为 0.675；phi3 mini 4k 为 0.340（Avg GT 0.129，Cost 0.843）。使用的是未点名的 default consensus rule。
• Table 1 中 tinyllama 1 1b 的 Cost 为 0.000、Avg GT 为 0.205、奖励为 0.630；qwen2 1 5b 的 Cost 为 1.000、奖励为 0.341。作者称中等成本且质量强的模型奖励最高，高延迟模型即使有一定质量也会被惩罚。
• Table 2：sts paraphrase 奖励 0.910、Avg deviation 0.090、Cost 0.020；ce deberta 奖励 0.496、偏离 0.213、Cost 1.000。作者称评估者奖励由与共识的一致性和评估成本驱动。
• 附录 A.2 与 Table 7：攻击幅度只给符号；γ 为 0.2、λ 为 0.1 被固定。第 4.5 节说将经验考察 λ，第 6 节未给出 λ 或 γ 的扫描表。
• Figure 7、8、10–14 补充攻击类型、恶意比例和信任权重演化。除已列表格外，正文未给出这些图的单元格或曲线端点数值。

作者指出的局限与后续方向

• 质量代理：统一的 token-level F1 适合问答，但可能不能代表摘要的质量维度。作者计划加入 ROUGE 或语义事实性指标（第 7.4 节、第 8 节）。
• 对手模型：当前只操纵评估分数，未包括固定恶意比例之外的 identity sybil。作者称 Sybil 会削弱假设参与者独立的防御，并计划评估 sybil-resistant 设计（第 7.4 节、第 8 节）。
• 信任更新：作者称该更新是轻量启发式，典型偏离下可能饱和，并计划做更有原则的 reliability 估计与校准，使其在自适应对手下仍稳健（第 7.4 节、第 8 节）。
• 设计方向：作者建议校准更新，避免典型偏离造成权重单调增长；并在共识偏离之外加入任务感知校准、带更强监督的锚点任务，或跨评估者家族的分歧模式（第 7.1 节）。

实验覆盖范围

• 推理模型为 llama 3 2 3b、gemma 2 2b it、tinyllama 1 1b、qwen2 1 5b、phi3 mini 4k，共 5 个；评估模型为 ce minilm、ce deberta、sts stsb、sts minilm、sts paraphrase，共 5 个（第 5.2、5.4 节，Table 1、2）。
• 数据为 SQuAD v1.1 development set 与 CNN/Daily Mail 各 200 例，400 个输入、2000 条生成记录；提示固定，解码为贪心（第 5.1、5.2 节）。
• 共识规则四条，攻击四类；ρ 为 0.8 的推理奖励相对变化见 Table 5。默认 T 为 5000、K 为 3；K 扫描为 1 到 5（Table 6、7）。
• 离线对齐用 token-level F1 代理。论文未报告 r、b、Δ、p，未报告多种子重复，未报告 λ 或 γ 的扫描表，也未说明 Table 6 的共识规则和是否注入攻击（附录 A.2，第 6.5 节）。
• 第 2.6 节称 GPT-based judging 在流程中作辅助信号而非唯一裁决者；第 5–6 节未报告该信号的数值。对手实验是固定比例下的分数替换；Sybil 由作者在第 7.4 节写明未纳入本实验。

这篇扩展工作把成本感知 Proof of Quality 的共识层改成能承受恶意评估分数的形式，奖励仍同时看输出质量与延迟成本。

• 问题：去中心化推理在交互延迟下难以做密码学验证，因而采样轻量评估者打分并决定支付。开放参与时，评估者可注入噪声、抬分、压分或间歇操纵；简单均值可能超额支付，或偏向低质量输出。
• 机制：每任务抽 K 个评估者，分数在 [0, 10]。共识可以是均值、中位数、截尾均值或信任加权均值。推理奖励含质量项、成本项、低于阈值的平方惩罚，以及有上界、非除法形式的效率奖励。评估者奖励看与共识的接近程度，再扣评估成本。权重按偏离相对 0.5 乘性更新，实验中钳在 [0.1, 3.0]。
• 证据从哪来：SQuAD v1.1 与 CNN/Daily Mail 各 200 例，5 个开源指令模型产生 2000 条输出。5 个 bi-encoder 或 cross-encoder 计算与参考文本的相似度。离线代理是 token-level F1。默认每配置 5000 轮、K 为 3。
• 主要数字：全池可用分数上，median 与代理的 Pearson 为 0.748，trimmed mean 为 0.725，simple mean 为 0.581（Table 4）。sts paraphrase 的 Pearson all 为 0.754；ce deberta 在 QA 上为 -0.635（Table 3）。ρ 为 0.8、K 为 3 时，noise 与 strategic 下 median 的推理奖励变化为 -0.500% 与 -0.800%，mean 为 -1.100% 与 -2.200%；sabotage 下 mean 为 -52.100%、median 为 -57.200%；boost 下 mean 为 39.300%、median 为 44.900%（Table 5）。此 K 与 γ 为 0.2 时，截尾均值与中位数是同一规则。Table 6 未写明共识与是否攻击，其中推理平均奖励最低 0.534、最高 0.540，评估者平均奖励从 K 为 1 的 0.935 到 K 为 5 的 0.808。
• 作者结论：作者认为稳健聚合应作为成本感知 PoQ 的默认组件，K 应按风险和成本预算选取；当前偏离反馈下的自适应加权未必分开诚实与恶意评估者。作者计划改用任务专用质量代理、更有原则的信任估计，并研究能应对 Sybil 的设计。