Adaptive robust cost-aware Proof of Quality for decentralized LLM inference networks

开放参与的去中心化 LLM 推理要在异构延迟和成本下奖励高质量输出，并承受不可靠或恶意的评估者。

• 场景：作者称这类网络追求开放访问、透明和抗审查，并避免中心化单点故障。现代 transformer 的密码学推理验证在交互延迟下仍然昂贵，因此实用系统用轻量评估信号加聚合来近似质量。
• 已有缺口：Proof of Quality（PoQ）采样评估节点打分，再聚成网络级质量信号。作者先前的成本感知 PoQ 把延迟成本写入推理节点和评估节点的联合奖励。作者称在无许可部署中，一部分评估者仍可抬高偏好输出、压低竞争者或注入噪声；简单均值脆弱，奖励可能被用来超额支付，或把选择扭向低质量输出。
• 观察：评估者差异大，与任务级质量的相关性还可随任务反转。作者把恶意评估者类比为 Byzantine 参与者，并用稳健聚合和偏离驱动的信任权重降低极端分数的影响。
• 本文做法：保留显式成本感知奖励，增加中位数、截尾均值和自适应信任加权共识，再用地面真值代理与四种分数操纵做离线仿真。
• 威胁模型：
  • 受害对象：推理节点托管 LLM 并生成候选输出；评估节点托管轻量打分模型。每任务采样 K 名评估者，分数合成共识后再决定两侧奖励。
  • 知识：对手控制子集 M，恶意比例 ρ 等于 |M|/|E|，可被视为完全了解协议参数。
  • 能力：被采样时用操纵分数替换诚实分数；不修改推理输出、测得成本或共识规则。
  • 策略：有界均匀噪声、固定上偏的 boosting、固定下偏的 sabotage，以及以概率 p 随机方向施加更大偏差的间歇操纵。

PoQ 与去中心化协作

• Zhang 等（2024）的 PoQ：用轻量评估者打分并聚合，作为交互延迟下密码学证明昂贵时的验证方式。
• 作者先前的成本感知 PoQ（2025）：把基于延迟的成本写入推理节点和评估节点奖励。本文沿这一奖励原则，改做对抗评估者。
• 联邦学习与 secure aggregation：Kairouz 等讨论异构资源下的多方更新；Bonawitz 等（2017）做隐私保护的安全聚合。作者称评估者不训练共享模型，且安全聚合本身不处理提交分数是否正确。

Byzantine 与稳健聚合

• Lamport 等（1982）、Castro 与 Liskov（1999）：把部分参与者任意偏离形式化为 Byzantine 故障。
• Blanchard 等（2017）、Yin 等（2018）等：在学习中聚合可能被污染的梯度或更新。论文转述这些工作的观点：对手即使只控制少量参与者，朴素平均也可能脆弱。
• Huber（1964）及重尾均值估计：中位数、截尾均值用于限制离群点。作者把恶意评估者类比为 Byzantine worker，把这些规则转成 PoQ 分数聚合。

多来源判断与激励

• Dawid 与 Skene（1979）、Raykar 等（2010）：用最大似然或联合建模估计标注者错误率、工人质量与分类器参数。Whitehill 等（2009）、Zhou 等（2012）估计专长和任务难度并重加权。
• 声誉与同行预测：EigenTrust（Kamvar 等，2003）把历史交互收成信任分；Miller 等（2005）的 peer prediction 与 Prelec（2004）的 Bayesian truth serum 在无地面真值时激励如实报告。作者称自己的聚合与信任加权和这些思路相容，奖励仍跟随成本感知 PoQ。
• 评估信号对抗与 LLM 评判：Bagdasaryan 等（2020）、Fang 等（2020）展示少量恶意参与者可破坏联邦模型；Fung 等（2020）讨论 Sybil。作者把攻击面改成操纵分数而非投毒梯度。Chen 等（2024）、Fu 等（2023）、Wang 等（2024）讨论 LLM 评判的偏见、任务依赖和事实性限度。作者称流程里的 GPT-based judging 只是辅助分析信号，威胁模型针对直接操纵 PoQ 评分层的评估节点。

基线方法是同一评分接口上的 simple mean、median、trimmed mean 与 adaptive weighted mean；任务数据为 SQuAD v1.1 development set 与 CNN/Daily Mail。作者把本文定位为成本感知 PoQ 的对抗稳健扩展：用聚合规则和信任加权限制战略性评估者，而不是靠安全聚合保证分数正确。

作者扩展的是adversary-resilient cost-aware PoQ：奖励仍同时看质量与成本，共识层改用稳健聚合，并用偏离信号在线调整评估者权重。Figure 1 概括从推理、评估、成本、共识到奖励和权重更新的流程；Figure 2 标出四类分数操纵以及稳健聚合、偏离信号的位置。

角色、抽样与成本

• 两类节点：推理节点托管池 F 中的 LLM，对查询与上下文生成输出；评估节点托管轻量打分模型。任务 t 采样大小为 K 的子集，每个评估者提交 [0, 10] 上的分数，聚成同范围的共识。
• 信任归一化：每个评估者有非负权重。用于共识时按全池权重归一化，使平均权重为 1，以便不同绝对尺度的运行可比。
• 成本：用共享负载上的平均延迟，在推理角色内部和评估角色内部分别做 min-max，得到 [0, 1] 的成本。分析时还测了吞吐和峰值 GPU 内存，奖励公式使用的是延迟成本。
• 实验分数从哪来：仿真读取预计算记录。评估者对参考文本和模型输出算原始相似度，再按评估者在全部生成记录上做 min-max，映射到 [0, 10]。这与“无参考、现场打分”不是同一设置。

四条共识规则

• simple mean：K 个分数的算术平均。作者称它在分数无偏且近似独立时合适，但对极端值敏感，可被抬分或压分利用。
• median：K 个分数的样本中位数，用来降低大离群点的影响。
• trimmed mean：分数排序后，两端各去掉 m 个再平均。m 等于 max{1, floor(γK)}，γ 属于 (0, 0.5)。实现里 γ 是固定超参，实验取 0.2。作者称它通常比中位数保留更多信息，同时限制对抗影响。
• adaptive weighted mean：用归一化信任权重做加权平均，

c_t^w=∑_{e∈ Et}w̃_e s_t,e/∑_{e∈ Et}w̃_e 即降低反复偏离者在当轮共识中的比重。四条规则在同一接口中可切换。

奖励与信任更新

• 质量进入奖励的方式：共识先除以 10，得到 [0, 1] 的归一化质量。推理奖励沿用成本感知基线：基础项是质量权重乘质量、再减去成本权重乘推理成本；质量低于阈值时扣阈值差的平方；另有带上限的效率奖励，形式是质量乘以 1 减成本，而不是除以成本。作者称避免除法并封顶，是为了不让极低成本模型的奖励膨胀。论文未给出质量权重、成本权重、阈值和奖励上限的数值。
• 评估者奖励：偏离等于分数与共识之差的绝对值除以 10；接近度是 0 和 1 减偏离中的较大者。奖励等于接近度权重乘接近度，再减去评估成本权重乘评估成本。作者称这鼓励与集体信号一致且延迟较低的分数；操纵会增大偏离、降低接近度。
• 乘性信任更新：

w_e←clip(w_e·(1+λ(0.5−d_t,e)),w_min,w_max) 偏离小于 0.5 增权，大于 0.5 降权，并钳制在允许区间。作者称它不需要额外监督，且操纵会改变偏离模式。实验初值 1.0，学习率 0.1，上下界 0.1 与 3.0。

单轮流程与分数替换

1. 均匀抽一条含模型键和预计算归一化分数的记录，取对应推理成本。
2. 在有分数的评估者中抽 K 个；若该评估者被标为恶意，用第 3.6 节的策略替换诚实分数，再进入共识和奖励。
3. 按所选规则算共识；若用信任权重，则传入归一化权重。
4. 记推理奖励；对每个被采样评估者算偏离、接近度、评估者奖励，再按上式更新权重。

重复固定轮数 T 估计期望奖励、奖励方差和稳健性。附录 A.2 只说明噪声半宽为 r、抬分或压分偏置为 b、间歇操纵的幅度为 Δ、触发概率为 p，未给出这些数。默认仿真参数见 Table 7：T 为 5000，K 为 3，γ 为 0.2。

实验设置

• 任务与规模：SQuAD v1.1 development set 与 CNN/Daily Mail 各采样 200 例，固定随机种子，共 400 个输入。种子数值论文未给出。
• 推理池：5 个开源指令微调 LLM，每个输入都生成，共 2000 条记录。问答提示要求依据上下文和问题给出简短答案；摘要提示要求 2 到 3 句。贪心解码，最大生成长度固定，数值未报告。
• 评估池与代理：2 个 cross-encoder、3 个 bi-encoder，对参考文本和模型输出算相似度，再按评估者在 2000 条上 min-max 到 [0, 10]。地面真值代理是 SQuAD 风格 token-level F1 再乘 10，只用于离线分析。Table 1 的 Avg GT 是归一化到 [0, 1] 的该代理。
• 仿真：未另作说明时 T 为 5000、K 为 3。信任初值 1.0，λ 为 0.1，权重钳在 [0.1, 3.0]，γ 为 0.2。奖励参数沿用成本感知基线，含效率奖励上限和质量阈值惩罚；α、β、τ、η、Bmax 的数值未报告。按 Eq. 7，K 为 3、γ 为 0.2 时两端各去 1 个分数，截尾均值只剩中间 1 个，与 median 相同。
• 攻击与对照：随机选取比例 ρ 的评估者，替换为 noise、boosting、sabotage 或 strategic。对照规则为 simple mean、median、trimmed mean、adaptive weighted。另扫 K 从 1 到全池，并更细地扫恶意比例。r、b、Δ、p 未给数值；未报告多种子重复。
• 评审：主对齐指标是与 F1 代理的 Pearson、Spearman。第 2.6 节称 GPT-based judging 为辅助信号；第 5–6 节结果表未报告该信号。

主结果

Table 5 是 ρ 为 0.8 相对该防御自身 ρ 为 0.0 的平均推理奖励变化（%）。默认 T 为 5000、K 为 3，故 Median 与 Trimmed 按上一节定义相同。论文未给无攻击时各防御的绝对平均推理奖励。

Swipe horizontally to read the table

攻击	Mean	Median	Trimmed	Adaptive
random noise	-1.100%	-0.500%	-0.500%	-1.100%
strategic	-2.200%	-0.800%	-0.800%	-2.200%
sabotage	-52.100%	-57.200%	-57.200%	-52.200%
boost	39.300%	44.900%	44.900%	39.400%

• 作者称 median 与 trimmed mean 在高恶意比例下减轻 noise 和 strategic 操纵带来的奖励偏移。
• 作者称 sabotage 在所有防御下造成最大的推理奖励下降，协调的负向打分仍难处理。表中该行与 boost 行的 Median、Trimmed 变化幅度大于 Mean；adaptive 与 Mean 接近。
• 作者称 boosting 下推理奖励上升应看成 payout inflation，不是输出质量变好。第 7.2 节进一步称，恶意比例高时稳健规则也会被压过，因为中位数和截尾均值依赖足够大的诚实比例。第 7.1 节认为，权重用它们参与定义的同一共识的偏离来更新，对称攻击或恶意分数靠近共识时对比度会下降，且小偏离可能把权重大多推到上界。

共识与地面真值

Table 4 在每条记录的全部可用评估者分数上聚合，不是默认 K 为 3 的抽样。评估者池共 5 个；论文未写明每条记录是否都有 5 个可用分数。adaptive weighted 不在此表。

Swipe horizontally to read the table

Consensus	Pearson all	Spearman all	Pearson QA	Pearson sum
simple mean	0.581	0.720	0.742	0.514
median	0.748	0.801	0.865	0.542
trimmed mean	0.725	0.798	0.844	0.545

• 作者报告 median 的 Pearson all 从 simple mean 的 0.581 升到 0.748，trimmed mean 也有可比改进。
• 作者称这支持把稳健聚合当作 PoQ 的默认防御，并能把对齐恢复到接近单个评估者中的最高者。Table 3 的最高 Pearson all 为 0.754。
• 三条规则的 Pearson QA 都高于对应的 Pearson sum。摘要列里 trimmed mean 为 0.545，略高于 median 的 0.542。

评估者与代理的相关

Table 3 在归一化到 [0, 10] 的分数上计算。Figure 4–6 给出任务趋势、热力图和散点的补充视图；正文数值以表为准。

Swipe horizontally to read the table

Evaluator	Pearson all	Spearman all	Pearson QA	Pearson sum
ce minilm	0.392	0.426	0.422	0.425
ce deberta	-0.487	-0.267	-0.635	0.071
sts stsb	0.733	0.776	0.863	0.433
sts minilm	0.737	0.812	0.877	0.576
sts paraphrase	0.754	0.806	0.872	0.519

• 作者称 bi-encoder 与代理相关强，总体最好的 Pearson 高于 0.75，且 QA 高于摘要。三个 sts 行符合 QA 高于摘要。
• 作者称一个 cross-encoder 在 QA 上负相关，评估者选错可能把激励方向反转。ce deberta 即该行；ce minilm 的 QA 与摘要几乎并列，QA 并未更高。

K 敏感性

• 测了什么：K 从 1 到 5，每配置 T 为 5000。论文未说明使用哪条共识，也未说明该扫描是否注入攻击。
• 结果：Table 6 中 K 为 1 时推理平均奖励 0.540、标准差 0.158，评估者平均 0.935、标准差 0.118；K 为 5 时推理 0.536 与 0.154，评估者 0.808 与 0.177。K 为 2、3、4 的推理平均为 0.539、0.534、0.538，评估者平均为 0.838、0.818、0.811。
• 作者解读：作者称该配置下推理奖励相对稳定，更大的 K 降低评估者平均奖励并提高其支付标准差，因为偏离共识的机会增加，closeness 奖励下降。

其他消融与分析

• Table 1 基线推理奖励：llama 3 2 3b 为 0.682（Avg GT 0.541，Cost 0.223，Jobs 1033）；gemma 2 2b it 为 0.675；phi3 mini 4k 为 0.340（Avg GT 0.129，Cost 0.843）。使用的是未点名的 default consensus rule。
• Table 1 中 tinyllama 1 1b 的 Cost 为 0.000、Avg GT 为 0.205、奖励为 0.630；qwen2 1 5b 的 Cost 为 1.000、奖励为 0.341。作者称中等成本且质量强的模型奖励最高，高延迟模型即使有一定质量也会被惩罚。
• Table 2：sts paraphrase 奖励 0.910、Avg deviation 0.090、Cost 0.020；ce deberta 奖励 0.496、偏离 0.213、Cost 1.000。作者称评估者奖励由与共识的一致性和评估成本驱动。
• 附录 A.2 与 Table 7：攻击幅度只给符号；γ 为 0.2、λ 为 0.1 被固定。第 4.5 节说将经验考察 λ，第 6 节未给出 λ 或 γ 的扫描表。
• Figure 7、8、10–14 补充攻击类型、恶意比例和信任权重演化。除已列表格外，正文未给出这些图的单元格或曲线端点数值。

作者指出的局限与后续方向

• 质量代理：统一的 token-level F1 适合问答，但可能不能代表摘要的质量维度。作者计划加入 ROUGE 或语义事实性指标（第 7.4 节、第 8 节）。
• 对手模型：当前只操纵评估分数，未包括固定恶意比例之外的 identity sybil。作者称 Sybil 会削弱假设参与者独立的防御，并计划评估 sybil-resistant 设计（第 7.4 节、第 8 节）。
• 信任更新：作者称该更新是轻量启发式，典型偏离下可能饱和，并计划做更有原则的 reliability 估计与校准，使其在自适应对手下仍稳健（第 7.4 节、第 8 节）。
• 设计方向：作者建议校准更新，避免典型偏离造成权重单调增长；并在共识偏离之外加入任务感知校准、带更强监督的锚点任务，或跨评估者家族的分歧模式（第 7.1 节）。

实验覆盖范围

• 推理模型为 llama 3 2 3b、gemma 2 2b it、tinyllama 1 1b、qwen2 1 5b、phi3 mini 4k，共 5 个；评估模型为 ce minilm、ce deberta、sts stsb、sts minilm、sts paraphrase，共 5 个（第 5.2、5.4 节，Table 1、2）。
• 数据为 SQuAD v1.1 development set 与 CNN/Daily Mail 各 200 例，400 个输入、2000 条生成记录；提示固定，解码为贪心（第 5.1、5.2 节）。
• 共识规则四条，攻击四类；ρ 为 0.8 的推理奖励相对变化见 Table 5。默认 T 为 5000、K 为 3；K 扫描为 1 到 5（Table 6、7）。
• 离线对齐用 token-level F1 代理。论文未报告 r、b、Δ、p，未报告多种子重复，未报告 λ 或 γ 的扫描表，也未说明 Table 6 的共识规则和是否注入攻击（附录 A.2，第 6.5 节）。
• 第 2.6 节称 GPT-based judging 在流程中作辅助信号而非唯一裁决者；第 5–6 节未报告该信号的数值。对手实验是固定比例下的分数替换；Sybil 由作者在第 7.4 节写明未纳入本实验。

这篇扩展工作把成本感知 Proof of Quality 的共识层改成能承受恶意评估分数的形式，奖励仍同时看输出质量与延迟成本。

• 问题：去中心化推理在交互延迟下难以做密码学验证，因而采样轻量评估者打分并决定支付。开放参与时，评估者可注入噪声、抬分、压分或间歇操纵；简单均值可能超额支付，或偏向低质量输出。
• 机制：每任务抽 K 个评估者，分数在 [0, 10]。共识可以是均值、中位数、截尾均值或信任加权均值。推理奖励含质量项、成本项、低于阈值的平方惩罚，以及有上界、非除法形式的效率奖励。评估者奖励看与共识的接近程度，再扣评估成本。权重按偏离相对 0.5 乘性更新，实验中钳在 [0.1, 3.0]。
• 证据从哪来：SQuAD v1.1 与 CNN/Daily Mail 各 200 例，5 个开源指令模型产生 2000 条输出。5 个 bi-encoder 或 cross-encoder 计算与参考文本的相似度。离线代理是 token-level F1。默认每配置 5000 轮、K 为 3。
• 主要数字：全池可用分数上，median 与代理的 Pearson 为 0.748，trimmed mean 为 0.725，simple mean 为 0.581（Table 4）。sts paraphrase 的 Pearson all 为 0.754；ce deberta 在 QA 上为 -0.635（Table 3）。ρ 为 0.8、K 为 3 时，noise 与 strategic 下 median 的推理奖励变化为 -0.500% 与 -0.800%，mean 为 -1.100% 与 -2.200%；sabotage 下 mean 为 -52.100%、median 为 -57.200%；boost 下 mean 为 39.300%、median 为 44.900%（Table 5）。此 K 与 γ 为 0.2 时，截尾均值与中位数是同一规则。Table 6 未写明共识与是否攻击，其中推理平均奖励最低 0.534、最高 0.540，评估者平均奖励从 K 为 1 的 0.935 到 K 为 5 的 0.808。
• 作者结论：作者认为稳健聚合应作为成本感知 PoQ 的默认组件，K 应按风险和成本预算选取；当前偏离反馈下的自适应加权未必分开诚实与恶意评估者。作者计划改用任务专用质量代理、更有原则的信任估计，并研究能应对 Sybil 的设计。