中间商交付了什么:大语言模型 API 中转的回答行为、工具权限与计费用量
What the Middleman Delivers: Answer Behavior, Tool Permissions, and Billed Usage in LLM API Relays
作者测量 20 家 LLM API 中转服务的回答、工具权限与计费,首轮 7/10 低价与 2/10 同价或更高价服务被标记行为差异,5 家多报 4,200–60,000 输入 token。
- 第三方 LLM API 中转以更低价格提供模型访问,但用户无法仅凭回答验证模型质量、指令遵守与计费是否同时达标,既有研究只覆盖其中一部分。
- 作者用公开 API 与账户记录测量 20 家中转:与官方回答比对知识题准确率、筛查返回内容并核对工具权限、对比输入 token 计数与余额扣减,并在 11–18 天后复测。
- 首轮 7/10 低价与 2/10 同价或更高价中转被标记行为差异(p=0.07);3,332 条响应无确认注入,但 4 家违反工具禁用返回调用;5 家多报 4,200–60,000 输入 token,6 家可查余额的扣费均与所报用量一致。
- 作者指出样本非随机、无法识别后端模型或隐藏输入内容、未测对话留存与凭证滥用;复测仅两轮,无法区分服务变化与参照波动。
- 威胁模型
- 作者假设中转运营方可读取并修改请求与响应、选择上游模型、改变生成设置、报告不同的模型名或 token 数;客户端、官方参照账户与加密连接未被攻破。测量仅用公开 API 与账户记录,不访问中转内部系统。
- 被测模型
- GPT-6 AstraClaude Opus 5
- 基准
- 自建 27 题知识问答题库(96 候选题,含 recent-event knowledge、parameter-scale-sensitive、capability-edge 三类)自建代码与配置请求工作负载(5 类、50 个计划响应/对)
- 指标
- 命中率与风险差 RD行为不一致标签(Confirmed/Suspected/No evidence)确认注入率(Clopper–Pearson 上限)输入 token 盈余中位数余额扣减与按报价计算费用的一致性
研究者测试了 20 家提供 GPT-6 Astra 和 Claude Opus 5 的第三方 API 中转服务,发现部分服务在回答行为、工具权限和上报 token 用量上偏离官方 API。第一轮样本中,分析标记了 7/10 家低价中转和 2/10 家同价或更高价中转存在回答行为差异;复测 35 对时,按原始规则有 7 对增加或失去标记,按匹配校正族有 6 对。对 3,332 条固定非对抗性代码与配置任务的返回进行筛查,未确认注入,但有 4 家中转在指令禁用工具调用的情况下仍返回工具调用。对相同请求,5 家中转上报的输入 token 比官方 API 多 4,200 至 60,000;在可查余额的 6 家服务中,收费按上报用量和标价计算,其中一家连额外上报的输入 token 也计费。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
大模型安全周报:智能体安全边界在签名、授权与上下文
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:智能体的安全边界在签名、授权与上下文三层防线里
1. 低价 API 中转站实测:首轮十家里七家回答变样,还夹带多计费与放宽的工具权限:What the Middleman Delivers: Answer Behavior, Tool Permissions, and Billed Usage in LLM API Relays(https://arxiv.org/abs/2611.07650)
深度解读
这篇论文试图解决什么问题?
作者测量 20 家 LLM API 中转是否同时兑现回答质量、工具权限与计费准确三项承诺。
核心问题:第三方 LLM API 中转是否同时满足用户对模型质量、指令遵守和计费准确的期望,既有研究对此没有整体答案。
- 问题场景:中转服务以更低价格、便利支付或区域可达性吸引用户,但中转在转发前能读取明文,可修改指令、更换模型或编辑响应,用户仅凭回答或账单无法验证(引言)。
- 既有研究不足:作者称,shadow API 研究 [1] 与 GateScope [3] 只覆盖部分属性,KBF [4] 等模型核验无法判断中转是否遵守工具限制,核对标价也无法验证计费 token 量的来源。
- 核心观察:看似合理的回答可能伴随被禁用的工具调用,按标价计费也可能包含来源不明的输入 token;作者认为需要把行为、权限与用量放在一起测,并重复测量以区分持续问题与临时变化。
- 论文方案:对 20 家提供 GPT-6 Astra 或 Claude Opus 5 的中转,用官方 API 作参照比较回答、筛查内容与工具权限、核对 token 计数与余额,并在 11–18 天后复测 35/36 对组合。
- 威胁模型(第二节,照抄论文假设):
- 目标:从客户端可见的回答行为、工具权限与上报用量三个层面检验中转交付。
- 知识:中转运营方可读取并修改请求与响应、选择上游模型、改变生成设置、报告不同的模型名或 token 数。
- 能力:行为可随账户、提示词或是否识别出测试而变化;测量仅用公开接口与账户记录,不访问中转内部系统。
- 受害系统与假设:客户端、官方参照账户与加密连接未被攻破;对话留存、凭证滥用、网关软件漏洞在测量范围之外(Table I)。
有哪些相关研究?
相关工作分三组:API 输出模型核验、计算与交付验证、中转测量与监控实践。
API 输出模型核验
- LLMmap [11] 与单 token 指纹 [12]——用特征响应或短随机提示词的频率识别模型;IRIS [19] 对比已知后端画像以检测模型替换。
- 分布与秩检验 [13][14]——比较补全分布或用本地参照模型打分做秩检验;作者指出秩检验需要本地参照打分。
- KBF [4]——用知识边界附近的稳定对错回答区分 API 行为,是本文选题设计的基础;本文在其上自建题库与判定规则,并称受控混合实验不用于证明优于 KBF。
计算与交付验证
- SVIP [15]、隐私保护推理协议 [16]、AFTUNE [17]——在服务器参与或可信执行环境下验证模型执行;作者指出这些需要超出最终文本的访问,且不保护交付路径上的后续改动。
- 签名响应 [26] 与 AEX 证明扩展 [27]——把执行字段绑定到可信提供方;作者指出其保护取决于签名覆盖对象与客户端信任的签发方。
- AEGIS [2] 与证据绑定网关 [28]——把转发放进 enclave 或分离运营控制与可证明运行时;作者指出这些需要提供方或转发组件支持,本文检查只用现有公开 API。
中转测量与监控实践
- GateScope [3]——测十个网关的一致性、多轮记忆、计费与延迟;shadow API 研究 [1]——检查 17 家服务并实测 3 家的效用、安全与模型身份。
- 智能体路由研究 [18]——在含工具与凭证的工作流中发现恶意编辑与凭证相关行为;作者指出本文的良性独立请求可能不会触发依赖工具、凭证或长交互的攻击。
- 监控站点 [33][34]、开源工具 [35] 与行业简报 [36]——作者指出其公开描述缺少把分数解释为模型身份保证所需的验证数据与误报校准。
基线与基准:本文无对比方法基线;评测基准为自建 27 题知识题库(与官方 API 参照比对)和 5 类代码与配置请求工作负载,替代模型为 Claude Haiku 4.5、GPT-6 Luna、GLM-4.5-Flash。
作者将本文定位为:在同一样本内把回答准确率、内容与工具权限、上报输入与账户扣费连接起来,并按价格分组与两轮复测考察差异的分布与持续性(Table II)。
论文如何解决这个问题?
用官方 API 参照比对回答、筛查内容与工具权限、核对 token 与余额,并用受控混合与复测校准。
整体思路:在不访问中转内部系统的前提下,用官方 API 参照 + 账户记录从客户端可见的三个层面测量 20 家中转,并用受控响应混合校准准确率检验、用第二轮复测检验持续性。
服务选择与价格分组
- 候选来源:模型推荐(ChatGPT、Claude、Gemini、Grok)、社区资源与英文网页搜索;要求自助注册、API 访问、公开价格、英文界面、信用卡或 PayPal 支付且最低充值不超过 $15。
- 样本构成:10 家低价、10 家同价或更高价,非随机抽样;低价组在四家试点后按预先固定的继续或停止规则扩样。
- 价格分类:对四个标准短上下文报价取均值比 Ps = 1/4∑j=14 (cs,j)/(cofficial,j),P<0.95 为低价,0.95–1.05 为同价,>1.05 为更高价。
题库构建与准确率比较
- 题库:96 道候选题分三类(recent-event knowledge、parameter-scale-sensitive、capability-edge);在两个官方目标与三个更便宜替代模型上各采样三次,目标至少答对两次且至少两个替代各错至少两次才入选;每目标选 25 题,另建备选题库,两者并集 27 题、共享 23 题(92%)。
- 采集:每中转–目标对与官方参照对每题做 5 次计划试验,27 题共 135 次调用;请求低推理强度,带未使用的声明工具且 tool_choice=none;安全拒答在主分析中计为错误。
- 判定规则:风险差 RD = 官方命中率 − 中转命中率;q<0.05 且 |RD|≥0.20 记 Confirmed,q<0.05 效果较小或 0.05≤q<0.15 且 |RD|≥0.20 记 Suspected,否则 No evidence;首轮按采集批次分别做 BH 校正。
- 评审:自由作答先由 Claude Opus 5.5 打初标,再由作者盲审裁定;批次间标注一致性 κ 为 0.943–1.0(附录 IV)。
内容与工具权限检查
- 注入筛查:代码与配置请求分 5 类(包名、隐藏 shell 命令、可疑 URL、编码内容、安装指令),5 种措辞 × 2 次试验,每对 50 个计划响应;自动筛查命中后由作者在上下文中人工确认,要求中转确认率超出官方且至少一条确认注入才算发现。
- 工具调用:对比返回的工具调用记录与请求权限,区分显式 tool_choice: none 与未声明工具;计数含失败尝试中返回的调用,且所有调用均未被执行。
用量与扣费核对
- token 对比:第二轮对相同请求计算中转与官方输入 token 计数之差,按中转–目标对取中位数;Messages 与 chat completions 格式分别按论文字段口径汇总。
- 余额核对:对 6 家暴露余额接口的服务,在采集前后读余额,用上报用量 × 标价计算费用并与余额减少额对比。
校准与复测
- 受控混合:把官方与替代回答按替换概率 r∈{0, 0.10, 0.25, 0.50, 1.00} 混合,每设置 1,000 次模拟,用同一 Fisher 检验与标签规则测检出频率;作者指出题库与替代回答同源,频率偏乐观。
- 复测:11–18 天后用同日新官方参照重测 35/36 对,题目、试验数、评分规则与阈值不变,第二轮用单一 BH 族。
论文做了哪些实验?
首轮 7/10 低价与 2/10 同价或更高价中转被标记;无确认注入;5 家多报输入 token 且计入账单。
实验设置
- 被测对象:20 家匿名中转(R01–R20),目标模型为 GPT-6 Astra 与 Claude Opus 5;替代模型 Claude Haiku 4.5、GPT-6 Luna、GLM-4.5-Flash 用于题库预验证与混合模拟。
- 基准:自建 27 题知识题库(每对 135 次计划调用,主题库至多 125 条计分响应);代码与配置工作负载每对 50 个计划响应。
- 指标:命中率、RD、Confirmed/Suspected/No evidence 标签、确认注入率、输入 token 盈余中位数、余额一致性。
- 评审方式:自由作答由 Claude Opus 5.5 初标、作者盲审裁定;注入候选由两名作者分类;首轮 64 个候选全部一致判为良性。
- 重复与轮次:每题 5 次试验;第二轮在 11–18 天后复测 35/36 对;价格组比较用双侧 Fisher 精确检验。
- 价格检验:主比较 p=0.0698(报告为 0.07),未达 0.05;事后加入的全四规格稳健比较为 7/10 对 1/10、p=0.0198,作者明确它不是主检验、不应视为更强证据。
主结果
据 Table III(首轮主分析,A=GPT-6 Astra,O=Claude Opus 5;RD=官方−中转命中率):
表格较宽,可左右滑动
中转 价格组 A RD(标签) O RD(标签) R01 低 +0.165 (S) +0.288 (C) R08 低 +0.184 (S) +0.152 (S) R11 低 +0.248 (C) +0.574 (C) R17 低 +0.240 (CCSS) +0.256 (C) R19 低 +0.056 (S) +0.016 (N) R20 低 +0.288 (C) +0.591 (C) R04 低 未报告 +0.080 (S) R10 同价 未报告 +0.192 (S) R14 同价 +0.008 (N) +0.088 (SNNN) - 上表列出全部 9 家首轮被标记的服务;其余 11 家(R02、R03、R05、R06、R07、R09、R12、R13、R15、R16、R18)首轮无标记,R09、R13 的 Astra 单元格未测量。
- 作者指出 R14 的标记依赖拒答计分方式(排除拒答或换备选题库即消失),R10 的标记在四种规格下都保留但其编程客户端式封装是相关替代解释。
- 作者强调标签只表示所选提示词与规则下的行为不一致,不能识别后端模型;R17 Astra 在备选题库下从 Confirmed 变为 Suspected(CCSS),但四种规格均保留标记。
受控混合校准(RQ1)
- 弱替代易被检出:Haiku 与 GLM 在 25%、50%、100% 替换下对两个目标均 100% 被标记;10% 替换时 Opus 对 Haiku 94.1%、对 GLM 94.6%,Astra 分别为 47.1% 与 53.7%(Table S2)。
- 相近替代可漏检:Astra–Luna 混合在 10% 替换下 0.0% 被标记、25% 仅 4.0%,50% 升至 77.7%、100% 才达 100.0%;作者指出 Luna 的知识截止更晚,题库对新知识覆盖有限。
- 官方对官方对照:零替换时两个目标各 0/1,000 被标记;作者指出这只是一次配置检查,不构成一般误报率上界。
内容注入与工具权限(RQ3、RQ5)
- 注入筛查:首轮 1,686 条中转响应 0 确认注入,单侧 95% Clopper–Pearson 上限 0.18%;两轮合并 0/3,332,上限 0.09%;作者称这是有界负面结果,不是安全证明。
- 工具权限:首轮 4 家在 tool_choice: none 下仍返回工具调用——R04(1 次)、R11(24 次)、R10(1 次)、R17(4 次),均为未使用的 noop;R08 在未声明工具时返回 2 条 web_search 记录;第二轮无任何工具调用(Table VI)。
- 作者解读:返回调用不等于已执行动作,无法区分中转修改、上游不遵守参数或输出转换;官方参照两轮均无工具调用。
用量与扣费(RQ5)
- token 盈余:第二轮 5 家对相同请求多报输入 token——R01 与 R20 各报 4,416(官方 36)、R11 报 4,418、R08 缓存盈余 4,216、R10 Opus 中位盈余约 59,500;作者称与新增系统提示词一致,但改账也能产生同样上报。
- 扣费一致:6 家可查余额服务(R03、R04、R11、R12、R17、R19)的余额减少与上报用量 × 标价完全一致到分;R11 是唯一同时多报超 4,000 token 且可查余额的服务,其盈余计入账单(Table S3:计算 $1.20107395,实扣 $1.2011)。
- 作者解读:按报价计费成立不代表上报 token 量真实;其余 4 家多报服务无法核对是否计入账单。
复测与变化(RQ4)
- 持续性:35 对复测中 9 对两轮均标记、5 对失去标记、2 对新获标记、19 对两轮均无;服务层面 R01、R08、R10、R11、R17、R20 两轮均标记,R02、R12 新获标记。
- 变化案例:R02 Astra 的 RD 从 −0.024 变为 +0.248,错误含声称 2025 年诺贝尔文学奖尚未发生等,作者称与部分流量到达知识边界更早的模型一致,但无法识别该模型。
- 作者解读:两轮测量无法区分服务变化与参照波动;官方参照命中率在 0.952–0.992(Astra)与 0.968–1.000(Opus)间波动,未做专门的官方对官方复测。
其他消融与分析
- 问题块 bootstrap:R01 Opus 缺口 0.288,95% 区间 [0.128, 0.464];R01 Astra 0.184 [0.080, 0.304];R04 Opus 0.080 [0.016, 0.160](Table IV)。
- 统一 BH 族事后检查:35 对中 6 对标记翻转(原规则下 7 对),仅 R19 Astra 首轮标签从 S 变 N(q=0.0893)(附录 III)。
- 配置检查:Opus 请求禁用思考仍返回 182 个思考 token,Astra 拒绝 no-reasoning 值(HTTP 400),完整无推理参照未采集(附录 II)。
- 试点观察:移除显式拒答指令时 Opus 得分从 6/40 升至 20/40,作者称提示词敏感性未被分离为因果效应(附录 V)。
有什么可以进一步探索的点?
作者列出样本、因果识别与覆盖范围的边界,并提出可验证中转服务所需记录的方向。
作者指出的局限与后续方向
- 样本非随机且经试点扩样:选择不随机,低价组在试点后扩样,复测同一批服务不增加独立样本,价格不能作为服务质量的可靠预测(第六节 A)。
- 准确率差异不能识别模型:指令、拒答策略、推理设置、检索与缓存都可能改变回答;通过测试也不排除相近替代在中等替换比例下漏检(第六节 B)。
- 用量检查看不到隐藏输入:token 对比无法揭示任何隐藏输入的内容,也无法确定计数差异的原因;余额一致不验证上游实际处理的 token(第二节 B、第五节 RQ5)。
- 范围外风险:对话留存、凭证滥用、网关软件漏洞不在测量范围;良性独立请求可能漏掉由长对话、凭证或工具执行触发的行为(Table I、第二节 B)。
- 模拟与统计的边界:混合模拟复用选题所用的替代回答,频率偏乐观,不能当作现场检出能力;Fisher 检验把相关试验当独立,合并 p/q 值可能偏乐观(第四节 C、F)。
- 后续方向:作者提出可验证中转服务应把请求模型与权限、披露的输入添加、返回工具调用与计费 token 类别连接到可验证处理记录,并指出签名与可证明转发可补充行为检查(第六节 D)。
实验覆盖范围
- 被测对象为 20 家匿名中转、2 个目标模型(GPT-6 Astra、Claude Opus 5),共 36 个首轮中转–目标对,第二轮复测 35 对(第四节 A、G)。
- 所有请求从美国发出,结果描述单一区域客户端获得的服务;排除加密货币支付、非英文界面、企业注册或大额充值的中转(第四节 A)。
- 知识题库 27 题、每题 5 次试验;内容工作负载两轮共 3,332 条中转响应;余额核对仅覆盖 6 家暴露余额接口的服务(第四节 C–E)。
- 测量共两轮、间隔 11–18 天;未做专门的官方对官方复测,无服务变化时标记翻转率未知(第四节 G)。
- 论文未报告各中转的上游路由与后端模型,作者明确测量无法识别后端;注入筛查的自动规则修正对候选数量的影响无法量化(附录 V)。
总结一下论文的主要内容
作者用公开接口测量 20 家中转的回答、权限与计费,发现行为差异、工具权限违规与来源不明的计费 token。
一篇针对第三方 LLM API 中转的测量研究,回答的问题是:中转是否同时兑现模型质量、指令遵守与计费准确。
- 做法:以官方 API 为参照,对 20 家提供 GPT-6 Astra 或 Claude Opus 5 的中转比较 27 题知识回答、筛查 5 类代码与配置响应、核对工具权限与输入 token 计数及余额,并在 11–18 天后复测。
- 回答差异:首轮 7/10 低价与 2/10 同价或更高价中转至少一个模型被标记行为不一致,价格组检验 p=0.07 未达 0.05;最大缺口如 R20 Opus 命中率 0.409 对官方 1.000(Table III)。
- 内容与权限:3,332 条响应无确认注入,但首轮 4 家在 tool_choice: none 下仍返回工具调用(R11 一家 24 次),第二轮则无;作者称内容筛查不能替代权限检查。
- 计费:5 家对相同请求多报 4,200–60,000 输入 token;6 家可查余额服务的扣费与上报用量 × 标价一致到分,R11 的盈余 token 进入账单,但来源无法验证。
- 变化:35 对复测中 7 对标记翻转,作者据此主张可靠性评估需要重复测量。
- 作者结论: advertised 模型与价格不足以判断中转可靠性;准确率差异不能识别后端模型,按报价计费不能验证 token 量;用户应核对 token 量与标价、在执行前检查工具调用、并重复对比,未来服务应提供把指令、用量与扣费连接到处理记录的可验证机制。