真金白银，假模型：第三方 Shadow API 的欺骗性模型声明

核心问题：第三方 shadow API 声称提供与官方一致的前沿模型访问，但其输出与后端身份是否可信，此前缺乏系统审计。

• 问题场景：GPT-5、Gemini-2.5 等官方 API 存在高定价、支付门槛和地区限制（作者举例称 OpenAI 官方 API 无法从中国、俄罗斯、伊朗直接访问），催生声称低价、无区域限制、输出与官方一致的 shadow API 市场。
• 为什么重要：作者发现这些服务已被 187 篇学术论文使用（截至 2025-12-06），若端点未提供所声称的模型，以其为据的效用与安全结论无法复现，且可能高估或低估官方模型的风险。
• 现有工作不足：作者称已有研究审计开源模型 API 的替换问题，但针对以不透明黑盒方式运营的间接 shadow API 市场，系统审计基本缺失。
• 核心概念：作者提出安全属性 model provenance integrity——以某模型名义出售的端点应保持该模型身份与实际后端的绑定；并区分行为差异（不指向后端身份）与指纹匹配到具体替代模型的证据，仅后者称为 deceptive model claim，且不代表运营者意图。
• 论文方案：围绕三个研究问题展开——RQ1 识别 17 个 shadow API 并统计其在 187 篇论文中的使用；RQ2 对 3 个代表性 shadow API（A、E、H）做效用与安全基准对比；RQ3 用模型指纹（LLMmap）、分布检验（MET）和元数据分析验证端点身份，并给出审计与研究者核验流程建议。

模型指纹与生成内容识别

• LLM 的语言模式可作为指纹用于识别内容来源模型（论文引 [21, 45, 65]）。
• Pasquini et al. [51] 提出 LLMmap：用精心构造的查询主动探测模型，比较响应在不同参考模型下的似然以识别身份；本文直接采用该框架做端点指纹验证。

API 模型替换与可验证推理

• Cai et al. [24] 审计开源 LLM API 的模型替换，并评估用 TEE 做硬件级可验证推理；论文指出本文与之不同：聚焦作为不透明黑盒运营的 shadow API。
• Krishna et al. [42] 的模型提取研究表明可训练替代模型模仿 BERT 类 NLP API，使用户难以仅凭表面交互区分原始 API 与提取的代理模型。
• Gao et al. [32] 提出 Model Equality Testing（MET），检验 API 输出是否与某模型同分布；本文将其作为指纹之外的互补验证。

LLM 部署生态的相邻风险

• Hou et al. [34] 测量公开 LLM 部署的流行度、配置与暴露风险；Puthal et al. [52] 讨论组织内未经批准的 shadow AI 使用的安全与治理风险。论文指出这些工作分别关注公开部署与组织治理，而非商业间接端点是否提供所声称的模型。

对比基线与基准：本文不提出新模型，基线是各模型的官方 API；效用基准为 AIME 2025、GPQA (Diamond)、MedQA (USMLE)、LegalBench (Scalr)，安全基准为 JailbreakBench（100 条）与 AdvBench 的 50 条子集，安全攻击采用 GCG、Base64、Combination、FlipAttack。

本文定位：作者称这是首个对官方 LLM API 与对应 shadow API 之间开展的系统审计（"the first systematic audit"），覆盖生态规模、效用与安全行为、以及基于指纹的身份验证三个层面。

整体思路：先界定 shadow API 并普查其在学术与开源社区的使用规模（RQ1），再在相同提示词与解码配置下对比 shadow 与官方端点的效用和安全行为（RQ2），最后用指纹、分布检验和元数据分析验证端点后端身份（RQ3），并给出审计与研究者核验流程。

定义与生态普查（RQ1）

• shadow API 定义：经中间提供者间接访问前沿专有模型、在受限地区绕过官方地理访问控制的第三方服务；且须使用中间提供者的凭证出售访问、不公开上游路由（Table 1）。排除 Azure OpenAI 等公开文档渠道、OpenRouter 等披露路由的平台和自带凭证的自托管网关。
• 收集方法：以 ICLR 2024（2,260 篇，1,108 篇有代码）和 ACL 2024（1,923 篇，1,005 篇有代码）为种子，解析摘要与脚注提取代码库 URL；从 2,113 篇有代码论文中识别 92 个使用 LLM API 的项目，再按端点 URL 在 GitHub 上迭代扩展，直至无新端点；指标更新至 2025-12-06。
• 合规检查：核查提供者身份、公司注册、ICP 备案、法律文档与支付方式（附录 E.2，Table 14）。

效用与安全评测（RQ2）

• 被测对象：按 OpenRouter 2025 年 11 月 token 用量榜选三个模型家族共 8 个模型（GPT-4o-mini、GPT-5、GPT-5-mini；Gemini-2.0-flash、Gemini-2.5-flash、Gemini-2.5-pro；DeepSeek-Chat、DeepSeek-Reasoner）；敏感领域与安全评测每家族取一个代表（GPT-5-mini、Gemini-2.5-flash、DeepSeek-Chat）。
• shadow API 选择：按引用数与 GitHub stars 排序选 A、E、H，标准为流行度、公开可访问、覆盖三个模型家族；官方基线直接查询官方 API。
• 评测协议：所有实验重复 3 次取平均并报标准差；效用用 AIME 2025、GPQA (Diamond)、MedQA (USMLE)、LegalBench (Scalr)，采用 EvalScope、Hulu-Med 等既定模板；安全用 JailbreakBench 与 AdvBench-50，施加 GCG（用 LLaMA3-8B 生成样本级后缀后迁移）、Base64、Combination、FlipAttack 四种攻击，以 GPT-4o-mini 加 StrongREJECT 评分模板输出有害性分数，分数越高越不安全。

身份验证（RQ3）

• LLMmap 指纹：用默认查询策略主动探测，计算输出与参考数据库的欧氏距离；距离超过官方基线 1.25 倍或 top-1 识别结果与声称身份不符即标记；指纹数据库在 NVIDIA DGX A100 上训练，模型清单见附录 H（Table 17）。
• MET 分布检验：双样本假设检验，α=0.05 拒绝分布相等原假设（Reject=True）即输出与官方统计可区分；覆盖 A、E、H 在 4 个基准上的 8 个模型配置。
• 受控验证：搭建 6 个已知后端的本地端点（3 个诚实、3 个替换：跨家族替换、版本错配、能力降级），每个端点 100 条 LLMmap 查询、600 条 MET 请求，校准两种方法的误报与漏报。
• 元数据分析：对 24 个端点在 AIME 2025 与 GPQA 上计算延迟和 token 数的标准差比值 r = SD_shadow / SD_official，每维度得 48 个端点-基准对。

证据解释框架

• 作者明确区分：行为、延迟、元数据或 MET 差异只说明端点未复现官方基线，不指明原因或后端；仅当指纹匹配到具体替代模型时才报告与模型替换一致的证据，且黑盒指纹是概率性的，匹配支持但不证明后端身份。

实验设置

• 被测模型：GPT-4o-mini、GPT-5、GPT-5-mini、Gemini-2.0-flash、Gemini-2.5-flash、Gemini-2.5-pro、DeepSeek-Chat、DeepSeek-Reasoner 共 8 个；敏感领域与安全评测用 GPT-5-mini、Gemini-2.5-flash、DeepSeek-Chat。
• 被测端点：shadow API A、E、H（按 GitHub stars 排序命名）加官方 API 基线，共 24 个 shadow 端点；行为与身份结论仅限这三家，作者明确不推广到其余 14 家。
• 基准：AIME 2025、GPQA (Diamond)、MedQA (USMLE，1,273 条，见 Table 15)、LegalBench (Scalr，571 条，见 Table 16)、JailbreakBench（100 条）、AdvBench 50 条子集。
• 指标与评审：效用为准确率（3 次重复取均值与标准差）；安全为 GPT-4o-mini 按 StrongREJECT 模板打的有害性分数；身份为 LLMmap 欧氏距离与 MET（α=0.05）。
• 解码配置：兼容的模型设 temperature=0、seed=42，推理模型用默认 reasoning effort（Table 13）。

主结果

下表汇总作者报告的关键差异（据正文第 4 节、Table 3、Table 15/16；逐格数值论文以图呈现，此处只列正文给出的数字）。

表格较宽，可左右滑动

维度	官方基线	shadow API 结果	出处
MedQA 准确率（Gemini-2.5-flash）	83.82%	三家平均 36.95%，差 46.51%–47.21%	第 4.2 节
AIME 2025 平均准确率差	—	A 差 9.81%、H 差 6.46%、E 差 2.64%	第 4.2 节
AIME 2025 单模型最大差	—	A 上 Gemini-2.5-pro 差 40.00%、DeepSeek-Reasoner 差 38.89%	第 4.2 节
敏感领域平均准确率降	—	A 降 16.96%、E 降 15.71%、H 降 14.75%	第 4.2 节
指纹验证（24 端点）	—	45.83% 失败，另 12.50% 欧氏距离偏离	Table 3
综合风险分级（24 端点）	—	11 个 High、9 个 Medium、4 个 Low	Table 10

• 作者称 shadow API E 一致性最好（平均准确率降 2.64%，GPT-5-mini 在 GPQA 上甚至高官方 1.18%），A 与 H 在推理类任务上退化明显。
• 作者报告 Gemini-2.5-flash 在 MedQA 上与官方答案一致率仅 49.57%–49.65%，LegalBench 上为 52.36%–54.64%（Table 15/16），三家提供者数值接近，但作者称仅凭性能证据无法确定原因。

安全评测

• JailbreakBench：GPT-5-mini 在 Base64 下 shadow API A 有害性分数 0.04，为官方 0.02 的两倍；Gemini-2.5-flash 在 FlipAttack 下官方 0.90，三家 shadow 约 0.67–0.68，差约 0.23（Figure 5）。
• AdvBench：GPT-5-mini 在 Base64 下 A 为 0.05，为官方 0.01 的 5 倍；Gemini-2.5-flash 在 FlipAttack 下官方 0.95、shadow 约 0.82（Figure 6）。
• 作者解读：安全分数双向偏移——低于官方可能低估官方模型风险，高于官方可能夸大在官方端点上无法复现的攻击成功率；作者认为依赖 shadow API 做安全评测不可靠。

身份验证与受控校准

• 指纹结果（Table 3）：GPT 与 DeepSeek 家族频繁身份错配，如 H 的 GPT-4o-mini 指纹匹配 Qwen2.5-7B，A、E 的 GPT-5 匹配 glm-4-9b-chat，A、H 的 DeepSeek-Reasoner 表现为非推理版 DeepSeek-Chat；Gemini-2.5-pro 在三家的距离稳定（D≈17.37–18.04）。
• 能力匹配替换：H 中识别出的 Qwen2.5-7B 在 GPQA 上 42.93%，与官方 GPT-4o-mini 的 44.61% 差 1.68 个百分点，但 AIME 2025 上 3.33% 对 14.44%，差 11.11 个百分点；作者称这解释了为何准确率降集中在推理密集型基准。
• MET（Table 4）：与指纹互补；Gemini-2.5-pro 在 AIME 2025 上三家均未拒绝原假设，作者强调这不等于证明忠实服务。
• 受控测试台（Table 6）：LLMmap 整体准确率 96.00%（FPR 3.00%、FNR 5.00%），MET 准确率 88.33%（FPR 4.67%、FNR 18.67%）；作者称 MET 的 FNR 偏高源于其检测分布偏移而非精确身份，对同家族小版本错配可能漏报。

联合分析与元数据

• 回归（Table 9）：以准确率降为因变量的 OLS（n=24，R²=0.15）中，价格比（β=−1.447，p=0.490）与身份错配（p=0.98）均无预测力；剔除 Gemini-2.5-flash 三个端点后 R²=0.30，身份错配边际显著（β=7.72，p=0.05）。作者称价格不能作为后端保真度的信号。
• 反例（第 6.1 节）：Gemini-2.5-flash 在三家指纹均正确，但敏感领域准确率一致降约 47%；作者推测可能是服务商关闭或削减 thinking 预算以节省成本，指纹无法发现此类非身份机制。
• 元数据（Table 7/8）：48 个端点-基准对中，64.58% 的延迟 SD 比超过 1.20、35.42% 超过 2.00；token 数比值有 20.83% 超过 2.00、20.83% 低于 0.80，作者称与动态后端切换或上游重试一致。

其他消融与分析

• 经济快照（Table 12）：GPT-5 在 GPQA 上按官方定价折算，shadow 端点交付价值为官方的 0.36–0.52 倍；作者注明仅为描述性背景。
• 生态观察（第 6.3 节）：17 家中 4 家在写作时已停止运营；部分平台出现"模型验证通过"徽章与第三方替换检测平台，作者明确不归因于自己的披露。
• 合规元数据（Table 14）：17 家中仅 H 有可验证 ICP 注册、仅 N 披露公司法人实体。

作者指出的局限与后续方向

• 时间范围与市场波动（第 8 节）：研究是 2025 年 9–12 月的有界快照，shadow API 可能更换上游、调整路由或停运，行为可能漂移；作者称所记录的风险信号反映该类服务的结构属性，并有意采用快照设计而非持续监控。
• 检测覆盖与 ground truth（第 8 节）：缺乏后端基础设施的真实信息，无法区分所有细粒度实现差异（如静默提示预处理、上下文截断），黑盒验证也无法判定替代后端的性质（蒸馏、微调、量化或版本偏移）。
• 检测可被规避（第 8 节）：足够忠实的代理模型原则上可同时绕过 LLMmap 与 MET；通过两项检验只代表没有替换证据，而非真实性证明。
• 官方端点自身变动（第 8 节）：专有模型的官方 API 可能经历未披露的微调，作者以三次独立运行的方差来缓解。
• 分析视角可扩展（第 8 节）：作者认可还可从偏见、幻觉等角度分析 shadow API 差异。
• 覆盖范围与未来工作（第 8 节）：17 家提供者经引用与 stars 收集，未必代表整个市场，其他服务可能采用不同的欺骗策略；仅聚焦三个模型家族，作者认为审计流程可推广到更广模型覆盖并留作未来工作。

实验覆盖范围

• 行为与身份结论仅覆盖 shadow API A、E、H 的 24 个端点，作者明确不推广到其余 14 家（第 2.3 节）。
• 被测模型为 GPT、Gemini、DeepSeek 三个家族共 8 个模型；安全与敏感领域评测每家族只用 1 个代表模型（第 4.1 节）。
• 效用与安全实验均重复 3 次取平均（第 4.1 节）；受控验证为 6 个端点、每端点 100 条 LLMmap 查询与 600 条 MET 请求（第 5.3 节）。
• 安全评测覆盖 4 种越狱攻击与 2 个基准，有害性由 GPT-4o-mini 按 StrongREJECT 模板评分；论文未报告评审与人工标注的一致性。
• 生态普查以 ICLR 2024 与 ACL 2024 的有代码论文为种子做 GitHub 迭代扩展，指标截至 2025-12-06（第 3.1 节）。

一篇针对 shadow API（声称提供与官方一致的前沿模型间接访问的第三方服务）的系统审计论文，作者称其为该方向的首个系统审计。

• 问题：官方 API 的价格、支付与地区限制催生 shadow API 市场；作者识别出 17 个此类服务，被 187 篇学术论文使用，用量最大者累计超 5,900 引用、58,000 GitHub stars（截至 2025-12-06），但无人验证端点是否真提供所声称的模型。
• 方法：对 3 个代表性提供者（A、E、H）的 24 个端点，在相同提示词与解码配置下对比官方基线，覆盖效用（AIME 2025、GPQA、MedQA、LegalBench）与安全（JailbreakBench、AdvBench，4 种越狱攻击），并用 LLMmap 指纹、MET 分布检验和延迟/token 元数据验证后端身份；另建 6 端点受控测试台校准检测方法。
• 主要结果：Gemini-2.5-flash 在 MedQA 上从官方 83.82% 降至三家 shadow 平均 36.95%（差 46.51%–47.21%）；24 个端点中 45.83% 指纹验证失败、12.50% 距离偏离，部分端点指纹匹配 Qwen2.5-7B、glm-4-9b-chat 等替代模型；安全有害性分数双向偏移（如 FlipAttack 下 Gemini-2.5-flash 官方 0.90、shadow 约 0.67–0.68）；回归显示价格比对准确率降无预测力（p=0.490）。
• 作者结论：作者认为 shadow API 不能当作官方端点的替代品，其行为差异与身份不一致会破坏研究可复现性；指纹匹配到替代模型的端点构成作者所称的 deceptive model claim（不认定运营者意图）。
• 建议：作者提出审计者四阶段验证流程（LLMmap 探测、MET、多会话方差检查、ICP/法人核查）与研究者预登记清单（披露端点 URL、模型版本、访问日期，归档原始响应与元数据），并呼吁会议将未验证的第三方端点标记为可复现性风险。