ES-Trace 审计 26 个代码模型的伦理采购披露，仅看 Model Card 平均得分 1.77/5

如何系统定位、归属并核验代码生成模型在模型卡之外披露的伦理来源证据。

• 场景：作者称代码生成模型依赖训练数据、贡献者与计算基础设施，其获取与管理涉及知识产权、贡献者权利、隐私、工作条件与环境影响。开发者很少通过模型本身披露这些证据，而是散在模型卡、技术论文、数据集文档、仓库与治理文件中。
• 现有不足：作者称ALOHA与OWASP等AIBOM生成器能记录元数据和引用，但不评估被引文档内容。例如OWASP生成器把allenai/OLMo-2-1124-7B-Instruct的能耗标为缺失，而论文报告预训练131 MWh、约52 tCO2 eq；26张模型卡都没有co2_eq_emissions字段，其中15个模型用可自动解析的arxiv:标签指向自身技术报告。
• 问题界定：作者把伦理来源披露审计定义为对公开披露证据及其支撑文档的系统检查。核心困难是：模型卡或生成的AIBOM里没有某项披露，并不等于从该模型可达的文档里没有。
• 三项挑战：证据分布在多类文档；解析引用不足以确定文档描述的模型、变体与版本；文档可独立于模型发布而增删改，比较版本前必须先绑定到它描述的发布。
• 本文做法：作者提出ES-Trace，用Model Documentation Traceability Graph（MDTG）连接发布者、模型、版本与文档，再按五个递进的证据问题测量20个ES-CodeGen方面的披露强度。作者称这是覆盖26个代码生成模型、77份文档的首次系统性研究。分数区分的是披露强度，而不是底层实践是否满足该方面。

相关工作按论文第2节分组。只有作者明确对比或批评时才写差异。

模型文档与伦理来源标准

• 模板与完成度：Mitchell等人（2019）的model cards、Gebru等人（2021）的datasheets规定模型与数据集文档实践，Hugging Face采用了相应模板。Liang等人（2024）分析32,111张模型卡，环境影响、局限与评测是完成度最低的栏目之一。
• 单份文档：Oreamuno等人（2024）发现第三方模型与数据集文档常缺伦理信息；Yang等人（2026）发现Hugging Face代码模型文档薄于GitHub上的AI仓库。本文作者指出这些工作主要分析单份文档，而不是跨相关文档追踪证据。
• ES-CodeGen：Xu等人（2026）基于文献综述和对32名从业者的调查定义20个方面。本文作者指出它规定了每方面相关证据是什么，但没有规定证据应出现在哪里。

伦理与透明度审计

• 有界范围：Gao等人（2024）分析Hugging Face与GitHub的265份文档，归纳六个伦理主题；“reference to other materials”出现在31.70%的文档中。本文作者指出该分析记录引用的存在与类型，但没有顺着引用评估其中证据。García-Barceló等人（2026）发现61,665张模型卡中仅16.8%含ethics栏目。
• 开发者或项目级：Foundation Model Transparency Index（Bommasani等人，2025）用100项指标，依据公开材料与开发者提交的报告给开发者打分；开放度指数评估是否发布代码、数据、权重与科学文档。本文作者指出它们一般不保留文档级来源，也不确认文档是否描述被审计的特定模型或版本。
• 模型卡之外：AI Transparency Atlas用网页检索而非声明引用，为50个模型打分。Alharbi等人（2026）合并模型卡、论文与代码仓库并套用可复现性清单；本文作者认为其主论文与仓库是启发式选取，没有显式表示引用如何解析、文档描述哪个模型。另有工作用外部资源生成新模型卡，并有证据称质量依赖支撑材料，尤其是相关论文。

供应链、追溯与AIBOM

• 元数据与许可：Stalnaker等人（2026）分析Hugging Face上760,000个模型与175,000个数据集。Longpre等人（2024）追踪1,800多个文本数据集，托管平台在超过70%的情形中省略许可证。Jewitt等人（2026）的232,270条数据集–模型–应用链中，62.3%至少经过一个未声明许可证的工件。本文作者指出这些工作主要分析元数据与关系结构，而不是被引文档中的证据。
• 清单生成：AIBOM把软件物料清单扩展到AI组件、来源与版本。D'Avino等人（2025）的ALOHA将所生成AIBOM中99.18%的缺失字段归因于模型卡中没有、或位于未映射栏目。本文作者指出这类方法不判断看似缺失的信息是否在模型卡引用的文档中。
• 追溯与谱系：软件追溯研究重建工件关系；源代码注释与提交信息中的声明链接会随时间失效。沿base_model等声明关系重建的供应链图关注谱系、依赖与许可证传播。

基线与评测对象

• 对照：L0（仅模型卡）被用来近似现有AIBOM生成器“可记录引用但不解析目标”的文档范围。同发布、不同参数规模的size variants只在L0上作为没有版本过渡时的分数变动基线。外部排序对照是2024 FMTI中与语料重叠的6个开发者。测量维度是ES-CodeGen的20个方面。

本文作者的定位是：保留原始文档，只跟随各模型声明的引用，并检查被引文档描述的是哪个模型或版本；把已解析的供应链关系接到文档级伦理来源证据，而不是停在已解析的组件上。

ES-Trace用20个ES-CodeGen方面测量代码生成模型在模型卡之内和之外提供了多少可观察证据，而不是另设评分标准。Figure 1给出五段：建MDTG并收集References边指向的文档、处理文档、LLM评估、导出文档–方面分数、按文档范围聚合。分析单位是文档–方面对。

语料与文档

• 26个模型：10个发布者，均在Hugging Face公开且有模型卡。15个明确面向代码生成，11个是支持代码生成的OLMo、Phi、gpt-oss通用模型。2026-06-17取回带code标签的文本或文本到文本生成仓库7,221个，只把近期活跃、下载量最高的100个用于发现家族；保留Qwen、Phi、BigCode，并补入8个缺失或代表性不足的家族。Nemotron因仓库混有多代、产品层级和其他发布者的微调模型而被排除。
• 检查点：2026-08-26从这些家族的组织取回1,365个候选仓库，按名称中的版本模式分组并与模型卡核对。每个release group手工选一个检查点，排除量化、转换和模态专用仓库；base、指令微调与专用检查点视为不同变体，只差上下文长度视为同一规模。每家族1到5个release group（Table 1）。
• 五类文档：模型卡、技术论文、数据集卡、组织卡、GitHub仓库，于2026-08-27（UTC）抓取，并附SHA-256校验和。技术论文按方面关键词取匹配段落、下一段和节标题，并保留带标题的表格；作者称论文分数是检索文本中证据的下界。其余四类全文交给LLM。

MDTG与文档范围

• 图：有向多重图，节点为Publisher、Model、Document，边为Publishes、References、ModelRelation。References边记录来源是metadata还是cardText，以及目标文档相对该模型发布者是firstParty还是thirdParty。第一方指由该发布者撰写或维护。
• 抽取规则：自动抽取arxiv:标签、datasets:字段和指向组织卡的命名空间。卡片文本中的候选目标由规则分类器识别后人工核对。为使范围可比，每个模型或家族至多一个发布者维护的代码仓库，每个模型至多一篇技术论文。OLMo 3与3.1的模型卡只列训练和评测代码，故用OLMo-Core。只解析模型卡直接引用且现存的文档，不递归跟随。技术论文还须人工确认它描述该模型、同发布的另一模型，或该模型所更新或所基于的发布；只描述底层技术的方法论文排除，但保留DeepSeek-Coder-V2的arxiv:标签指向的DeepSeekMoE论文，并在§4.2检查。
• 绑定与模型关系：对被引文档做scope binding（描述哪个工件）和version binding（描述哪个发布）。ModelRelation含发布者在base_model:中声明的BaseModel，以及作者按发布信息与仓库名标注的NextRelease和对称的SizeVariant。
• 四级范围：L0仅模型卡；L1再加第一方元数据引用；L2再加第一方卡片文本链接；L3再加任意来源的第三方文档。只走一跳。作者称L0近似现有AIBOM生成器支持的文档范围。BaseModel边另用于查找上游预训练数据声明，这些上游链接不在上述范围定义内。

证据测量与校验

• 评审设置：Gemma 4 31B Instruct（gemma-4-31b-it），经Google API，temperature为0。作者给出的理由是清单式评估与人类判断相关、中等规模开源模型可与标注者较一致，而不同LLM的评估可能不一致。最长提示词26,198 tokens，低于模型卡所写的256K上下文。两个gpt-oss模型卡的Transparency在输出预算内无回答，记为缺失，不插补。
• 五问与分数：每个文档–方面对，LLM回答五道二元问题，每个Yes附证据片段。Q1–Q2用各方面共用的标准，问是否提及该方面、是否超出“存在或已考虑”的断言；Q3–Q5用方面特定标准，要求点明对象、过程或当事方，能被文档外第三方识别，并有链接、标识符、可引用数字或具名文档之类的可核验工件。分数是从Q1起连续Yes的个数，遇第一个No停止，得到0到5的序数分。它衡量披露强度，不衡量底层实践是否满足该方面。
• 聚合：模型在范围Lk上某方面的分数，是该范围内各文档分数的最大值。作者的理由是审计要的是范围内可得的最高证据级别，而不是各文档披露是否一致。
• 事后检查与未评分对：2,589条片段均被核对其出现在交给LLM的原文中。对支撑Q3–Q5的1,293条，再标记使用导向章节、BibTeX条目、Source Acknowledgement的自指，以及Q5缺少可核验指称的情形；失败则该问改为No并重算。检查影响1,447对中的6对，范围与文档类型均值变化至多0.02，且不影响230个人工验证对。尝试评估1,540对，1,447对有分数。82个论文–方面对检索和全文关键词检查都无相关段落，只在文档类型均值中记0，不影响范围分数。另11对排除：9对术语只出现在参考文献或节标题，2对LLM无回答。含这些确认缺失的文档类型均值使用1,529对。

人工标注协议

• 样本：230对。样本量按比例计算，95%置信、最坏边际±5.93%（p=0.5），并做有限总体校正。按文档类型和LLM分数带分层，覆盖全部方面；估计总体一致性时按抽样比例的倒数加权。
• 标注者：两位作者，均为软件工程方向博士生，至少有一年实证研究经验。他们使用与LLM相同的方面描述和五问，看不到LLM输出。80对由两人独立标注并讨论分歧，其余150对分开标注。

实验设置

• 被审计模型：Table 1的26个检查点。代码生成家族为BigCode（santacoder、starcoder、starcoder2-15b）、Code Llama（CodeLlama-34b-Instruct-hf）、CodeGemma（codegemma-7b-it、codegemma-1.1-7b-it）、DeepSeek（deepseek-coder-6.7b-instruct、deepseek-coder-7b-instruct-v1.5、DeepSeek-Coder-V2-Instruct）、Granite（granite-8b-code-instruct-4k、granite-20b-code-instruct-r1.1）、Kimi（Kimi-K2.7-Code）、Qwen（CodeQwen1.5-7B-Chat、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct）。通用家族为gpt-oss（gpt-oss-20b、gpt-oss-safeguard-20b）、OLMo（OLMo-7B-Instruct、OLMo-2-1124-7B-Instruct、Olmo-3-7B-Instruct、Olmo-3.1-32B-Instruct）、Phi（phi-1_5、phi-2、Phi-3-mini-4k-instruct、Phi-3.5-mini-instruct、Phi-4-mini-instruct）。
• 文档与范围：77份文档，五类，抓取于2026-08-27。范围L0到L3如第3问；技术论文分数是关键词检索文本上的下界。
• 评审：Gemma 4 31B Instruct，temperature为0。指标是0–5披露分；模型–方面分取范围内文档最高分。两个gpt-oss的Transparency无分数，Table 2的Transparency均值不含这两对。
• 人工协议：230对分层样本；80对双人独立标注，150对分标。报告精确一致率和二次加权Cohen's kappa（QWK）。
• 版本协议：10个家族中8个有多个发布，比较相邻发布，得到16对、638次方面级比较；gpt-oss-safeguard-20b被作者视为gpt-oss-20b的安全专用构建，不是新一代。同发布规模变体共8组21对，只在L0评估，其卡不在77份语料中。大变动定义为某方面分数变化至少3分。
• 分析用对：已评分分析用1,447对；L0模型卡比较用518个模型–方面对。

主结果

下表只列Table 3中的8个模型，含L3总分最低的Kimi和Gain为0的Phi-2。Sum是已评估方面之和，满分至多100；gpt-oss因Transparency无分数，合计只覆盖19个方面。省略其余18个模型，其中Phi-3的Gain亦为+0，StarCoder的Sum L3为87。

表格较宽，可左右滑动

模型（Table 3）	Sum L0	Sum L3	Gain
Kimi K2.7 Code	22	22	+0
Phi-2	39	39	+0
Qwen3-Coder	15	40	+25
gpt-oss（19个方面）	13	38	+25
CodeGemma 1.1	45	50	+5
StarCoder2	49	85	+36
Granite Code r1.0	32	85	+53
26个模型均值	35.2	56.2	+20.9

• 范围：作者报告均分从L0的1.77升到L1的2.58、L2的2.71、L3的2.82（Table 2，Δ=+1.05）。无证据的模型–方面对从55%降到34%；Table 2的L3总体Zero为34.17%。结构化第一方引用占L0到L2均分升幅的86%（§4.2）。
• 方面：L0上Transparency为4.79（不含两个gpt-oss）、Source Acknowledgement为4.27、Accessibility为4.15、Accuracy为3.65、Licensing为3.54。Philosophy and Religion与Fair Wages在每张模型卡上都是0。到L3，Working Conditions、Fair Wages、Legal Employment、Culture、Philosophy and Religion仍都不超过1.62；作者称58–85%的模型在劳动相关方面没有证据，Table 2的L3 Zero分别为84.62%、73.08%、57.69%（§4.1–§4.2）。
• 共享文档：L0到L2有158个模型–方面对分数上升，其中64对（41%）只通过至少两个被审计模型共同链接的文档达到L2分数，这些对依赖8份共享文档：3张组织卡、2个GitHub README、3篇技术报告（Finding 6）。

评审一致性

• 测了什么：230对上比较LLM分数与人工分数；80对上同时比较两位标注者。
• 结果：80对上人–人精确一致率0.79、QWK 0.87；LLM–人精确一致率0.69、QWK 0.80。QWK差为−0.08（95% CI [−0.19, 0.02]）。全部230对的设计加权结果为精确一致率0.76、QWK 0.83（§3.4）。
• 作者解读：作者称LLM评估与人工标注达到实质性一致，且与标注者间一致性的差异没有达到统计显著。230对的两次重评分中，返回的回答都复现了原分数；第二次有3次因服务不可用失败。

文档失配

• 四类模式：P1变体失配：StarCoder2论文报告的是3B与7B的排放，并称15B估计将稍后补充；作者称未在论文或15B模型卡中找到15B专用估计，但15B因引用该论文而在L1得到Emissions and Pollution的5分。P2工件失配：Qwen2.5-Coder与CodeQwen1.5所链仓库已改名并描述Qwen3；DeepSeek-Coder-V2的arxiv:标签指向更早的DeepSeekMoE论文。P3版本失配：BigCode组织卡同时写StarCoder与StarCoder2的训练数据许可，评估却把Stack v2的描述用作StarCoder的Licensing证据。P4文档不一致：Code Llama 34B模型卡报告训练9个模型65.3 tCO2 eq，更新后的技术论文报告12个模型228.55 tCO2 eq。
• 敏感性：去掉同发布变体证据后，L2均值从2.71降到2.70，L0到L2的增益从0.95降到0.94。把DeepSeekMoE论文和两个改名仓库视为不可达后，L1从2.58降到2.55，L2从2.71降到2.69（§4.2）。
• Figure 2图注：对OLMo-2-1124-7B-Instruct，Emissions and Pollution在模型卡上为0，在技术报告中为5。作者称文档标准并不决定披露出现在哪里：模型卡与数据集卡标准覆盖20个方面中的14个，但技术论文在其中10个方面披露最强，卡只在4个方面领先；模型卡、数据集卡、技术论文的文档类型均值分别为1.77、1.58、2.47，Emissions and Pollution分别为0.19与1.88（Finding 3）。

版本与家族比较

• 版本变动：28对同家族发布中，控制发布距离后，模型卡文本相似度与分数变化的偏相关为r=−0.45；控制文本相似度后，发布距离的偏相关为r=0.15。大变动占相邻发布比较的6.9%，同发布规模比较在L0为1.4%（比值4.82，95% CI [1.85, 18.62]，cluster permutation p=0.010）。44次大变动事件对应40个不同的发布–方面变动：L0为14次退步、7次进步，解析引用后为7次退步、16次进步。只看模型卡漏掉其中19个，含13次进步和6次退步；这13次进步都依赖技术论文，其中2次来自并不描述该模型的DeepSeekMoE论文。去掉这两次归属错误后，参考感知审计仍是14次进步对7次退步（§4.3）。
• OLMo排放与预训练数据：四张OLMo模型卡都没有排放证据。解析技术报告后，OLMo 1与OLMo 2的排放分为5，报告分别给出69.78 tCO2 eq和约154 tCO2 eq；OLMo 3与OLMo 3.1为0。26个模型中9个在datasets:字段声明数据集，17个没有。声明数据集的6个指令微调模型里，5个只列后训练数据，只有OLMo-7B-Instruct同时声明预训练语料。沿base_model:走1到3步，5个中的4个能到达声明预训练数据的模型；Granite 20B的base_model:指向自身。OLMo 1直接声明的Dolma数据集卡在Informed Consent上为5；OLMo 2、3、3.1在每个文档范围上都是0（Finding 9）。
• 家族排序：Table 4中BigCode在L0、L2、L3分别为2.58（第1）、4.05（第1）、4.05（第2）。Granite从L0的1.63（第6）到L2的2.90（第4），再到L3的4.25（第1），L3的上升来自第三方数据集卡。CodeGemma与Phi从L0到L2只上升0.25和0.27，除Kimi外的其他家族至少上升0.95。与2024 FMTI重叠的6个开发者上，Spearman秩相关从L0的0.26到L2的0.60、L3的0.66。作者称这不是直接验证：FMTI评的是开发者及其旗舰模型，多数不在本语料中，且纳入开发者提交的报告。

其他消融与分析

• 事后证据检查影响6/1,447对，范围与文档类型均值变化至多0.02（§3.3）。
• 把两个缺失的Transparency记为0或5，该方面均值在L0被界定为4.42–4.81，在L3为4.88–4.96（§6）。
• L0上，评估了全部20个方面的模型，模型均值从Qwen3-Coder的0.75到StarCoder的2.70；同家族模型相差至多0.65（中位0.38），家族均值从gpt-oss的0.87到BigCode的2.58（§4.1）。
• 代码生成模型与通用模型的L0模型均值区间重叠，分别为0.75–2.70与0.68–2.50，中位数1.60与1.95；方面模式不同，但论文未给出这两组方面差的具体分值（§4.1）。
• Working Conditions从L0到L2保持0.15，L3才到0.54；Fair Wages从L0的0到L1的0.65、L3的1.04。Legal Employment的L3范围为0–4，Models at 5为0.00%（Table 2）。
• 第一方发布者文档中，只有StarCoder论文在Fair Wages上达到最高分，并报告时薪7.30美元；第三方的NVIDIA HelpSteer数据集卡在Fair Wages上为5，是唯一在Working Conditions上高于2的文档，且没有文档在Legal Employment上达到最高分（§4.2）。

作者指出的局限与后续方向

• 外推范围：作者称发现可能不能推广到语料之外；百分比描述的是这26个公开模型，而不是Hugging Face上的全部模型（§6 External）。
• 官方发布：语料只有官方发布，作者称这可能使文档更完整的模型被过多代表（§6 External）。
• 时间快照：文档可能在2026-08-27快照之后变化（§6 External）。
• 单一LLM：只用Gemma，作者称换用其他LLM时分数可能不同；语料含两个CodeGemma模型，LLM也可能偏向自身家族，但验证集里来自这些模型卡的只有6对，不足以估计家族特异性偏差（§6 Internal）。
• 漏掉的报告：卡片文本分类器漏掉CodeGemma的技术报告，因此CodeGemma的L2与L3分数没有计入它（§6 Internal）。
• 构念与后续：分数衡量的是一跳文档范围内披露的最强证据，不是实践是否满足ES-CodeGen方面；人工标注与LLM使用同一组问题，验证的是这些问题被应用得是否一致，而不是问题本身（§6 Construct）。结论呼吁报告文档范围、并把证据核对到其所描述的模型与版本；作者还呼吁AIBOM区分字段缺失与证据缺失，并显式表示模型与版本关系，同时加强对少被记录方面的文档实践。作者计划在发表后公开ES-Trace、文档、评估、标注和复现脚本（Conclusion、Data Availability）。

实验覆盖范围

• 被审计对象为Table 1的26个检查点，来自10个发布者、10个家族（7个代码生成家族、3个通用家族），文档77份，抓取日为2026-08-27（§3.1）。
• 文档范围是L0到L3的一跳直接引用；技术论文分数是方面关键词检索文本上的下界，其余四类文档全文送评（§3.1–§3.2）。
• 评分模型是Gemma 4 31B Instruct，temperature为0；人工样本230对，两位标注者，其中80对双人独立标注（§3.3–§3.4）。
• 同发布规模变体只在L0评估，其模型卡不在77份语料中，也未收集其声明引用；Nemotron以及量化、转换、模态专用仓库在建库时被排除（§3.1、§4.3）。
• 论文报告了230对的两次重评分，以及两个gpt-oss Transparency对因输出预算耗尽而无分数；82个论文–方面对在文档类型均值中记0（§3.3、§6）。

ES-Trace是一套参考感知的披露审计，用来测量代码生成模型的公开文档里能观察到多少ES-CodeGen证据。

• 问题：模型卡或AIBOM字段为空，不等于被引文档里没有证据。审计要顺着仓库暴露的文档关系取回材料，并先确认文档描述的是哪个模型、哪个版本。
• 做法：MDTG连接发布者、模型、文档，以及BaseModel、NextRelease、SizeVariant。范围从仅模型卡（L0）扩到第一方元数据（L1）、第一方卡片链接（L2）和第三方文档（L3），且只走一跳。Gemma 4 31B Instruct按五个递进问题给每个文档–方面对打0–5分，范围内取最高分，并核对证据片段。
• 主结果：26个模型、20个方面上，L0均分1.77/5，518对中55%为0；L3均分2.82/5，无证据比例降到34%，升幅主要发生在L1，结构化引用占L0到L2升幅的86%（Table 2、§4.2）。模型总分均值从35.2升到56.2（Table 3）。
• 仍然少见的方面：即便到L3，Working Conditions、Fair Wages、Legal Employment、Culture、Philosophy and Religion也都不超过1.62。Legal Employment没有模型达到5分。
• 版本与归属：相邻版本的大变动在只看模型卡时是14次退步、7次进步，解析引用后是7次退步、16次进步；40个不同变动中有19个被模型卡审计漏掉（§4.3）。作者还列出变体、工件、版本和文档不一致四类失配，可能把证据记到错误的模型或版本。
• 作者的结论：作者认为伦理相关审计应把模型卡当作入口，并报告文档范围；AIBOM应区分字段缺失与可达文档中的证据缺失，并为引用记录来源、作者归属、范围绑定和版本绑定。扩展范围回收的是已经写出来的证据，并不能补上开发者很少记录的劳动与社会方面。