研究者提出理解审计机制，以缓解自动化 AI 研究带来的风险

核心问题是：前沿AI研发已大量由AI编写，但据作者所知，尚无已发表制度把责任人理解所建之物的证据，作为继续开发或使用的预先承诺条件。

• 场景：Anthropic、OpenAI与Google报告，AI已编写其75%或更多新代码。作者认为，不理解系统的批准没有意义；要落实IDAIS关于未经明确人类批准与协助不得自我复制或改进的共识，组织须保持对AI产出的人类理解与问责。
• 现有做法：作者称，Lin等（2026）提出最低理解阈值与无辅助检查，但未规定前沿AI保障如何落地，也没有带约束力门禁的审计流程。实验室公布的自动化与干预指标不衡量员工理解，也未给出触发限制的阈值。
• 作者的观察：作者认为，在产出超出专家理解能力之前，体量就可能压倒人类监督。其对领先开源AI研发项目的分析发现代码产出上升、每行代码的人类评审评论率下降，自动化fleet账户更低。
• 本文提出：作者提出并称为novel的comprehension audits。独立方抽查重要组件、实验或修改，由责任人向审计员解释以出示理解；未达最低等级则暂停该贡献的开发直至补救，反复失败则升级为暂停责任单位的发布授权，并回滚受影响发布。
• 论文中的威胁模型：作者把主要威胁模型写成对研究产出的系统性理解丧失（Section 5.3）。对象是前沿实验室自动化AI研发中的人类理解与问责，而不是部署后的模型行为评估。

自动化研发与理解原则

• IDAIS 2024与实验室自述：共识要求AI系统未经明确人类批准与协助不得自我复制或改进。作者引述Anthropic、OpenAI员工关于不再读代码、不理解自己在做什么的说法，以及Amodei（2026）关于递归自我改进已开始发生的说法。
• 理解下降的既有研究：Bainbridge（1983）讨论自动化加重监督困难与认知萎缩；Kosmyna等（2025）报告依赖LLM降低回忆、投入与自我报告的所有权；Shen与Tamkin（2026）在随机实验中发现使用AI损害概念理解、读代码与调试。Mitchell、Ghosh与Passi（2026）认为当前智能体开发方式无助于有效人类监督。
• Lin等（2026）：提出Cognitive Integrity Threshold，用周期性无辅助理解检查检验理解是否高于阈值，并建议制度性纠正。作者称该框架确立了一般理解原则，但未规定前沿AI保障的适用方式，也没有带约束力门禁的审计流程。

度量、红线与节奏治理

• Chan等（2026）：提出跟踪AI研发自动化及其影响的指标、监督红队，以及按缺陷严重程度分层的缺陷率与发现时间。作者称这些是滞后指标，没有给出自动化何时过度的清晰门禁；所述红队强调自动化监督能否发现破坏，而不是环内人类的理解。
• 实验室已公布指标：Anthropic与OpenAI报告贡献者生产率、AI在研发中的角色、干预率、实验速度等。作者称这些可见性有价值，但都不处理员工理解，两家也未提出触发限制的阈值。
• 按技术条件暂停或限速：既有建议把暂停或缓解系于危险能力评估、失准证据、能力检查点、算力上限，或模型用于AI研发前的强制滞后（Alaga与Schuett 2023；Karnofsky 2024；Amodei 2026；Lifland等 2026）。作者称其中没有一项以责任人理解所建之物的证据作为预先承诺条件来调节开发。

审计、认证与人员许可

• AI审计文献：Raji等、Sandvig等、Metaxa等讨论一般算法审计；Mökander等与Brundage等讨论前沿AI审计；Schuett讨论AI风险管理与内部审计。作者称，即便成熟的模型风险管理，2026年修订指引也把生成式与智能体AI排除在范围外。
• 过程认证与评估准入：ISO/IEC 42001:2023可认证管理体系是否存在，作者称它不处理相关人员的理解；Anthropic与OpenAI持有覆盖模型开发的认证。AEF-1规定第三方评估的独立性、访问与透明度，但不要求访问开发过程、底层代码或参与人员。Brundage等（2026）的AAL-2及以上要求第三方深度访问并访谈员工以了解流程如何实际运作；作者称据其所知这是既有文献中范围最广的审计要求，但没有人提议审计相关人员的理解。
• 人员理解类许可：欧盟AI法案第14条要求高风险系统的监督者能理解能力与局限，作者称理解程度规定得不清楚。核电操作员、药品生产与财务报表有认证人员知识的制度，但作者称它们针对理论较清楚的工程系统；Judge、Nitzberg与Russell（2025）则指出先进AI行为是涌现性质。

可扩展监督与AI control

• 可扩展监督：Amodei等（2016）、Christiano、Shlegeris与Amodei（2018）、Bowman等（2022）把问题定义为用有限人类监督对齐或监督可能在多数相关技能上超过人类的系统。作者称该方向在有限场景有进展（Kenton等 2024），但没有记录显示前沿实验室在生产中使用此类协议，也未见文献处理如何把人类监督扩展到自动化AI研发的大量代码与实验。
• AI control：Greenblatt等（2023）提出针对故意破坏的控制协议；运行时控制已有应用（UK AI Security Institute与Redwood Research 2025等）。作者称尚无已展示的安全论证，控制技术也不提供自动化AI研发风险何时过大的门禁。
• 比较对象：实证部分没有方法基线。比较切片是检测到AI使用的PR、未检测到的PR、fleet operator账户，对照期为检测技术匹配不到任何PR的Q1 2024。

作者把本文定位为：用组织上独立的理解评估、分类结论、申诉、限定补救与恢复前核验，把Lin等的理解原则做成可操作门禁，并报告评审注意力下降的证据。

Comprehension audits把审计对象定为研发团队的集体人类理解，而不是其产出的工件。未达最低理解等级则暂停受影响贡献的开发与依赖它的发布，直至补救；反复失败再升级。

贡献、理解层级与独立性

• 贡献：作者定义为有人对其负责、并改变组织产品或信念的有意义研发单元，可包括已完成实验及其结论、训练配方变更、新数据集接入或系统优化。按目的与效果界定，不按规模或是否由AI完成界定；指挥工作并接受结果的人对整体负责。
• 集体理解：审计会议核验贡献者中是否有充分理解，即某个责任人理解全部关键方面。作者认为，因协作研发，不宜要求单一具名个人回答所有方面，但相关人类合在一起必须做得到。
• 三层深度（Table 1）：Deep understanding覆盖架构与设计、实现行为、过程；Familiarity覆盖关键发现与结果分析；Limited明确不要求解释模型行为的根因，也不要求超出业界通行的深度学习理解水平。
• 谁来审：设计为由外部审计员执行，实验室嵌入审计员并给予有意义的内部访问；AAL-2的访问深度与数月时长被作者认为足够。也可由内部监督或正式内部审计执行。审计审查委员会监督审计员表现。理解标准不随保障级别或执行组织改变。

六阶段流程

Table 2与Figure 1给出生命周期。图注写明第4–5阶段展开筛选分支、三种分级结果、补救回路与申诉路径。

1. Auditor onboarding：审计员学习架构、专有方法、流程与标准，技术资格应相当于主题专家，并获得与新贡献者相当的背景；应轮换，使新人定期审计给定团队。
2. Auditor monitoring：跟踪大规模训练、内部使用、外部部署、事件响应等关口，以及提交、拉取请求与实验；还跟踪理解的代理指标。
3. Audit selection：在审计次数预算与单位参与时间上限内，审计员自行选择。可按重要性、新颖性、组织覆盖、自动化指标所示的评审不足风险、随机或组合方式选取。作者认为，为跟踪趋势，应有一部分随机或按组织分层抽样。
4. Conduct audits：准备、开会、分级并出报告。准备期间被审计贡献的责任人不知情。
5. Audit response：草案交参会者在规定期限内请求更正后发布；可申诉。非通过的已定结论须按安全框架处理。
6. Strategic updates：审查委员会看审计量与允许速率是否偏离、覆盖缺口、筛选报告率、审计员是否过度依赖AI，以及标准是否分化，并汇总趋势、校准量规、向领导层与公众出报告。

会议、分级与闸门

• 会议：类似论文答辩或设计评审，也类似无指责的事后回顾。贡献者须同步回答，并披露哪些回答来自贡献完成之后才获得的了解。可用工具（含AI助手）导航和展示，不得用其做分析或生成回答。审计员可用AI做导航与辅助分析，但必须基于自己的理解主持。示例最长时长为九十分钟。审计员可偏离议程追问，以探测背诵答案。应有会议记录。
• 准备与筛选：审计员查阅规格、架构、实验设计、训练设置、结果、代码、决策记录与提交记录，可使用AI做发现与学习，但须能流利主持并对意见负责。曾对该贡献有实质贡献或监督角色者须回避。若理解证据或风险影响使审计员决定不开会，则发screening report：它不下判断，也不能要求补救。被抽样选中的审计必须安排会议。规定时限内未开会，记为Unable to Assess。
• 分级（Table 4、Table 5）：按架构与设计、软件实现、过程、关键发现、结果分析打分。通过要求所查组件与方面都达到最低可接受理解；非关键部分可给conditional pass并限期补救；任一关键知识缺口，或重要子域、中心方面上的不充分理解模式，即Failure。排练或AI生成的回答不算出示理解。附录A给出各主题的通过、有条件通过与失败量规；附录B用虚构例子说明追问后的实现失败，以及科学判断错误仍可判通过的边界。
• 后果：Failure暂停任何依赖该贡献的系统发布，包括外部部署或非公开测试使用，直到补救。补救有期限，所有权交给负责该贡献的组织的高管。反复失败或影响关键系统，升级为暂停责任单位的发布授权，要求回滚受影响发布并增加保障；系统性失败还要求更新安全框架。Unable to Assess与Failure同样约束贡献，但只维持到开会。申诉未决期间，除非已补救或申诉改判，约束继续有效。工程与研究领导负责执行，审计员监督合规。作者要求对参与者有反报复保护，失败不进入纪律处分或绩效评审。

抽样能检出失败的计算与代理指标

• 检测表：Table 3在随机抽取、不使用风险线索、失败相互独立的假设下，给出至少发现一次失败所需审计次数。失败率5%时，50%、90%、99%检测概率分别要14、45、90次；10%时为7、22、44次；25%时为3、9、17次。作者举例：失败率25%时，每季度17次审计对应99%检测率。
• 五类代理指标（Section 6）：Specification、Interaction depth、Inspection、Documentation、Review。前四类依赖与AI智能体的交互记录；Review用人类代码评审的频率、时延与评论。作者称稳定指标不是理解良好的证据，指标变化也不是理解变差的证明，只为调查提供启发式，且没有给出理解退化的清晰阈值。本文只收集并报告了Review类。

实验设置

• 范围：224个GitHub组织、2135个仓库。其中179个AI开发组织的全部公开仓库1278个，另45个组织只纳入857个AI主题仓库。时间是对照期Q1 2024，以及Q4 2025至Q2 2026。Section 7称每季度合并PR为54,000至162,000。
• 比较切片：检测到AI使用的PR、未检测到的PR、fleet operator账户。Fleet定义为任一研究季度合并至少300个PR的账户，共42个；只按提交量定义，论文未按其PR内容判断是否使用AI。常规贡献者须为至少一仓库成员、四个季度都至少提交5个PR、四季均值至少10个，且不是fleet。
• AI检测：三层，分别是提交标记、智能体机器人作者、已知分支前缀。作者称这是AI使用的下限；Q1 2024没有任何检测技术匹配到PR。组织名到GitHub组织的映射使用Claude Fable 5。
• 指标：评审率为八周内至少有一次作者以外人类正式评审的已合并PR占比。评论率为人类评审子集上、经winsorize后的行内评论数除以变更行数，论文以comments per kLOC报告。另报告可追溯AI占比与行内评论覆盖率。
• 统计与截止：Figure 2的序列按PR池化；Table 6为仓库份额的贡献者加权均值，区间为2000次仓库bootstrap。Table 9评审率用Wilson 95%区间，Table 10评论率用PR上的百分位bootstrap。合并、评审与评论都用创建后八周截止；最终采集日为2026-09-01。论文未使用LLM裁判判定理解。

主结果

正文称，期末全部PR中可追溯AI编写占17%；Appendix C.2称Q2 2026池化提交PR的AI占比为17.2%；Table 6的贡献者加权仓库均值在Q2 2026为提交PR 16.8% [14.8, 18.7]、合并PR 16.4% [14.3, 18.4]。常规贡献者从Q1 2024到Q2 2026的提交代码量中位增幅为183%，有AI使用证据者为202%。

下表为Figure 2在2026年6月的池化点（Table 9、Table 10）。Q1 2024的AI切片未单列，因为检测匹配数为零。

Swipe horizontally to read the table

切片	2026年6月池化评审率	2026年6月评论/kLOC	相对Q1 2024非AI评论基线
Non-AI	78.8% [78.3, 79.2]	1.82 [1.74, 1.90]	46%
AI	71.2% [70.3, 72.1]	1.44 [1.32, 1.57]	36%
Fleet	19.8% [18.9, 20.7]	0.80 [0.65, 0.99]	20%

• 作者的解读：作者称非AI评审率在整个时期大致维持在80%，与智能体工具使用前的Q1 2024大致相同；AI PR的评审率通常更低，中位差距8.1个百分点；fleet在全样本中低于30%，而Q1 2024约为50%。作者认为，可检测到的AI自动化增加时，人类评审呈下降趋势。
• 评论率：作者称各类PR的每千行评论都下降，非AI评论率下降到与AI PR汇合，相对Q1 2024约减少50%，且该降幅落在AI与非AI各自95%置信区间之外。到2026年6月，使用AI的PR评论率降至Q1 2024基线的36%，未使用AI的降至46%。作者认为这暗示人类评审者注意力下降。
• 例外：贡献者加权后，AI与非AI评审率的差距消失。固定活跃仓库面板上评审率下降较小，fleet季度中位为40%。fleet PR的行内评论只占3–7%，非fleet为20–26%，因此fleet的评论率来自集中的少数PR。

固定仓库集与检测精度

• 固定集：Table 11在每个研究季度至少有5个PR的332个仓库上重算。2026年6月池化评审率为非AI 82.4%、AI 75.2%、fleet 43.6%；评论率相对该集合Q1 2024非AI基线4.04，分别为52%、36%、9%。该集合Q2 2026提交PR的AI占比为15.6%，全文截面为16.8%。
• 精度：只对仅由Layer C检出的PR做了组织分层抽样。带正面来源痕迹的比例为codex/ 95%、copilot/ 98%、cursor/ 49%、claude/ 42%；后两者其余部分为无法判定。Q2 2026标题数字在计入弱前缀时为16.83%，要求正面来源时为16.72%。Layer A与B按精确身份匹配、经手工核对，但未抽样假阳性。
• 作者的界限：作者称检测是下限，本地编辑、未追踪工具与squash merge不会留下这些痕迹。Appendix C还称，开源分析与前沿实验室专有研发有多处差异，包括尽量降低AI贡献可见性的激励。

其他消融与分析

• Table 8：论文规则（每季至少5、四季均值至少10）下n=337（有AI证据202、从未检测到135），提交kLOC从6.26到17.72，提交倍数2.83、合并倍数2.73；有AI证据与从未检测到的提交倍数为3.02与2.32。
• 同一规则的bootstrap：提交倍数2.83 [2.10, 3.64]，有AI证据者为3.02 [2.47, 4.36]。
• 更严的10/20规则：n=211，提交倍数2.93，有AI证据与从未检测到为3.09与2.40。
• 八周窗口：Appendix C称，到2026年6月发生的评审、评论或合并中，超过97%发生在创建后八周内（针对Q1 2024与Q4 2025的检查）。
• Q1 2024的fleet已合并合格PR占4.7%（2,367/50,406），Q2 2026占15.2%（21,992/145,044）。
• 论文没有开展comprehension audit，因此没有审计通过率、补救时限或代理指标对理解问题的预测结果。

作者指出的局限与后续方向

• 无真实使用经验：Section 8.3称，一个有意义的局限是缺乏真实世界经验，分级量规不成熟，需要从实际使用中改进，并称这是关键研究议程。
• 核验市场：Section 8.3称另一局限是市场方面：具备深度技术专长的独立核验组织生态新且相对小，主要依赖实验室自愿参与，因此其指出失败的独立性存疑；领先实验室数量少，核验组织的客户必然少。
• 指标依赖可观测痕迹：Section 8.3称，本文自动化指标依赖约定与埋点来跟踪AI驱动的开发；本地环境中的AI使用只能靠自愿参与、内部使用审计、细粒度机器监控或启发式分析跟踪。作者同时把这写成理解审计仍然重要的理由。
• 范围：Section 8.3称隐蔽研发可以避开过程审计，尽管前沿研发所需的大量算力及现有治理使未跟踪项目难以使用大量算力。开源已有不对中间工件做人类评审的全自动研究循环；通过开放权重或公开API使RSI民主化，不是comprehension audits处理的威胁模型。作者还称，审计提供早期警告和安全刹车，并不通过对齐使自动化AI研发变安全，也不确保控制。
• 试点：Section 8.4与结论把在前沿实验室做试点列为下一步。试点不含限制开发或使用的约束性承诺，只评审并回应所报告问题；成功标准拟预注册，包括主题条件等级与微小缺口的发生率、审计员主题评级至少90%一致、准备时间90%落在预算内、90%的会议在约定时限内排上。作者称试点在任何情况下都可以建立可靠性、可行性与成本，但不能区分“员工理解本来就高”和“工具无效”。
• 扩展与制度：Section 8.2称，把审计扩展到更大规模软件工程是有希望的研究方向，但鉴于投入与稀缺专长，最重要的是用在前沿AI研发，扩展到更广的AI研发可能困难。结论称，作者认为强制由经认可外部审计员执行理解审计的法规，是降低自动化AI研发风险的有希望的中期干预；成功试点之后，再扩大到嵌入式外部核验、从自愿走向可强制的标准化。作者还建议前沿实验室发表基于Section 6候选指标的测量研究，以及研发实践如何改变责任与理解方式的调查。

实验覆盖范围

• 实证覆盖224个GitHub组织、2135个仓库，季度为Q1 2024与Q4 2025至Q2 2026，比较非AI、检测到AI与fleet三类已合并PR（Section 7、Appendix C）。
• AI占比同时给出全部PR的17%、Q2 2026池化提交PR的17.2%，以及Table 6的贡献者加权仓库均值；检测被作者写成下限，且只对Layer C抽样了精度。
• 代理指标五类中，本文只收集并报告Review；Section 6称其余多依赖内部交互记录，且尚未试点。
• 论文未开展comprehension audit，也未报告审计员之间的实际一致率；Section 8.4的90%一致率是拟预注册的成功标准。
• 组织名映射使用了Claude Fable 5；附录B的分级例子由Claude Fable生成并经作者编辑，作者写明为虚构合成，不描述任何实际组织、团队或审计。

本文是一份研发过程保障提案：用comprehension audits检验责任人是否理解AI参与产生的研发贡献，未达标就暂停后续开发与依赖该贡献的发布。

• 问题：作者面对的场景是前沿实验室报告AI已编写75%或更多新代码，而批准若不伴随理解就没有意义。作者称，据其所知尚无已发表制度把这种理解证据作为继续开发或使用的预先条件。主要威胁被写成研究产出上的系统性理解丧失。
• 做法：审计对象是集体人类理解。独立审计员在预算内抽查贡献，以不用AI作答的会议核验架构、实现、过程、发现与结果分析。等级为通过、有条件通过或失败；筛选报告不能判失败。失败暂停依赖发布，反复失败升级到暂停单位发布授权并回滚。Table 3在随机、独立失败假设下给出检出至少一次失败所需审计次数。
• 开源证据：224个组织的仓库中，期末约17%的PR可追溯到AI编写。常规贡献者提交代码量的中位增幅为183%，有AI证据者为202%。非AI评审率大致维持在80%；2026年6月池化评审率为非AI 78.8%、AI 71.2%、fleet 19.8%（Table 9）。AI PR评论率降至Q1 2024基线的36%，非AI为46%（Table 10）。贡献者加权后，AI与非AI的评审率差距消失。
• 作者的结论：作者认为评论率下降暗示评审注意力下降，并主张实验室以嵌入的独立审计员开展此类审计。作者同时写明，尚无真实审计经验，量规不成熟，审计只是早期警告和安全刹车，不能替代对齐或控制；下一步是无约束性承诺的前沿实验室试点。