Transect：为长程 LLM Agent 评测保留可观测性的开源工具

长程智能体评估的可观测范围（observability envelope）在变窄：终分和超长转录都不足以让评估者可靠判断智能体做了什么。

• 场景：作者称静态基准在饱和，评估转向开放式、长程、可用工具并委派子智能体的任务，转录可达数百万甚至数十亿 token；更强的智能体出现得更密，测得表现还依赖 token 预算和返工机会。
• 四重压力：作者列出运行内不透明、人工注意力瓶颈、统计功效不足、设置归因不确定。多智能体并行会在同样时间内增加待检查活动，并更难把模型效应与评估设置分开。
• 现有辅助的缺口：作者称 Inspect、Inspect Scout 和 Docent 等已在扩可观测性，但用语言模型加自定义量规分析转录，会引入评审模型、量规、分析单位和上层统计等研究者自由度；评审还会再生成难以核验的 token。
• 本文提出的工具：开源包 Transect（基于 Inspect Scout）用可复用的评估族配置和另配的评审设置，把记录事件、token、子智能体活动与行为标签对齐到共享回合时间线，并链回源回合。作者称它针对运行内不透明和注意力瓶颈；跨运行的结构化输出仍解决不了独立评估次数太少时的统计功效问题，分离模型与设置效应还要更多证据。

评估日志与扫描原语

• Inspect AI（UK AI Security Institute, 2026）：提供评估日志访问和评审模型接口。
• Inspect Scout（Meridian Labs, 2026）：提供转录表示、扫描器执行和存储结果；Inspect Viz 提供报告中的交互图表。作者称 Transect 在这些组件之上，按评估族组织，并在共享时间线上共同解释多个扫描器输出。
• Dubois 等（2026）只出现在上述构建关系的引用中，论文未单独讨论其七步日志分析做了什么。

交互式转录分析与应用追踪

• Docent（Transluce, 2026）：用语言模型助手帮助用户交互浏览转录。作者对比：Transect 提供可复用的族 Spec 和所选评审设置，可跨样本和 epoch 使用，并用编码助手技能在共享表和报告界面上加分析或视图。
• LangSmith、Langfuse、Arize Phoenix、Weights & Biases Weave、AgentOps：支持追踪检查、调试和应用监控；LangSmith 与 Langfuse 还支持离线实验和在线评估。作者对比：Transect 把族定义的活动标签、记录事件和 token 用量放到交互式回合时间线上，并可跟到源转录。

语言模型评审及其自由度

• 自定义量规辅助转录分析：论文举 METR（2026）对一起事件的独立调查为例。作者称这类做法引入评审模型、量规、分析单位和上层统计等自由度，并用 Gelman and Loken（2016）、Steegen 等（2016）、Silberzahn 等（2018）的说法，称看似站得住的选择会累积成可能不可复现的发现。
• LLM-as-judge：引言引用 Bavaresco 等（2025）和 Norman 等（2026），称评审可能夸大信心、错误难以核验。结论又用这两篇说明：语言模型在许多分类任务上能当评审，但可靠性不确立效度。

统计与设置归因（作者称为互补背景）

• HiBayES（Luettgau 等, 2025）和贝叶斯最优停止（Pilditch, 2026）：作者称与 Transect 互补，因为 Transect 整理运行内证据，但不使稀疏观察在统计上足够。
• 设置与构念：引言用 Zhang 等（2026）、Yao 等（2026）讨论表现同时由模型及其嵌入系统决定，并用 Cronbach and Meehl（1955）讨论构念效度。这是可观测性压力的背景，不是方法基线。

基线与数据：论文未报告与其他转录分析工具的定量对比。案例数据来自 CRUX 影子评估（Kirgis 等, 2026）的一个样本，不是拿来当分析工具基线。

作者称 Transect 的贡献，是把可适配分析、交互式证据复核和可检查的模型判断收进一条面向长程评估的可复用流程。

整体上，Transect 把已完成的评估转录变成可导航、可链回源回合的活动账户。用户提供评估族 Spec 和另配的评审设置；包再调用扫描器，写出报告和 dataframe。

评估族配置与输入

• Spec：可复用。可含任务情境、活动定义、相关时的子智能体角色类别，以及自定义分析内容。分类的类别和定义由用户提供，语言模型扫描器据此打标签。没有子智能体时不必写角色类别。
• 分析设置分开存：评审模型、重复次数、是否以及如何允许模型交互，不写进 Spec。这些设置与评审制度和结果一起留在扫描器配置里。
• 支持的日志：Inspect 的 .eval，以及 telemetry-hal 产出的 OpenClaw JSONL。OpenClaw 导入会去掉累积导出中的重复记录，并重建消息、工具活动和子智能体活动。能检查什么取决于源记录。
• 专家启发：包内技能可让编码助手标出缺失情境或不清的类别定义，并准备给主题专家的问题。内置评审扫描器记录所用类别和定义。作者称专家审阅量规不等于已经检验了标签是否描述智能体行为。

五阶段流水线

1. Ingest：把运行放到共享回合轴。一个回合是一次有输出的模型事件，按规范化转录顺序编号。轴记录输出顺序，输出之间的耗时可以不同。
2. Select：先选一个 sample（带指定提示词和评估设置的任务实例）和若干 epoch（对该 sample 的一次尝试）。未指定 epoch 时，取最早被记为成功的 epoch；若没有，取最早的 epoch。
3. Scan：运行结构扫描器和已启用的评审扫描器。
4. Store / Render：结果收成 dataframe，再生成按 epoch 组织的 HTML 报告，把扫描器输出链到源回合。多 epoch 一起分析时，同一组扫描器分别用于每次尝试。

Figure 1 还标出两个扩展点：自定义扫描器往 dataframe 加信号；自定义报告层用这些表加时间线层或界面元素，不改上游分析。

两类扫描器与评审制度

• 结构扫描器不调用模型。内置的包括逐回合 token 与工具调用、上下文压缩、操作员或人类输入与审批、初始系统/任务提示词及评估元数据。压缩候选也可从上下文尺寸下降推断，并与已记录事件区分。
• decision_phases：用 Spec 的封闭词表把运行分成连续阶段，并在缺失时加入 none_of_the_above。作者称强迫在不合适的类别里选择，可能得到一致但不正确的标签。相邻同标签阶段会合并。部分回合的阶段标签并非直接评审其内容，表中记录标注依据。叙述在分类和可选核验之后生成；标签一致不评估这段生成文字是否准确。
• subagent_classification：给每个被分类的子智能体跨度一个标签。默认只读委派指令，标的是编排器要求它做什么，可以不同于它实际做的事。实验性的 activity-informed 模式还会给有限的活动摘要，并提示在与请求冲突时优先记录到的工作。
• 三种评审制度：solo 为单模型一次；k-rolls 为同一模型重复，提供模型内稳定性；cohort 为多个模型分别判断，提供模型间一致，且不能同时把 k_rolls 设到 1 以上。投票取可用标签中最常见者；平局先比支持该标签者的平均置信，再按成员顺序。
• 核验：solo 与 k-roll 默认开启，cohort 被拒绝。阶段入选条件包括其摘要回合的最低置信或可用一致率低于 0.6，以及邻接阶段之间过短的阶段；另有随机抽查，阶段侧默认为 3 个阶段或全部阶段的 5% 中较大者。核验者看得到先前分类。只有核验者置信至少 0.6，不同标签才会被采用。作者称这不是盲的独立评估，改标签率衡量的是模型修订，不是独立认定的错误。

附录 A.1 列出包版本 0.2.0 的一批默认值：k 默认为 1，核验抽查份额 5%，复核触发阈为 0.6。作者称这些默认值并未被确立为最优。

报告、token 口径与复现记录

• 报告：默认含转录与评估设置、对齐的阶段/token/子智能体/人类干预与压缩标记、阶段卡片和可靠性审计。卡片可在报告内展开摘录。可选链接依赖正在运行的 Scout viewer。
• new_work：案例使用的口径含 input 与 output，再加上不超过同车道上一次可用记录以来上下文非负增量的 cache write。billable 是未加权 token 和，不是费用，且排除 cache read。作者称按行为标签汇总 token，只表示用量在各类活动上的分布，本身不衡量科学努力、研究质量或效率。
• 扩展：自定义分类可复用 cohort_llm_scanner 的投票、可选核验和逐判断溯源。作者称复用该辅助函数并不确立自定义量规的效度。报告视图被要求保留可用的置信、一致率和溯源，并标出潜在的可靠性问题。
• 复现要保留的东西：源转录、样本与 epoch 选择、族 Spec、评审设置、自定义分析代码和存储结果，以及可得的软件与模型版本。独立评估者可以不发起新的评审调用而复查存储结果；重跑评审可能得到不同标签。作者称这些记录本身并不确立标签正确。

实验设置

• 被分析的运行：CRUX 影子评估的一个 sample、一个 epoch。OpenClaw 转录。研究智能体为 Claude-Opus-4.7；活动标签的评审写成 Claude Opus 4.7，引用同一份系统卡。论文未再运行其他模型。
• 任务：智能体收到基于一篇完整但未发表的人类机器学习论文的研究简报，要交出它已自审、认为值得被机器学习会议接收的手稿，以及复现分析的包。人类操作员经 Telegram 解决操作问题，不指导研究本身。该样本问的是表格 prior-fitted networks（PFNs）上，部署时检测器能否在无推理时标签的条件下识别有害分布偏移、不误报良性偏移，并超过预先指定的经典检测器基线、通过预先登记的证伪测试。
• 运行规模：554 次编排器工具调用，79 次子智能体部署，57 条操作员消息，8 次上下文压缩，580 条编排器输出（含仅工具输出）。正文写生成 13 million tokens，其中 89% 在委派的子智能体工作中；摘要写 almost 13 million tokens。
• 扫描器：结构扫描器读取压缩、操作员消息、子智能体起止、token，以及自定义的 arXiv 标识符、DOI 和启发式标题匹配。研究活动带为 10 个命名类加 Other；论文特定带使用族 Spec 中 decision_phases 的封闭词表，并另有 Other。子智能体标记来自内置 subagent_classification，标的是被要求做什么。
• 评审协议：k-roll，k=5。每次分类阅读目标全文和工具参数，以及前后最多各 3 条输出。带上显示众数标签，相邻相同标签合并；论文特定活动形成 129 个连续阶段。灰色条是五次评审的 10 个成对比较中标签不同的比例，越深表示不一致越多（Figure 2 图注）。
• 论文未报告：该案例的评审调用次数、费用、与人工标注的一致率，以及第二个 epoch 或第二个样本的数值。

主结果

观察	数值	条件与出处
研究活动标签全一致	474/580（81.7%）	Claude Opus 4.7，k=5，Section 3.1
论文特定标签全一致	476/580（82.1%）	同上
Hypothesising	2/580	研究活动单主标签，Section 3.1
Reflecting；Evidence interpretation	56；27	同上，580 条中的条数
Self-review；Manuscript write-up	7.8 million；2.9 million	new-work tokens，分母 14.5 million，Section 3.2
子智能体工作占比	89%	正文所述生成的 13 million tokens，Section 3

• 作者描述该 epoch 以很长的操作阶段开头，其间除调试外很少被判为研究活动，并与频繁的操作员消息重合；中段在基准构建、模型评估和证伪之间交替；末段集中于文稿起草和自审。作者称合并视图几乎看不到持续的假设生成阶段，并认为这可以说是高质量科学产出的必要部分。
• 作者称 Analysis design 完全没有出现，并用 Surprisingly 描述这一点。两次 Hypothesising 都是编排器计划为已经提出的检测器推导新的理论结果，并两次都委派给子智能体。作者认为缺失标签只是行为缺席的弱证据：可能很少形成假设，也可能单主标签扫描器漏掉弥散或次要活动。
• 作者称自审与文稿撰写大约占全部 new-work tokens 的四分之三，且这笔支出几乎都是委派的。solution ideation 约 22,000 tokens，非研究工程约 2.2 million tokens，引用类子智能体约 5 million tokens。作者称这与 Kirgis 等的观察一致，即智能体产出的是负面发现很充分的论文，而不是有新想法的论文。作者认为 Transect 本身分不清：是偏好可处理的操作与写作、支架不足以支持科学工作，还是科学推理没有出现在记录里。Figure 3 图注写明不应把各面板的 token 加总。作者称 Reflecting 和 Evidence interpretation 相对不稳定，论文未给出这两类的单独不一致比例。作者称 solo 会更省，但没有经验稳定性估计；论文未报告费用。

共享文件与委派协调

• 测了什么：自定义结构扫描器把文件访问接到其他会话更早的写入；可选评审扫描器推断访问目的。对象是同一 TabPFN epoch。
• 结果：922 条访问记录、131 个参与会话，其中 346 条连接一个委派子智能体与另一个。会话包括委派子智能体、调度器触发的任务，以及主上下文和 Telegram 聊天。614/922（66.6%）位于 paper/；实验一节草稿单独 102 条。Figure 4B 还标出代码目录 91、预算文件 85、研究日志 49、记忆目录 36、研究计划 26、其他资源 21。目的侧：规则赋值 150 条，评审赋值 214 条，558 条仍为 unclear。评审赋值中 166 条（77.6%）在五次 Opus 4.7 roll 上全一致。Figure 4C 把复合标签分别计入各类，并标出 Building on 216、Assessing 128、Orienting 127、Coordinating 31、Responding to assessment 8、Unclear 558。
• 作者的解读：作者称这仍是原型；77.6% 衡量的是模型内可重复性，目的是否有效、以及访问是否被采纳，都要更多证据。图注写明访问不确立采纳。作者提出覆盖缺口：解析被省略的 shell 命令和直接消息会捕获更多交换；若支架记录读结果、文件版本和子智能体返回载荷，更便于追踪贡献。

阶段转移、事件邻近与引用核验

• 阶段图：去掉非研究工程并合并连续重复后，作者称 Figure 5 左上可见两种体制：经基准构建、模型评估、消融和证伪的构建—测试环；以及文稿撰写与自审之间的写—审振荡。论文未给出各边的转移次数。作者称可用该图考虑是否设置显式的构思门，但这一比较并未在文中做出。
• 事件邻近：新阶段在 57 条操作员消息中的 18 条之后 3 个索引步内开始，在 28 条之后 10 步内开始。8 次压缩中，3 次的 3 步内、再加 1 次因而共 4 次的 10 步内开始新阶段；Figure 5 另标 3/8 次压缩后当前阶段继续。作者称这些是共现计数，不是效应。
• 引用：对照 OpenAlex、Crossref 和 arXiv。智能体 46 条引用中 20 条至少在一个注册库核验通过，另有 8 条有标题匹配但无关联 DOI，18 条未确认。人类文稿 69 条中 60 条至少在一个注册库核验通过，另有 5 条标题匹配，4 条未确认。两份文稿共享 13 条参考文献。Figure 5 右下标 Human only (50)、Agent only (7)、Shared (13)。作者称注册库不匹配不能证明伪造，但差异标识出智能体文稿的引用核验负担更大；引用网络与“智能体检索没有恢复到与人类研究者相同的科学背景”这一可能性相符。

其他消融与分析

• 该案例未报告类别改名、去掉某段专家情境、更换评审模型或 solo/cohort 对照的标签差异数字。
• 附录 A.5 定义了 Krippendorff’s α、Gwet’s AC1 和若干警告阈，案例未报告这些系数。
• 作者称低变异不确立标签有效；计算假阳性率和假阴性率需要独立收集的人类标签或其他外部参照（Section 3.1、附录 A.5）。

作者指出的局限与后续方向

• 评审会被过度解读：结论写明，基于语言模型的扫描器可能夸大信心、掩盖不确定，并最终被人类审阅者过度解读（Section 4）。
• 可靠性不等于效度：结论写明，可靠性不确立效度；评估效度需要单独证据，例如与独立收集的专家标注比较（Section 4）。附录 A.5 另写明，重复判断的稳定性和跨模型一致都不能确立正确性，因为一致可以来自共同错误。
• 日志缺口：结论举例，若转录没有记录工具失败，把该事件加入未来日志，审阅者才能把后续行为与失败放在一起看（Section 4）。
• 案例没有审阅者效益估计：附录 A.5 写明，案例没有给出审阅时间节省、漏掉的发现或审阅决策改善的对照估计，也没有把行为分类的贡献与“让长转录可导航”分开。分类准确率或审阅者收益的主张，需要绑定量规、包版本和评估设置的证据。
• 改进需要对照：附录 A.7 写明，要显示准确率、审阅者表现或成本效益的改进，需要适当的比较。增加扫描器、情境或评审模型也可能增加成本、分歧和共同错误；更多情境或更多评审不一定提高分类质量。
• 单条转录没有运行间变异的经验估计：附录 A.3 写明，一条转录不能提供转录之间变异的经验估计；关于智能体能力差异的推断还要单独的统计分析，以及测量是否抓住目标能力的证据。

实验覆盖范围

• 演示运行是 CRUX shadow evaluations 的一个 sample、一个 epoch，研究智能体为 Claude-Opus-4.7，转录格式为 OpenClaw（Section 3）。
• 研究活动、论文特定活动和访问目的的评审均为 Claude Opus 4.7、k=5；子智能体类型使用内置分类器（Section 3.1、3.3）。
• 引用核验使用 OpenAlex、Crossref 和 arXiv，并与作为简报来源的未发表人类文稿比较（Section 3.4）。
• 论文未报告该案例的第二个样本或第二个 epoch，也未报告标签与独立专家标注的一致率；Section 3.5 把多样本、多 epoch、独立专家标签和显式统计模型列为确认性主张所需。
• 论文未报告该案例的评审调用次数或费用；附录 A.5、A.7 讨论了审阅者研究和成本效益比较，但未给出这类实测。Section 3.1 提到 cohort 可作为替代制度，案例未报告该制度下的模型间一致率。

Transect 是基于 Inspect Scout 的转录分析包，用来在长程智能体评估里保住可回查的过程账户。

• 问题：作者称开放式长程任务的终分盖住放弃的策略、返工和异常行为，转录又长到人工读不完；再用语言模型自由分析，评审模型、量规和分析单位等选择会使结论难复现、难审计。
• 做法：评估族 Spec 规定要抽取的行为词表和任务情境，评审模型另配。流水线把运行放到共享回合轴上，用结构扫描器读已记录事件，用评审扫描器按封闭词表打标签，再写成链回源回合的报告和可导出的表。评审可以单次、同模型重复或多模型；作者强调稳定性和模型间一致不等于标签正确。
• 案例：一条 CRUX 影子评估的 TabPFN 样本，智能体为 Claude-Opus-4.7。正文称生成 13 million tokens，89% 在子智能体。自审与文稿撰写的 new-work tokens 为 7.8 million 和 2.9 million，分母 14.5 million。580 条编排器输出中，研究活动标签全一致的占 81.7%，被标为 Hypothesising 的只有 2 条。922 条跨会话文件访问中 66.6% 位于 paper/。智能体文稿 46 条引用里 20 条至少在一个注册库核验通过，对照人类文稿为 60/69；作者称不匹配不能证明伪造。
• 作者的结论：这种人类能进入的整体画面，对越来越长、越来越复杂的评估转录保持监督是关键，可用于能力、安全事件或支架约束等问题。同时，语言模型评审必须小心使用；可靠性检查应随每次扩展保留，效度仍要独立证据。