UK AISI 开源 Transect 智能体评测分析工具

UK AISI 发布开源 Python 包 Transect，基于 Inspect Scout 构建，把 Agent 评测记录中的活动标签、token 用量和记录事件放到同一条以 turn 为索引的时间线上，生成一份交互式报告，供评审者跳转到对应记录片段核对自动分析的依据。用户需提供评测记录、任务上下文和希望区分的活动类别，Transect 用用户选定的 LLM-as-judges 为活动片段打标签，并可依据委派指令对子智能体分类。在一项开放式 AI 研究评测中，AISI 用 Transect 追踪研究计划、基线代码、实验草稿和盲审四份文档在多个智能体间的读写流转，显示子智能体先协作研究计划与代码库，实验开始后集中协作实验设计与数据。Transect 保存活动标签和单次模型判断，可重新打开分析而无需再次调用模型；重复判断或使用多个 judge 模型时，评审者能看到判断分歧之处。

研究者发布开源包 Transect，用于在长程 LLM Agent 评测中保留可观测性。该工具基于 Inspect Scout 构建，用户在可复用的评测族配置中指定任务上下文与行为词汇，判分模型与分析设置另行提供。其可导航报告把记录事件、token 用量、子 Agent 活动与模型生成的行为标签对齐到同一按回合的时间线上，评审者可快速把握一次运行的脉络、把任一标签或事件追溯到来源回合，并导出底层数据表做跨运行分析。作者在一项生成近 1300 万 token 的 AI R&D 评测上演示了该流程，将 Agent 工作划分为与研究技能分类对应的行为阶段、子 Agent 委派与交互以及 token 使用；合并视图显示工作集中在操作性任务与稿件产出，几乎没有持续假设生成阶段的证据。