UK AISI 开源 Transect 智能体评测分析工具
先了解这件事
研究者发布开源包 Transect，用于在长程 LLM Agent 评测中保留可观测性。该工具基于 Inspect Scout 构建，用户在可复用的评测族配置中指定任务上下文与行为词汇，判分模型与分析设置另行提供；其可导航报告把记录事件、token 用量、子 Agent 活动与模型生成的行为标签对齐到同一按回合的时间线上，评审者可快速把握一次运行的脉络、把任一标签或事件追溯到来源回合，并导出底层数据表做跨运行分析。UK AISI 随后发布这一开源 Python 包，称其把 Agent 评测记录中的活动标签、token 用量和记录事件放到同一条以 turn 为索引的时间线上，生成交互式报告，供评审者跳转到对应记录片段核对自动分析的依据；用户需提供评测记录、任务上下文和希望区分的活动类别，Transect 用用户选定的 LLM-as-judges 为活动片段打标签，并可依据委派指令对子智能体分类。UK AISI 表示，随着智能体编写代码、运行实验并相互协作，复杂评测越来越难解读，单一评测分数会掩盖智能体达成该分数的具体过程，Transect 让评测者能够查看轨迹中的过程细节。
AI 根据报道生成 · 4 天前更新
后续时间线
- X @AISecurityInst精选UK AISI 开源 Transect，将 Agent 轨迹转为可交互时间线
UK AISI 发布开源工具 Transect，用于把 AI 智能体的运行轨迹转换成可交互时间线。该机构指出，随着智能体编写代码、运行实验并相互协作，复杂评测越来越难解读，单一评测分数会掩盖智能体达成该分数的具体过程。Transect 正是针对这一问题，让评测者能够查看轨迹中的过程细节。
- UK AI Security Institute精选UK AISI 开源 Transect，把大规模 Agent 评测记录转成可核查报告
UK AISI 发布开源 Python 包 Transect，基于 Inspect Scout 构建，把 Agent 评测记录中的活动标签、token 用量和记录事件放到同一条以 turn 为索引的时间线上，生成一份交互式报告，供评审者跳转到对应记录片段核对自动分析的依据。用户需提供评测记录、任务上下文和希望区分的活动类别，Transect 用用户选定的 LLM-as-judges 为活动片段打标签，并可依据委派指令对子智能体分类。在一项开放式 AI 研究评测中，AISI 用 Transect 追踪研究计划、基线代码、实验草稿和盲审四份文档在多个智能体间的读写流转，显示子智能体先协作研究计划与代码库，实验开始后集中协作实验设计与数据。Transect 保存活动标签和单次模型判断，可重新打开分析而无需再次调用模型；重复判断或使用多个 judge 模型时，评审者能看到判断分歧之处。
- arXivTransect：为长程 LLM Agent 评测保留可观测性的开源工具
研究者发布开源包 Transect，用于在长程 LLM Agent 评测中保留可观测性。该工具基于 Inspect Scout 构建，用户在可复用的评测族配置中指定任务上下文与行为词汇，判分模型与分析设置另行提供。其可导航报告把记录事件、token 用量、子 Agent 活动与模型生成的行为标签对齐到同一按回合的时间线上，评审者可快速把握一次运行的脉络、把任一标签或事件追溯到来源回合，并导出底层数据表做跨运行分析。作者在一项生成近 1300 万 token 的 AI R&D 评测上演示了该流程，将 Agent 工作划分为与研究技能分类对应的行为阶段、子 Agent 委派与交互以及 token 使用；合并视图显示工作集中在操作性任务与稿件产出，几乎没有持续假设生成阶段的证据。
相关讨论
关注度走势
每天新增来源
- 10月6日新增1个来源（1家媒体、0个账号）
- 10月7日新增2个来源（2家媒体、0个账号）
- 10月8日新增0个来源（0家媒体、0个账号）
- 10月9日新增0个来源（0家媒体、0个账号）
- 10月10日新增0个来源（0家媒体、0个账号）
- 10月11日新增0个来源（0家媒体、0个账号）
- 10月12日新增0个来源（0家媒体、0个账号）
- 10月13日新增0个来源（0家媒体、0个账号）