面向语言模型智能体保障的轨迹证据组织:片段、方法与残余
Organising Trajectory Evidence for Language-Model Agent Assurance: Fragments, Methods, and the Residual
AI 导读
论文提出一个统一框架,把日志规则检查、技能覆盖分析、支持检查、前缀监控、执行门控、稀有事件估计等方法对语言模型智能体运行轨迹做出的不同强度主张合并起来,并显出仍未覆盖的义务。要求写成两层逻辑公式,外层是记录事件上的有限轨迹时序逻辑,内层判断智能体决策时其记录上下文所支持的论证结构是否成立;评估者、智能体和执行门控可获得的信息定义该语言的片段,每种检查方法判定其中一个片段,返回精确、限定测试集、风险界或描述性结论,保障台账把每项义务归为已确立、已处理但未确立或未处理。在 456 条已发布的 τ²-bench 电信轨迹上,基准 oracle 标记 231 条运行,加入规则检查器、支持检查替身和前缀监控基线后,并集分别升至 391、401、407 条,各方法都贡献了其他方法漏掉的标记,门控则使一条禁令在受门控部署上成为可精确判定的结论。