ContextWeave:面向长周期办公工作流的智能体记忆基准
ContextWeave: A Real-World Workflow Benchmark
AI 导读
研究者提出 ContextWeave,一个纵向基准,用于评估回忆到的经验能否提升语言智能体在真实办公工作流中的下游表现。该基准将 14 名参与者数月的工作流重建为 1,005 个可执行任务,其中 568 个为核心评测任务,包含指令、容器化环境、轨迹和任务专属评分标准,衡量工作区质量与参与者偏好对齐,并诊断相关性、连续性、可解性和对误导性回忆的鲁棒性。在固定模型下比较六种记忆组件,最强配置将 Workspace Score 从 68.08 提升到 78.20,Preference Score 从 41.50 提升到 70.60。固定记忆组件时,回忆对全部五个被测基座模型都有改善,但幅度差异明显。分析显示,可操作、经验丰富的记忆比精简摘要更能支持工作流延续并减少重复探索,同时也更容易受误导性回忆影响。