微软开源CAVEAT购物Agent评测基准
先了解这件事
微软开源 CAVEAT，用于评测网页 Agent 是否遵循用户既定偏好并做出最优选择，唯一报告指标为最优选择率。评测覆盖九个虚构电商与服务环境，分为 CAVEAT-Standard（九个环境、312 次运行）和 CAVEAT-Hard（五个 2112 商品场景、每个模型/框架 10 次运行）两档，附带 BrowserUse 基线与改进的 CAVEAT-Harness，支持接入任意 OpenAI 兼容端点及自定义 harness。在引导手段下，最优选择率从 78.6% 降至 17.3%。后续论文介绍称，该基准用九个高保真电商环境和八类来自商业实践的引导机制，评测计算机使用 Agent 在环境与用户目标存在激励冲突时是否仍选到用户最优商品；在 52 个标准任务、五个模型家族共 18 个配置上，关闭引导机制时最优购买率 78.6%，全部开启后降至 17.3%，退化幅度 61.3 个百分点；CAVEAT-Hard 把目录扩到 2,112 个商品、88 页结果，GPT-5.6-Sol-high 从 90 余个百分点下降。
AI 根据报道生成 · 2 天前更新
后续时间线
- 论文追踪精选微软研究院发布 CAVEAT：电商引导机制使 Agent 最优购买率从 78.6% 降至 17.3%
微软研究院提出 CAVEAT 基准，用九个高保真电商环境和八类来自商业实践的引导机制，评测计算机使用 Agent 在环境与用户目标存在激励冲突时是否仍选到用户最优商品。在 52 个标准任务、五个模型家族共 18 个配置上，关闭引导机制时最优购买率 78.6%，全部开启后降至 17.3%，参考的退化幅度为 61.3 个百分点；CAVEAT-Hard 把目录扩到 2,112 个商品、88 页结果，GPT-5.6-Sol-high 从 90.0% 降到 0.0%，50 次尝试均停在第 1 页。轨迹分析和消融把失败归为三类：过早结束搜索、用户未声明的偏好排序（请求中先提到的偏好被当作优先级）、在价格等关键事实未确认前下单。研究者还用合成环境轨迹两阶段后训练 Qwen3.5-27B 得到 CAVEAT-27B，在 16 个留出任务上配合 Harness 达到 22.9%。
- 日期未标microsoft/CAVEAT精选微软发布 CAVEAT 购物 Agent 评测环境，引导手段下最优选择率从 78.6% 降至 17.3%
微软开源 CAVEAT，用于评测网页 Agent 是否遵循用户既定偏好并做出最优选择，唯一报告指标为最优选择率。评测覆盖九个虚构电商与服务环境，分为 CAVEAT-Standard（九个环境、312 次运行）和 CAVEAT-Hard（五个 2112 商品场景、每个模型/框架 10 次运行）两档，附带 BrowserUse 基线与改进的 CAVEAT-Harness，支持接入任意 OpenAI 兼容端点及自定义 harness。仓库说明给出 Python 3.10 以上加 Chromium 的安装与运行步骤，论文题为 CAVEAT: Towards Robust Computer-Use Agents in Incentive-Misaligned Environments，CAVEAT-27B 模型检查点将后续发布。
相关讨论
关注度走势
每天新增来源
- 10月8日新增1个来源（1家媒体、0个账号）
- 10月9日新增0个来源（0家媒体、0个账号）
- 10月10日新增0个来源（0家媒体、0个账号）
- 10月11日新增0个来源（0家媒体、0个账号）
- 10月12日新增0个来源（0家媒体、0个账号）