AI & SocietyAI & Society · 一项横断面研究评测六款生成式AI聊天机器人的心脏骤停公众咨询表现。研究用56个心脏骤停相关公众咨询问题，在2026年5月10日至16日间对ChatGPT Plus 5.5 thinking、Gemini 3.5 Flash、Microsoft Copilot smart、DeepSeek-V4-pro、Doubao和Perplexity各提问一次，共获得336条回答，由五名盲评心内科专家从安全性、准确性、共情、DISCERN、EQIP、JAMA和GQS等维度评估。
论文追踪、microsoft/CAVEAT论文追踪 等 2 个来源 · 2篇报道 · 微软开源 CAVEAT，用于评测网页 Agent 是否遵循用户既定偏好并做出最优选择，唯一报告指标为最优选择率。评测覆盖九个虚构电商与服务环境，分为 CAVEAT-Standard（九个环境、312 次运行）和 CAVEAT-Hard（五个 2112 商品场景、每个模型/框架 10 次运行）两档，附带 BrowserUse 基线与改进的 CAVEAT-Harness，支持接入任意 OpenAI 兼容端点及自定义 harness。在引导手段下，最优选择率从 78.6% 降至 17.3%。后续论文介绍称，该基准用九个高保真电商环境和八类来自商业实践的引导机制，评测计算机使用 Agent 在环境与用户目标存在激励冲突时是否仍选到用户最优商品；在 52 个标准任务、五个模型家族共 18 个配置上，关闭引导机制时最优购买率 78.6%，全部开启后降至 17.3%，退化幅度 61.3 个百分点；CAVEAT-Hard 把目录扩到 2,112 个商品、88 页结果，GPT-5.6-Sol-high 从 90 余个百分点下降。
