跳到正文
原文
Ai2(Allen Institute for AI)·本站收录· 原文发表· AI 动态 →· 扫描记录里的位置 →

Ai2 发布 XYBench:测试模型能否解决提问背后的真实问题

XYBench: Helping with the problem behind the question

AI 导读

Ai2 与卡内基梅隆、NVIDIA、Johns Hopkins 合作发布基准 XYBench,收录来自 Stack Overflow、Stack Exchange、WikiHow 等来源的 8115 个真实问题,测试 AI 助手能否识别提问中的误解并转向用户真实目标,获 EMNLP 2026 最佳资源论文奖。对 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Pro 的评测显示,五个模型都更倾向回答字面请求,在 Stack Overflow 题上以底层目标为重心的回答仅占 35–41%,引导用户放弃错误方法的比例为 47–60%,低于人类参考答案的 79%。基准目前只覆盖英文和程序性问题。

阅读原文allenai.org