Cohere 提出 CulturalRiddles 基准，用 6200 则谜语评测文化语境推理

Cohere 研究者构建 CulturalRiddles 基准，收集来自 62 个文化社群、51 种语言的 6200 则原创谜语，并评测 28 种模型配置。该任务衡量文化语境推理，作者指出其不能等同于所有现实任务能力。总体最佳成绩 79% 掩盖了地区差距，部分社群的最佳模型不超过 22%。在作者人工检查的答案中，约 31% 被判为编造；允许回答“不知道”时，模型只在约 0.7% 的回答中使用该选项，作者强调该统计仅针对本文评测与标注条件。五个模型在五个困难社群的英语翻译版本上平均成绩由 22% 升至 32%，作者认为语言覆盖并非全部原因。