HakemBench:土耳其语类型化决策基准发布
HakemBench: A Turkish Benchmark of Typed Decisions
AI 导读
HakemBench 是一个土耳其语类型化决策基准,模型需读取文本、问题与固定选项集,并为每个选项输出概率。1.0 版以 CC BY 4.0 完全开放,含 2,346 个条目、4,275 道选择题、是非题与评分题,覆盖事实核查分流、教育、护栏、法律路由、内容审核、垃圾邮件与钓鱼、客户支持七个赛道。评测框架以宏 F1 衡量决策质量、以归一化 Brier 分数衡量校准、以归一化广义风险-覆盖率曲线下面积衡量选择性自动化,三者取几何平均,并用 2,000 次 bootstrap 给出区间,同时报告选项顺序、改写、英译与替换名称探针。