全部动态
从来源,看到研究的联系
图中 2 条 · 本页 2 条 · 共 2 条动态论文会议论文
关系图可左右滑动,完整标题也在下方列表中
流带宽度表示材料数量,多标签均分;连线表示来源与分类归属。
点选节点,展开一条线索
本页材料
完整标题与摘要 · 2 条- 动态X @bshlgrs(Buck Shlegeris,Redwood Research)
Redwood Research 与 Anthropic 合作发布概念推理指数 CRI
Redwood Research 团队与 Anthropic 合作开发了概念推理指数(CRI),用于衡量模型在缺乏廉价可靠反馈的领域中的推理能力,例如判断某项实验能否说明未来远超人类的模型的行为。CRI 的每一条数据都由团队研究员人工核查以保证质量。评测中 0 分对应三项基准上全部随机猜测,100 分为最高分,团队估计真实性能上限为 91。官方排行榜网站为 https://conceptualreasoning.ai/,将持续更新。Buck Shlegeris 转发了 Em 及其团队这项工作并表示期待。
- 动态Anthropic Alignment Science
Redwood Research 与 Anthropic 发布概念推理指数 CRI
Redwood Research 与 Anthropic 合作推出概念推理指数(CRI),用于衡量模型在缺乏经验反馈、难以验证答案的概念性问题上的推理能力。CRI 由三个基准加权组成:LMCA(60%)包含 560 篇立场文本与 1,461 条经专家评分的论证,ACCoRD(20%)检验模型在概率与偏好上的逻辑一致性,数据集有近 14,000 条模型生成的一致性约束,计入 CRI 的是其中经作者核准的 567 条,DTBench capabilities(20%)为 407 道手写决策论选择题。截至 2026 年 8 月 10 日,得分最高的 Opus 5 为 73.6(95% CI ±2.1),低于约 91 的估计上限;自 2024 年底以来分数大致线性上升,未见放缓。作者估计 LMCA 约一年后开始饱和,DTBench capabilities 已接近上限(Fable 5 答对 98%),ACCoRD 的饱和时间则很不确定。