研究者发布概念性论证评分数据集，含 951 条论证与 1458 条专家评分

没有可及标准答案时，如何评估并改进模型对概念性问题的论证判断。

• 场景：作者把概念性问题大致定义为没有现实可及的标准答案、也没有广为接受的解法，但可以靠考虑和辩论论证来推进。哲学问题是典型例子；数学题和许多经验问题不是。作者认为，在错位、大规模失业、权力集中和渐进失权等担忧下，差分加速希望提升可能有正面影响、且不那么绑定通用能力的技能；本项目要让AI更擅长帮助人类做概念性推理。
• 障碍：作者称，主要障碍是概念问题没有标准答案，例如无法判定功利主义是否最好、人是否有自由意志、GPT-5是否有意识。引言把推理模型在编程、数学等可验证反馈任务上的进展，与此相对照。
• 论点：作者认为，评论证比评最终结论更少争议；放在已有论证、主张和理论的语境里更容易评；有时按具体维度评比整体评更容易。评论证也有助于推进最终结论。作者称第一条很难给出理论辩护，但高层哲学争论很少被解决，而许多论证被双方承认为重要。
• 做法：作者构建立场文本、批判和专家多维评分，共951条已评分批判（Table 1），定义两种损失，并用思维链比较现代模型。作者报告，分数与通用能力的通常排序一致，但thinking通常不提升表现。

AI debate与可扩展监督

• 辩论监督：Irving、Christiano and Amodei（2018）提出让AI互相辩论，以帮助人类决策或监督LLM。作者把本项目的中心目标看成让AI辩论概念性问题。
• 有标准答案的辩论：可作理论分析（Irving等2018；Barnes and Christiano 2020；Brown-Cohen、Irving and Piliouras 2023）和实验（Barnes and Christiano 2020；Khan et al. 2024；Lang、Huang and Li 2025）。作者称，在真理标准无争议的领域，原则上只靠对齐就足以让强AI做出正确判断；哲学上除了不用AI，替代方案更不清晰。
• 含糊论证：Barnes（2020）的obfuscated arguments问题在哲学里同样相关，甚至更相关。量表里的clarity部分是为处理该问题。

论证质量与辩论数据

• DebateBench：Tiwari et al.（2025）收录竞赛辩论转写，以及裁判对单篇发言的评分。作者称这是最相似的已有工作，并纳入18个改编position。
• VivesDebate：Ruiz-Dolz、Nofre et al.（2021）与Ruiz-Dolz and Iranzo-Sánchez（2023）同样来自竞赛辩论和评审评分；辩论原为加泰罗尼亚语并机译成英语，且都讨论代孕是否应合法。作者纳入6个position。
• 短论证评分：Habernal and Gurevych（2016）以及IBM Project Debater约2020年的数据（Slonim et al. 2021；Gleize et al. 2019；Toledo et al. 2019；Gretz et al. 2020）是主张加正反论证，以及众包的单维评分或成对比较。作者称这些论证很短（1–2句）、相对浅，或许更针对当时的模型能力。

批判、谬误与其他论证数据

• 谬误检测：Jin et al.（2022）检测一组特定谬误，更难的部分集中在气候变化相关的经验问题；Lim and Perrault（2024）评估LLM识别逻辑谬误。作者称指出谬误可看成一种批判。
• 其他批判数据：Saunders et al.（2022）批判摘要；Recchia et al.（2025）的FindTheFlaws、McAleese et al.（2024）、Wang、Yue and Chen（2025）关注编程等有无争议标准答案的领域。另有不含评分的论证数据，以及主要评语言能力的专家评分作文。Durmus et al.（2024）、Schoenegger et al.（2025）等比较LLM与人类论证对非专家的说服力。
• LSAT：Wang et al.（2022）、Zhong et al.（2022）使用“文本假设了什么”或“哪项若为真会反驳论证”这类题。作者称这基本上是以二元方式评centrality，并据此生成了少量数据点，但这些题通常不在合适领域。

方法不同的哲学与伦理数据

• 描述性或事实性问法：Perez et al.（2022）、Feng et al.（2023）、Oesterheld et al.（2024）、Barkhordar et al.（2024）、Nie et al.（2023）、Santurkar et al.（2023）等处理相近主题，但问的是理论建议什么，或模型更同意哪种规范进路。作者称方法差别很大。

基线与评测数据

• 本文评测：在作者自己的数据集上比较模型评分与人类评分。Table 5的基线提示词是Section G.1的简单提示（无示例），并报告random的加权成对排序误差0.173。Table 7使用Section B.2的custom metric；该表提示词论文未说明。

作者把项目定位成概念性问题的AI debate，并称与有标准答案的领域不同，这里不能只靠对齐。相对DebateBench，本文评的是概念性立场的批判；相对更早的论证质量数据，作者强调那些论证很短。

作者不直接给概念问题的最终结论打分，而是让专家评contextualized critiques，再用两种损失比较模型评分与人类评分。

问题设定

• 评的对象：一条数据是position、对该position的critique，以及专家评分。作者认为，把论证放进已有论证和理论里，比孤立地评最终结论更容易。
• 不单独使用的两项：strength和centrality有分配歧义，只以乘积进入损失。作者称该乘积表示批判在多大程度上反驳position。
• 参照：模型是被评的judge。参照是人类专家分，主要是Emery Cooper。这不是二元对错判定。

数据从哪来

• position来源：手写27个（少数有LLM协助），改编自书籍168个，志愿者哲学课程作业41个（部分有LLM协助），杂志、博客或论坛108个，主要由模型撰写68个，改编自其他数据集28个。Table 1另有442个至少含一条已评分批判的position。分项合计440，论文未解释与442的差。
• 批判：一部分由LLM大量生成。作者让一些best LLM-based judges给全部批判打分，把这些judge有分歧的批判加入数据，也加入它们打高分的批判，包括打对的和打错的。两种都再按多样性、适合程度和有趣程度人工挑选。论文未点名这些judge。Table 1有478条已评分的模型所写批判。
• 主题：AI safety、decision theory、规范伦理、心灵哲学、政治及其他。论文未给各主题条数。另纳入DebateBench改编的18个position、VivesDebate的6个，以及少量LSAT数据点。

评分程序与量表

• 谁来评：手评。几乎全部至少由Emery Cooper评过；部分另有Oesterheld、Kastner、Nguyen、Finnveden、Gloor。Table 1在不计修订时共1458条评分。短的position/批判对平均约5–15分钟。来源和标签默认不展示；部分早期评分在来源可见时完成，来源后来被隐藏。同一position的批判默认连续展示，但仍可能在不同时间评分。
• 修订：多名专家overall差很大时会讨论。若有人指出被忽略的解释，另一人可以新增一条评分并注明原因；原评分始终保留。Cooper还对照最强LLM rater检查自己最大的分歧。
• 七个0到1的维度：centrality是被攻击主张有多关键；strength是批判在多大程度上反驳它所攻击的部分；correctness是批判中正确内容的比例，按对批判本身的重要性加权；clarity是仔细读后能否确定含义，不是好不好读；dead weight是不试图推进批判的内容，失败论证不算dead weight；single issue单独记录是否只打一个问题，不计入上述质量指标；overall先锚定到strength与centrality的乘积，再按洞见、清晰度、错误和无关内容调整。完整定义在Section F。
• 读法规则：尽量按字面、少做引申。position有歧义时，主要采用仍说得通、且对批判最不利的解释。批判若只是复述写position的人显然已经知道的信息，strength应低。评分者自己已经想到该批判，不因此降分。诉诸权威不计strength。只表达不同意、不给出具体信息的批判应低分。

两种损失

• 加权成对排序误差：只看overall。同一position内，人类更偏好批判i时，模型排序相反的损失为人类分差 r^a,i_ovr−r^a,j_ovr，排序相同为0。正文例子里，模型打平时取人类分差的一半；形式化句子写成模型分差的一半。两处不一致，论文未说明以哪一处为准。先在position内平均，再对position平均。未加权版本相当于Kendall排序相关，结果表用的是加权版。
• custom weighted loss：人类clarity低于0.5时，只比较clarity和overall，损失为 0.5|r_ovr−r̂_ovr|+0.5|r_clar−r̂_clar|。否则分项绝对误差的默认权重为strength×centrality乘积4、correctness与clarity各2、single issue与dead weight各1，再与overall绝对误差取平均。作者给出的理由是：听不懂批判时其他分不可靠；strength与centrality如何划分常常很模糊。
• 指标取舍：作者还不确定哪种指标最好。他们指出MSE等对校准和先验敏感，弱模型甚至可能靠把分数缩到中间而得分更好；position内比较又受“好坏批判分布不够开”的数据限制。作者称某些用途可能要先重新校准；后文结果表未写是否做了校准。

模型侧协议

• Table 5的提示：Section G.1的简单基线提示词，不含示例。输入是argument和critique（文中说明argument是position的旧称），要求逐步思考，并只以JSON输出overall。Section 4称评测使用思维链。
• thinking对比：Table 6要么改API参数，要么换成对应的thinking或instruct模型。论文未把完整量表提示词放进附录；Table 4展示了一次对全部分项打分的模型输出。

实验设置

• 被测judge：Table 5含random，以及gpt-5-2025-08-07、o3-pro-2025-06-10、claude-opus-4-1-20250805、o3-2025-04-16、claude-sonnet-4-20250514、claude-opus-4-20250514、gpt-5-mini-2025-08-07、claude-3-5-sonnet-20241022、o4-mini-2025-04-16、claude-3-7-sonnet-20250219、gemini-2.5-pro、gemini-2.5-flash、o1-2024-12-17、gpt-4.1-2025-04-14、gpt-4.1-mini-2025-04-14、gpt-oss-120b-Q5-K-S、Qwen3-30B-A3B-Thinking-2507-Q6-K、Qwen3-30B-A3B-Instruct-2507-Q6-K、magistral-medium-2506、Qwen3-4B-Instruct-2507-Q8-0、gemini-2.0-flash-001、mistral-medium-2505、gpt-4o-2024-08-06、gemini-2.5-flash-lite、claude-3-opus-20240229、gemini-1.5-pro-002、Qwen3-4B-Thinking-2507-Q8-0、magistral-small-2506、gpt-5-nano-2025-08-07、gpt-4-0125-preview、Qwen3-30B-A3B-Q6-K、gpt-oss-20b-Q5-K-S、claude-3-5-haiku-20241022、gpt-3.5-turbo-1106、phi-4-Q5-K-M、gemma-3-27b-it.Q8-0、Qwen3-8B-Q6-K、mistral-small-2503、claude-3-haiku-20240307、gemini-1.5-flash-002、gpt-4.1-nano-2025-04-14、gemini-2.0-flash-lite-001。另有thinking变体claude-opus-4-1-20250805-thinking10k、claude-opus-4-20250514-thinking10k、claude-sonnet-4-20250514-thinking10k、claude-3-7-sonnet-20250219-thinking10k、gemini-2.5-flash-no-thinking、gemini-2.5-flash-lite-dynamic-thinking，以及仅见于Table 7的claude-3-5-sonnet-20240620。
• 数据与切分：Table 1为951条已评分批判、1458条评分（不计修订）、478条模型所写批判、442个position、279个至少有两条已评分批判的position。排序误差汇总255个argument、856对，对照Emery Cooper。custom metric平均于933个dialogue。rating test set为52条批判、19个position。
• 提示与参照：Table 5使用Section G.1，无示例，只要求overall。Table 7的提示词论文未说明。参照是人类分，不是另一个被单独报告的LLM评审。论文给出95% CI，未说明CI算法、温度、重复次数，也未写结果前是否校准。

主结果

损失越低越接近人类排序或人类分。下表只列8个模型；Table 5最差的gemini-2.0-flash-lite-001和Table 7最差的gpt-4.1-nano都在表内。格子写“误差（95% CI）”。

模型	Table 5排序误差	Table 7 custom loss
gpt-5-2025-08-07	0.080（0.016）	0.211（0.009）
o3-pro-2025-06-10	0.083（0.018）	0.234（0.009）
claude-opus-4-1-20250805	0.090（0.017）	0.222（0.010）
gemini-2.5-pro	0.115（0.017）	0.319（0.016）
gpt-4o-2024-08-06	0.146（0.024）	0.365（0.015）
claude-3-haiku-20240307	0.168（0.021）	0.413（0.015）
gpt-4.1-nano-2025-04-14	0.173（0.023）	0.433（0.016）
gemini-2.0-flash-lite-001	0.174（0.025）	0.358（0.015）

• 作者对Table 5的解读：作者称排序与模型好坏的一般印象一致，同公司同档通常越新越好，同代通常越高档越好，也与SimpleBench、Artificial Analysis汇总榜和LMArena一致。作者曾担心更强模型会因sycophancy或安全训练而更差；作者称表中排序与该担心相反。论文未测sycophancy。
• 表外例外：Table 5中claude-3-5-sonnet-20241022为0.103，低于更新的claude-3-7-sonnet-20250219（0.111）。random为0.173，Table 7未报告random。仅见于Table 7的claude-3-5-sonnet-20240620为0.357（CI 0.015）。
• 两表名次不同：o3-pro在Table 5低于claude-opus-4-1，在Table 7高于它。论文没有单独解读Table 7。省略的模型见两表原文。

thinking与非thinking

• 测了什么：Table 6仍是加权成对排序误差。配对方式是改API参数，或换成对应thinking/instruct模型。gemini-2.5-flash默认dynamic reasoning；flash-lite默认关闭推理。
• 结果：claude-opus-4-1的thinking10k为0.086，无为0.090；claude-opus-4为0.094对0.099。claude-sonnet-4无为0.098，thinking10k为0.112。Qwen3-4B-Instruct为0.142，Thinking为0.149。gemini-2.5-flash-lite为0.146，dynamic thinking为0.135。claude-3-7-sonnet两边都是0.111。其余配对见Table 6。
• 作者解读：thinking有时有帮助、有时有害，差别相对95% CI通常较小。作者称更长推理可能提高分数，因此thinking没有帮助或许令人意外。作者猜测thinking主要在数学、编程等答案易验证的领域训练，没有泛化到本文的概念性问题。

评分者一致性

• 未点名的average loss：Oesterheld与Cooper都评过的209条上，Oesterheld相对Cooper首评为0.139±0.016，GPT-5为0.208±0.018。Kastner的127条为0.159±0.023，同子集GPT-5为0.204±0.033。Nguyen的103条为0.151±0.024，GPT-5为0.211±0.026。该段未写出损失名称。作者称部分Cooper评分后来有更新，故这是偏保守的天花板；并认为数据尚未饱和，但顶尖模型开始接近专家。
• rating test set：52条、19个position。Cooper、Oesterheld、Nguyen、Kastner评完全部；Gloor评前43条，Finnveden评前23条。按custom metric，最终分与最终均分之差，在所有人都评过的集合上为0.044到0.065（±最多0.017），在整个test set上为0.058到0.069（±最多0.012）。GPT-5在整个test set上为0.169（±0.031）。论文未写明“所有人都评过”的条数。讨论后，绝大多数大分歧收到任意两人最终差至多0.3；仍有三处大分歧，涉及解释、Table 8的intuition pump，以及Table 9是否已被position计入。
• 小子集上的排序损失：相对最终均分的加权比较损失，初评为0.007±0.006到0.024±0.023，GPT-5为0.068±0.07。作者称该子集置信区间很大，结果须谨慎看待。

一例模型失败

• Table 4：Opus 4给Table 2的Critique 1打overall 0.9、strength 0.9、correctness 1.0。人类overall为0.00（CO）、0.00（EC）、0.05（CN），strength为0.00、0.00、0.10。作者称这是Opus 4在数据集上最大的错误之一，也是相当典型的失败：结论错了，但思考不多。
• few-shot：作者称few-shot可以促使模型想得更细，避开一部分但不是全部此类失败。论文未报告few-shot分数。

其他消融与分析

• 论文未报告提示词、分项权重、温度或校准与否的消融。
• Section A：只有少数前沿模型在overall上的MSE低于始终输出数据集平均overall（略高于0.3）；未给各模型MSE。
• Section C，custom metric结果段：Cooper初评相对最终均分为0.123±0.028，复核后为0.077±0.014。作者把最终均分当作近似真值，得到相对初评的天花板0.126±0.029、相对复核分的天花板0.079±0.015；损失不完全对称。GPT-5相对Cooper首评为0.206±0.036。
• 作者主观认为，对照best LLM judges复核，收益相对只做复核较小；无定量对比。

作者指出的局限与后续方向

• 分布差异（Section 2）：好坏批判的分布不同。模型生成的批判不成比例地偏弱；作者自己写的长批判几乎总是强的。作者怀疑，靠这些差异就能以无意义方式取得强表现。评分程序上对来源盲，但批判是否为LLM所写常常一眼能看出。
• 质量覆盖（Section 2、Section A）：具有好坏批判良好分布的position相对少；很多position只有一条批判，或只有差批判。作者称这给同一position内的排序损失带来挑战。
• 主观性（Section 2、Section C、Section D）：人类评分仍有主观性。作者称，评论证而不是评最终结论可以在很大程度上降低主观性，但不能完全消除。rating test set讨论后仍有三处大分歧。
• 指标未定（Section 3）：作者自己还不确定最好的指标是什么。Section A说明，有的损失对校准和先验敏感，strength与centrality也不应单独使用。
• 后续数据（Section C）：作者认为数据尚未饱和，但顶尖模型开始接近专家。后续版本可能会增加双评或复核过的批判，并加入更难的论证，使天花板仍高于最好的模型。
• 评分规则（Section D）：作者计划考虑补充评分系统，并可能加入关于不清楚的背景知识如何处理的更精确指引。作者还认为，许多困难来自position和批判语境不足；更适合要求批判把论点写清楚的position。

实验覆盖范围

• Table 5用加权成对排序误差比较该表全部judge和random，汇总255个argument、856对，对照Emery Cooper，提示词为Section G.1。
• Table 6比较thinking与非thinking配对。Table 7用custom metric在933个dialogue上平均；该表提示词论文未说明。
• Section C给出评分者之间的average loss，以及52条批判、19个position的rating test set。Gloor评前43条，Finnveden评前23条。
• 规模与来源见Table 1和Section 2。主题包括AI safety、decision theory、规范伦理、心灵哲学、政治及其他；论文未给各主题条数。来源分项合计440，Table 1为442，论文未解释差额。部分早期评分在来源可见时完成。
• 论文未报告温度、每模型重复次数、95% CI的算法，也未报告few-shot的定量结果；主动学习所用的best LLM-based judges未点名。

作者做了一份专家多维评分的概念性论证批判数据，用来在没有标准答案时比较模型的论证判断。

• 问题：概念性问题没有现实可及的标准答案和公认解法，但可以靠辩论论证推进。作者因此不直接评最终结论，而评批判打中的要点有多关键、反驳有多成功、说法是否正确、读完能否确定含义、有多少无关内容、是否只谈一个问题，并给整体分。
• 数据与损失：Table 1有951条已评分批判、442个position，其中478条批判为模型所写。部分批判先由LLM大量生成，再按best LLM judges的分歧或高分挑出，最后人工筛选。比较用两种损失：同一position内按人类overall之差加权的成对排序误差，以及把strength与centrality相乘后的加权绝对误差。
• 排序误差：Table 5对照Emery Cooper，汇总255个argument、856对。gpt-5-2025-08-07为0.080，random为0.173，gemini-2.0-flash-lite-001为0.174。作者称该排序与通用能力印象一致，尽管他们曾担心sycophancy或安全训练会使更强模型更差。
• 另一指标与thinking：Table 7的custom metric在933个dialogue上，gpt-5为0.211，gpt-4.1-nano为0.433；论文未解读该表，且两表名次不完全相同。Table 6里thinking有时降低误差，如claude-opus-4-1从0.090到0.086，有时提高，如claude-sonnet-4从0.098到0.112。作者猜测这类训练主要来自数学和编程，没有泛化到概念性问题。
• 人和模型的距离：Section C中，Oesterheld相对Cooper首评的average loss为0.139±0.016（209条），同子集GPT-5为0.208±0.018；该段未标明损失名称。作者认为数据尚未饱和，但顶尖模型开始接近专家，而且评论证不能完全去掉主观性。
• 作者的警告：模型批判不成比例地偏弱，作者自写的长批判几乎总是强的。作者怀疑模型可以靠这种分布差异、而不是靠理解论证来得分。