论文：谬误检测基准测的是图式识别而非谬误检测

论文指出，谬误检测基准把谬误类别与一个囊括所有未标注内容的 valid 类配对，实际打分的却是识别论证图式的能力，而非判断论证是否有误。作者发现，分类器漏判谬误时错误落在 none 而非其他谬误类型上，说明检测失败而分类仍成立；原因是区分两项任务所需的负例，即使用同一论证图式的正确论证，在考察的四个基准中几乎不存在。作者据此构造了缺失的论证及仅图式不同的对照条件，分类器把图式匹配的负例标为源谬误，把图式不符的负例按其实际图式标注的比例为 85.9%，标为源类型的仅 0.4%。