认证依据哪个 Oracle?执行标签决定 text-to-SQL 保形弃答报告的风险
针对 text-to-SQL 的保形弃答证书,其真实性取决于校准所用的正确性标签。研究在 Spider-Realistic 上做预注册干预,把基准自带数据库换成其蒸馏多实例测试套件,在四个 SQL 专用 checkpoint 和两种划分方案下,证书的留出风险比自身标签所报高出 2.73 至 10.23 个百分点;在两位 SQL 专家盲标下,名义 0.10 的证书在两个 checkpoint 上实际风险达 20.0 和 17.2 个百分点。更严格的 oracle 双向出错,其拒绝的答案多数并非错误,接受的答案中也有错误。