跳到正文

#其他

今天还没有收录新动态
9月22日周二
  1. arXiv:对齐与欺骗 ·

    认证依据哪个 Oracle?执行标签决定 text-to-SQL 保形弃答报告的风险

    针对 text-to-SQL 的保形弃答证书,其真实性取决于校准所用的正确性标签。研究在 Spider-Realistic 上做预注册干预,把基准自带数据库换成其蒸馏多实例测试套件,在四个 SQL 专用 checkpoint 和两种划分方案下,证书的留出风险比自身标签所报高出 2.73 至 10.23 个百分点;在两位 SQL 专家盲标下,名义 0.10 的证书在两个 checkpoint 上实际风险达 20.0 和 17.2 个百分点。更严格的 oracle 双向出错,其拒绝的答案多数并非错误,接受的答案中也有错误。

6月17日周三
  1. arXiv ·

    SciRisk-Bench:面向 AI4Science 安全的风险维度感知基准

    作者提出 SciRisk-Bench,一个从显式风险维度和科学学科两个角度评测 AI4Science 安全的基准,覆盖 7 个学科、31 个子学科和 10 个风险维度。研究指出,现有 AI4Science 安全数据集虽覆盖若干学科和任务形式,但底层风险维度界定不足。实验部分对主流 LLM 和面向科学的 LLM 按风险维度、学科和子学科进行评测,用于细粒度诊断科学模型在哪些方面仍不安全。论文编号 arXiv:2606.18936,属 cs.AI 与 cs.CY 方向。

已经到底了