跳到正文
原文
LessWrong· Joey Yudelson·本站收录· 原文发表· 对齐 →· 扫描记录里的位置 →

研究笔记:用辩论与 Slopvestigator 检测研究破坏

[Research Note] Detecting Research Sabotage with Debate & Slopvestigators

AI 导读

作者在 Auditing Sabotage Bench 上测试用辩论检测 AI 安全研究代码库中的隐蔽破坏,发现两轮辩论(辩手与裁判均为 GPT-6 Luna)没有优于单一裁判,在原始诚实对照上 AUROC 差值为 -0.03。辩论让裁判对所有代码库更怀疑,真阳性率与假阳性率同步上升,作者调整轮数、辩手投入程度和提示词后结果仍在噪声范围内。作者判断主要瓶颈在假设生成,转而测试并行调查智能体,抽取阶段捕获率为 87.9%(10 个智能体)和 97.0%(20 个),高于单一抽取器的 69.7%,但端到端 AUROC 仍接近单一裁判的 0.537。最高的是让每个调查智能体自行打分的变体,AUROC 为 0.742(fixed honest 对照)和 0.626(原始诚实对照),作者称这是初步结果。附录的 T v U 辩论显示,引入被设定为误导的不可信辩手并未改变辩论表现。

阅读原文lesswrong.com