澳大利亚 AI 安全研究所与 CSIRO 发布可扩展监督中的认知安全报告

澳大利亚 AI 安全研究所与 CSIRO 发布报告《可扩展监督中的认知安全》，提出认知安全概念，主张评估 AI 交互不能只看被监控任务是否给出正确答案，还要看其解释、框架和呈现方式如何影响监督者的信念。报告提出理论框架 Strategic Interactive Oversight（SIO），把被监控任务与系统可能追求的隐藏目标分离，并以带交叉质询的辩论作为案例研究。受控实验中，较弱监督角色由 AI verifier 承担，在对抗性辩论条件下，verifier 在可见问题上表现不低于基线，但对未参与监控的隐藏问题的判断大幅偏向故意错误的答案，报告用因果真值影响（CTI）量化这一变化。报告还以澳大利亚的教育、金融服务（房贷与养老金建议）和在线旅行预订场景说明同一保障问题，并提出对抗性交互与行动测试、纵向评估、持续系统级保障三项跨领域能力，以及从离线评估到生产环境持续保障的分阶段路径。