SINGED 基准:正确输出不代表执行安全
SINGED:安全的世界充满着欺骗,正确输出不代表执行安全
AI 导读
香港理工大学与杭州电子科技大学的研究者提出「功能赝品」概念并构建 SINGED 基准,检验工具型智能体能否识别输出正确、却附带任务契约禁止效应的第三方实现。7549 次审计试验覆盖 14 个模型家族的 20 个版本和 8 种智能体配置,当赝品排在候选第一位时 45% 的执行踩中它,而只看输出,这些被攻陷的执行全部显示任务成功。强制比较三个候选可把首位的踩中率从 27/60 降到 0/60,但决定性证据埋到一至两层依赖后收益递减;七个在三源选择下零踩中的模型版本,在只剩单一赝品源时于 55/175 个格子中执行了赝品。论文为预印本(arXiv 2609.35889),未经同行评审。
推荐理由
7549 次审计试验给出了名次效应和单一源场景的具体数字,可供评估工具型智能体的团队参考设计过程校验。
相关论文