跳到正文
原文
公众号 大模型安全研究·本站收录· 原文发表精选关注度39

SINGED 基准:正确输出不代表执行安全

SINGED:安全的世界充满着欺骗,正确输出不代表执行安全

AI 导读

香港理工大学与杭州电子科技大学的研究者提出「功能赝品」概念并构建 SINGED 基准,检验工具型智能体能否识别输出正确、却附带任务契约禁止效应的第三方实现。7549 次审计试验覆盖 14 个模型家族的 20 个版本和 8 种智能体配置,当赝品排在候选第一位时 45% 的执行踩中它,而只看输出,这些被攻陷的执行全部显示任务成功。强制比较三个候选可把首位的踩中率从 27/60 降到 0/60,但决定性证据埋到一至两层依赖后收益递减;七个在三源选择下零踩中的模型版本,在只剩单一赝品源时于 55/175 个格子中执行了赝品。论文为预印本(arXiv 2609.35889),未经同行评审。

推荐理由

7549 次审计试验给出了名次效应和单一源场景的具体数字,可供评估工具型智能体的团队参考设计过程校验。

相关论文
阅读原文mp.weixin.qq.com