跳到正文
原文
Failure-First·本站收录· 原文发表

AI Safety Daily 5 月 11 日:训练时对齐不足,运行时安全架构成自主智能体缺失层

[AI Safety Daily] AI Safety Daily — May 11, 2026

AI 导读

AI Safety Daily 5 月 11 日汇总的研究指出,训练时对齐不足以保障自主工具型智能体,运行时安全架构是缺失层。AgentDoG 框架显示此类智能体需轨迹级监控而非仅输出过滤;AJAR 借 MCP 语义在多轮对话中协调人设攻击,成功率超过静态单轮越狱。ForesightSafety Bench 在 94 个风险维度上发现所有受测前沿模型存在覆盖缺口;Ronge 等发现 SAE 特征会在语义无关输入上激活,特征操控不可靠。

阅读原文failurefirst.org