AI Safety Daily 5 月 11 日:训练时对齐不足,运行时安全架构成自主智能体缺失层
[AI Safety Daily] AI Safety Daily — May 11, 2026
AI summary
AI Safety Daily 5 月 11 日汇总的研究指出,训练时对齐不足以保障自主工具型智能体,运行时安全架构是缺失层。AgentDoG 框架显示此类智能体需轨迹级监控而非仅输出过滤;AJAR 借 MCP 语义在多轮对话中协调人设攻击,成功率超过静态单轮越狱。ForesightSafety Bench 在 94 个风险维度上发现所有受测前沿模型存在覆盖缺口;Ronge 等发现 SAE 特征会在语义无关输入上激活,特征操控不可靠。