Skip to content

Translation in progress Some entries still include text in the original language.

AI control · News

Oct 12 · Monday

AI control · News

Latest publications and developments
Sep 27Sun
Sep 17Thu
  1. Coalition for Secure AI(CoSAI) · 43

    CoSAI 发布《AI 系统的零信任》指南:授权不能交给模型本身

    CoSAI 的 Preparing Defenders for AI 工作流(WS2)发布《Zero Trust for AI Systems》指南,主张把零信任架构扩展到 AI 智能体,并明确授权不能委托给模型本身,因为模型的输出与推理必须始终视为不可信。指南指出智能体引入了新的身份类别,不应获得继承信任,并围绕智能体使用宽泛服务身份这一失效模式给出三级成熟度方案:先在 API 网关把智能体会话绑定到用户身份,再引入 token 交换机制签发短时、限时、最小权限的访问 token,并在策略决策点校验完整委托链。落地顺序上建议先做模型、数据与智能体的清单和数据分级策略,再加模型产物加密验证、智能体身份、输入清洗、输出过滤与可观测性,之后引入按会话的风险自适应访问和 AI 专用身份管理,最后才在风险足够高的系统上使用行为分析与对抗红队。

Jul 23Thu
  1. UK AI Security Institute · 57

    UK AISI 成立 Control Red Team,用演化搜索压力测试前沿监控器

    UK AISI 新设 Control Red Team,把红队方法从人类滥用防护扩展到 AI 控制护栏,专门测试监控 LLM 智能体行为的监控器。该团队已测试并协助改进两家前沿开发者的内部监控器:与 Google DeepMind 测试了异步推理监控器,发现包括智能体假装把恶意目标幻觉成用户指令在内的多个漏洞;与 Anthropic 测试了多版同步智能体编码监控器,每一版都发现漏洞,最佳攻击还用于 Anthropic 对 Claude Mythos Preview 的测试。部分攻击利用监控器提示词的缺口,另一些利用 LLM 自身弱点完成提示词明确禁止的目标;部分情况下由硬编码规则决定哪些动作送审,这时最优的攻击策略是让动作完全不被送审。团队还列出模拟真实攻击者、估计整体安全性、改进算法、处理监控器自身失准等开放研究问题。

Jun 16Tue
  1. Google DeepMind · 50

    Google DeepMind 发布 AI Control Roadmap,用纵深防御保障内部 Agent 安全

    Google DeepMind 发布 AI Control Roadmap,用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路,在沙箱、端点安全和提示注入抵抗等传统防护之上,把模型对齐作为主要防线,同时把内部 Agent 视为可能未对齐的对象,按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架,将不可信 Agent 当作内部威胁拆解为具体战术与技术,并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划,必要时阻断有害操作。

Mar 19Thu
  1. OpenAI · 50

    How OpenAI monitors misalignment behavior in internal coding agents

    OpenAI 披露其内部编码 Agent 失准监控系统的运行方式,该系统由 GPT-5.4 Thinking 以最高推理强度驱动,在交互完成后 30 分钟内完成审查并分级。系统覆盖所有标准内部编码 Agent 部署,查看完整对话历史、思维链、工具调用与输出,发现异常后交由人工复核。运行五个月来,系统监控了数千万条内部 Agent 编码轨迹,最高严重级别从未被真实对话触发,约 1000 条对话触发中等严重级别警报并升级人工审查,其中不少来自内部红队测试。OpenAI 称监控系统已覆盖员工独立上报的每一起交互,但表示仍无法可靠量化开放场景下的漏报率,并将监控视为纵深防御的一层,计划探索可在执行前评估并阻断高风险动作的同步监控。

You have reached the end