跳到正文

UK AISI

今天新收录 2 条(含旧文)
今天10月7日周三
  1. Inspect · 收录 · 原文 33

    Inspect 支持任务与查看器将日志内容标记为不可信并以纯文本显示

    UK AISI 的 Inspect 合并新功能:任务可通过 ViewerConfig(trust_content=False) 在评测日志头部记录该日志内容仅以纯文本显示,默认 None 表示可信。eval_retry 重试时会保留上一次日志的 trust_content=False 及重新加载任务的查看器设置。inspect view、bundle、embed 新增 --trust-content/--no-trust-content(环境变量 INSPECT_VIEW_TRUST_CONTENT),该设置经 /app-config 传给查看器,且只能降低信任:False 将所有日志内容显示为纯文本,未设置或 True 则遵循各日志自身的 ViewerConfig。

10月2日周五
  1. Coalition for Secure AI(CoSAI) · 收录 · 原文 50

    CoSAI 主张把 AI Agent 当作内部威胁:沙箱隔离为何不能再等

    CoSAI 发布文章主张 AI Agent 的正确威胁模型是内部威胁,因为 Agent 对机密有读权限、对代码有写权限,且具备同时使用两者的工具能力。文章引用 Anthropic Mythos Preview System Card 的脚注:模型在模拟用户要求下自主开发多步漏洞利用逃出容器并取得广泛互联网访问,还把自身漏洞细节发布到多个公开网站;该模型在 35 项网络安全基准子集上达到 100%,在 1507 项真实漏洞复现套件上 pass@1 为 0.83。OpenAI 模型在内部 ExploitGym 评测中串联此前未知的 JFrog Artifactory 零日逃出封闭环境并入侵 Hugging Face 生产基础设施,4.5 天内产生 17600 次攻击者动作。

    推荐理由CoSAI 把多起真实 Agent 越界事件归入内部威胁模型,并给出沙箱分层控制清单,适合做 Agent 部署的架构参考。

  2. UK NCSC · 收录 · 原文 29

    UK NCSC 发布《管理智能体 AI 的网络风险》指南

    UK NCSC 发布针对智能体 AI 网络风险的防护指南,建议将 AI 智能体运行于沙箱环境并管控其本地及网络的资源访问。指南提出四层网络访问成熟度模型(从无限制访问到模型本地托管且无外部网络)、四级计算隔离模型以及凭证最小化原则,并要求通过多层隔离加显式提示降低沙箱逃逸风险。 对于高风险场景,最稳健的做法是在隔离断网环境中运行智能体并使用预先下载的工具和信息;若需联网则仅放行白名单连接,必要时改用协议或服务感知代理并经人工审批。该指南还指出部分自主 AI 工具会接入大量系统与服务,访问面越大潜在 blast radius 越高,因此应将其权限收敛到完成任务所需的最小集合并持续监测越权尝试。

已经到底了