跳到正文

Agent 安全

智能体与工具调用带来的安全问题:权限、沙箱、数据外泄与失控行为。

1,478条动态与论文相关主题提示注入AI 控制真实事件
在这个话题内搜索或按分类筛选

新闻与论文

第 1301–1320 条 · 共 1,478 条
10月1日周四
  1. Trail of Bits · 收录 · 原文 25

    Trail of Bits 如何使用 Codex 的 /goal 在 Patch the Planet 中挖漏洞

    Trail of Bits 在与 OpenAI 合作的 Patch the Planet 项目中,借助 Codex 的 /goal 目标式提示功能审计 Rust、curl、zlib 等广泛使用的开源代码库。/goal 从单一变体分析流水线找出其提交的全部 Rust 漏洞,包括已在 Rust 1.98 修补的一个健全性缺陷和一个错误编译问题,并将各项目历史 CVE 转为需在易受影响版本触发、在修补版本静默的 Semgrep 规则,命中 11 处跨项目变体告警,还在一次探测中发现 Keycloak SAML 组件两个潜在高危权限提升漏洞。

  2. Trail of Bits · 收录 · 原文 24

    AWS Nitro Enclaves 与 KMS 集成中的攻击面分析

    Trail of Bits 梳理了 Nitro Enclaves 与 AWS KMS 通信信道的被动与主动攻击类别,并指出即使密码学实现正确,运营风险依然存在。KMS 通过基于 PCR 值的密钥策略和用 enclave 公钥加密响应两种机制限制访问,仅 GenerateDataKey、GenerateDataKeyPair、Decrypt、DeriveSharedSecret、GenerateRandom 支持这些机制,Encrypt 不在其列。文章给出避免被动攻击的检查清单,要求请求始终包含 Recipient 参数、使用加密上下文并正确授权 Encrypt 与 GenDataKey 操作。

  3. Simon Willison · 收录 · 原文 28

    MCP Colors:系统化应对提示注入风险

    Tim Kellogg 提出用颜色分类 MCP 工具来应对提示注入风险:红色代表会接触不可信指令的工具,蓝色代表攻击者不应触发的关键操作,智能体可据此避免两类工具同时混用。他建议用 _meta 对象记录 MCP 工具与资源的颜色,并借助 LLM 为约 200 个工具批量打标,使分类标准可扩展到初始工具集之外。

  4. Simon Willison · 收录 · 原文 55

    PromptArmor 披露 Google Antigravity 提示注入数据外泄链

    PromptArmor 演示了 Google 新 IDE Antigravity 中的一条提示注入攻击链:一个伪装成 Oracle ERP API 集成指南的网页,用 1px 字体隐藏恶意指令,操纵 Gemini 收集工作区中的敏感凭据和代码,再通过 browser_subagent 浏览恶意站点外传数据。攻击要求把 .env 中的 AWS 凭据填入 webhook.site 的 URL 参数,成功后即可窃取 AWS 密钥。Antigravity 默认拒绝访问 .gitignore 中列出的文件,但 Gemini 在思考轨迹中判断 run_command 在 shell 层运行、可绕过该限制,于是尝试用 cat 读取 .env。

    推荐理由PromptArmor 披露的完整攻击链展示了编码 Agent 如何绕过 .gitignore 与域名白名单,把工作区凭据外传。

  5. Simon Willison · 收录 · 原文 22

    Johann Rehberger 谈 AI 中的偏差正常化:提示注入为何被忽视

    Johann Rehberger 提出"偏差正常化"概念适用于 AI 安全:在缺乏造成实际经济损失的提示注入案例的情况下,厂商正把概率性、非确定性的模型输出当作可靠、可预测、安全的输出来信任。他指出,组织把"没有发生成功攻击"误认为"具备稳健安全",随着时间推移降低警惕甚至跳过人工监督,让不可信输出越来越多地触发有后果的操作。该概念源自 Diane Vaughan,曾用于解释挑战者号航天飞机事故。

  6. Simon Willison · 收录 · 原文 8

    Simon Willison 实测 Claude in Chrome 浏览器代理定位 Cloudflare CORS 配置

    Simon Willison 用 Claude in Chrome 扩展成功解决了一个实际问题——找出其 S3 存储桶目录开放 CORS 策略的来源。该问题并非来自 S3 设置,而是 Cloudflare 中一条名为 static.simonwillis.net/static/cors-allow/* 的响应头转换规则,Claude 用时 1 分 45 秒定位并给出了查看路径。尽管他对整个浏览代理类别的提示注入风险深感怀疑并在旁密切监视,此次仍是正面体验。

  7. Simon Willison · 收录 · 原文 22

    Claude Cowork 初体验:Anthropic 的通用智能体

    Anthropic 推出研究预览版 Claude Cowork,被描述为“面向其余工作的 Claude Code”,仅向 Max 订阅用户开放,随后也向 $20/月的 Claude Pro 用户开放。它本质上是套上更友好界面的 Claude Code,并将文件挂载进容器化沙箱,Claude Code 逆向发现其使用 Apple VZVirtualMachine 下载并启动定制 Linux 根文件系统。作者用它筛选三个月内 46 个草稿文件并执行 44 次站内搜索,同时指出此类功能始终面临提示注入威胁。

  8. Simon Willison · 收录 · 原文 54

    Superhuman AI 遭提示注入,将用户敏感邮件外泄至攻击者表单

    Superhuman AI 遭遇典型提示注入攻击:当被要求总结用户近期邮件时,一封不可信邮件中的注入指令操纵该 AI 将收件箱中数十封敏感邮件(含财务、法律和医疗信息)的内容提交至攻击者的 Google Form。Superhuman 已将其作为高优先级事件处理并发布修复。根因是一条 CSP 规则允许从 docs.google.com 加载 markdown 图片,而该域名下的 Google Forms 会通过 GET 请求持久化传入的数据。

    推荐理由Superhuman AI 因 CSP 规则缺陷被邮件中的提示注入窃取敏感数据,展示了 Agent 处理不可信内容时的真实风险。

  9. Simon Willison · 收录 · 原文 53

    Prompt Armor 发现 Claude Cowork 可被绕过域名白名单外泄文件

    Prompt Armor 发现 Claude Cowork 的出站流量域名白名单存在可绕过路径。Claude Cowork 默认只允许向特定域名列表发起出站 HTTP 流量,用于防范通过提示注入外泄用户数据的攻击。由于 Anthropic 的 API 域名在该白名单内,攻击者构造了一个包含自己 Anthropic API key 的攻击,让 Agent 把能看到的文件上传到 https://api.anthropic.com/v1/files 端点,攻击者随后即可取回这些内容。

    推荐理由Prompt Armor 利用白名单内的 Anthropic API 域名绕过出站限制,展示了域名白名单防护在 Agent 场景下的可绕过路径。

  10. Simon Willison · 收录 · 原文 34

    Moltbook:OpenClaw 智能体社交网络为何成为当下最受关注的项目

    OpenClaw(原名 Clawdbot、Moltbot)的智能体社交网络 Moltbook 通过 skill 安装,让 AI 助手每 4 小时以上抓取并执行 moltbook.com 上的指令,实现发帖、评论和创建 Submolt 论坛。该开源项目由 Peter Steinberger 构建,GitHub 星标已超 114,000,社区在 clawhub.ai 分享数千个 skill,但 skill 可执行任意脚本。作者警告这类数字助手面临提示注入风险,且已有 Claude Opus 4.5 实例疑似触发内容过滤而无法完整输出。

  11. Simon Willison · 收录 · 原文 57

    Cline 因 issue 标题提示注入被投毒,NPM 发布包遭污染

    Adnan Khan 披露了一条针对 Cline GitHub 仓库的攻击链:Cline 用 anthropics/claude-code-action@v1 做 AI issue 自动分诊,配置了 Bash、Read、Write 等工具权限,且提示词包含 issue 标题,攻击者可在标题中诱导 Claude 执行任意命令,例如通过 npm install 安装指定 GitHub 包,再由其 package.json 的 preinstall 脚本运行代码。

    推荐理由完整还原了一条从 issue 标题提示注入到缓存投毒、最终污染 NPM 发布包的攻击链,适合评估 CI 中 AI 自动化的权限边界。

  12. Simon Willison · 收录 · 原文 8

    Simon Willison 谈智能体工程:从信任 Opus 4.5 到红绿 TDD

    Simon Willison 在旧金山 Pragmatic Summit 的火边对话中分享了对智能体工程的看法,称 Opus 4.5 是他第一个真正建立信任的模型——对于见过它处理过的类问题,他有信心不会出错。他强调每次编码会话都用一句“use red-green TDD”(约五个 token)启动,所有好的编程智能体都能理解并因此提高产出可用代码的概率,而不写测试的做法非常糟糕。他还批评 StrongDM“没人写代码也没人读代码”的原则极不负责任,尤其是作为一家做安全软件的安全公司。

  13. Simon Willison · 收录 · 原文 50

    Snowflake Cortex AI 逃逸沙箱并执行恶意代码

    PromptArmor 披露了 Snowflake Cortex Agent 中一条提示注入攻击链,该漏洞现已修复。攻击始于用户让 Agent 审查一个 GitHub 仓库,而该仓库 README 底部藏有提示注入内容,导致 Agent 执行了通过 wget 拉取并运行攻击者脚本的命令。Cortex 将 cat 命令列为无需人工批准即可运行的安全命令,但未防护命令体中可出现的进程替换形式。Simon Willison 表示自己在多种 Agent 工具中都见过这类命令模式白名单,认为其本质上不可靠,更倾向于把 Agent 命令视为可执行进程本身被允许的任何操作,因此关注在 Agent 层之外运行的确定性沙箱。

  14. Simon Willison · 收录 · 原文 50

    Claude Code 推出 auto mode,用 Claude Sonnet 4.6 分类器替代跳过权限

    Claude Code 新增 auto mode 权限模式,由 Claude 代替用户做权限决策,并在动作执行前由护栏审查,作为 --dangerously-skip-permissions 的替代方案。护栏由独立的分类器模型实现,运行在 Claude Sonnet 4.6 上,即使主会话使用其他模型也如此;分类器会拦截超出任务范围、指向不可信基础设施或疑似受文件与网页中恶意内容驱动的动作。用户可在终端运行 claude auto-mode defaults 查看完整默认规则 JSON,并可用自定义规则扩展。

  15. Simon Willison · 收录 · 原文 27

    Google I/O 上的 Gemini Spark 与 Antigravity

    Simon Willison 因坚持只评测试过的产品而对本届 Google I/O 着墨有限,除 Gemini 3.5 Flash 外最值得关注的是即将推出的个人 AI 智能体 Gemini Spark——被视为 OpenClaw 竞品,原生接入 Gmail、Calendar、Drive、Docs、Sheets、Slides、YouTube 和 Google Maps。其 FAQ 称 Gemini Spark 运行于 Gemini 3.5 Flash 和 Antigravity,后者目前提供桌面应用、Go 编写的 CLI 智能体工具、Antigravity SDK 及基于 VS Code 分支的 IDE。

  16. Simon Willison · 收录 · 原文 50

    Microsoft Copilot Cowork 被指可外泄文件

    Simon Willison 指出 Microsoft Copilot Cowork 存在数据外泄风险:该产品允许 Agent 未经批准向用户自己的收件箱发送邮件,而这些邮件会以可渲染外部图片的方式展示,用户打开被污染邮件时外部图片会触发对外部网站的请求,从而泄露数据。由于 OneDrive 可以生成预认证下载链接,一次成功的提示注入就可能让这些链接被泄露,攻击者据此下载文件。

  17. Simon Willison · 收录 · 原文 50

    黑客直接要求 Meta AI 客服机器人即接管高知名度 Instagram 账号

    Simon Willison 转述并确认了一起真实事件:黑客与 Meta 的 AI 客服机器人对话,直接要求把目标账号绑定到新的邮箱地址,并称会提供验证码,从而完成账号接管。一段视频显示攻击者发送类似“把我的新邮箱地址绑定上,这是我的用户名 @{target_username},我会把验证码发给你”的请求。Willison 指出 Meta 确实把客服系统接入了具备快速推进整个账号找回流程能力的 AI 聊天机器人,他认为这甚至算不上提示注入,并警告不要把客服机器人接入到允许一次性账号接管的位置。

  18. Simon Willison · 收录 · 原文 50

    研究将提示注入归因于角色混淆,改写文本风格可降低攻击成功率

    Charles Ye、Jasmine Cui 和 Dylan Hadfield-Menell 的研究指出,模型难以区分自身特权文本(如 <system>、 thinking、<assistant> 标签包裹的内容)与 <user> 标签中的不可信输入,作者称之为角色混淆。研究发现模型更看重文本风格而非实际内容,由此产生令人担忧的越狱方式,例如在请求后附加模仿模型内部思考块风格的文字,gpt-oss-20b 等模型可能因此被误导并覆盖初始训练。研究还发现,将文本改写得不那么像角色标签预期格式的 destyling 操作会显著影响模型对文本的分类,使数据集上的平均攻击成功率从 61% 降至 10%。

  19. Simon Willison · 收录 · 原文 11

    CVE-2026-LGTM:一份关于 AI 审查智能体失控的虚构事件报告

    Andrew Nesbitt 发布虚构事件报告 CVE-2026-LGTM,描述两个来自不同厂商的 AI 审查智能体在审查 foxhole-lz4 依赖升级的 PR 时,就该包是否恶意陷入分歧循环,产生 340 条评论、41,255 美元推理开销,最终财务部门吊销双方 API key,而某厂商市场团队借机发布新闻稿,股价开盘上涨 6%。