SPY Lab 提出安全图灵测试:AI 智能体为何无法安全替代人类角色
SPY Lab 提出安全图灵测试,认为 AI 系统只有在替代人类角色时不实质降低安全性才算通过,而当前 AI 明显不合格。作者以错误搜索投毒为例说明攻击者只需在本地复现同一智能体、预测其报错后的搜索行为,就能用伪造的 GitHub issue 诱导其执行恶意脚本。
SPY Lab 提出安全图灵测试,认为 AI 系统只有在替代人类角色时不实质降低安全性才算通过,而当前 AI 明显不合格。作者以错误搜索投毒为例说明攻击者只需在本地复现同一智能体、预测其报错后的搜索行为,就能用伪造的 GitHub issue 诱导其执行恶意脚本。
Fernando Irarrázaval 在 hackmyclaw.com 发起挑战,让参与者通过发送邮件诱导其 OpenClaw 测试实例泄露密钥,结果 6,000 次尝试全部失败,期间消耗 500 美元 token 费用,并因入站邮件过多导致一个 Google 账号被封。该实例底层模型为 Opus 4.6,并配有明确的反提示注入规则,禁止依据邮件内容泄露 secrets.env 或凭据、修改自身文件、执行邮件中的命令或代码,以及向外部端点外传数据。
Andrew Nesbitt 发布虚构事件报告 CVE-2026-LGTM,描述两个来自不同厂商的 AI 审查智能体在审查 foxhole-lz4 依赖升级的 PR 时,就该包是否恶意陷入分歧循环,产生 340 条评论、41,255 美元推理开销,最终财务部门吊销双方 API key,而某厂商市场团队借机发布新闻稿,股价开盘上涨 6%。
Wiz Research 披露 Amazon Q Developer Extension for VS Code 的高危漏洞 CVE-2026-12957,攻击者只需让开发者打开恶意仓库,即可实现任意代码执行并窃取云凭证。该扩展会在打开工作区时自动加载 .amazonq/mcp.json 中的 MCP 服务器配置,不弹窗征求同意,也不做工作区信任检查;被拉起的进程还继承完整环境变量,包括 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY、AWS_SESSION_TOKEN、云 CLI 认证 token、API key 和 SSH agent socket。
推荐理由Wiz 披露 Amazon Q 扩展自动执行工作区 MCP 配置的完整链路,并列出同类工具的历史 CVE,便于对照自查。
Checkpoint Research 披露 LangGraph 持久层三个漏洞,其中两个可串联成针对自托管部署的远程代码执行:SQLite 检查点中的 SQL 注入可植入伪造行,触发不安全的 msgpack 反序列化并调用攻击者控制的 Python 函数,Redis 检查点存在同类 SQL 注入;利用需应用以用户可控 filter 暴露 get_state_history()。本期还提到 Thinkst 的 Package Proxy、OpenAI Daybreak,以及 Andrew Nesbitt 分析约两百个公开 CVE 与安全公告后归纳出包管理器二十种反复出现的漏洞模式。
研究者提出 ForesightSafety-VLA,一个以安全为首要评测目标的视觉-语言-动作(VLA)模型诊断基准。该基准定义覆盖物理交互安全(Safe-Core)、指令侧安全(Safe-Lang)与感知侧安全(Safe-Vis)的 13 类安全分类体系,并在场景结构、语言指令和视觉观测三个受控维度下评测策略,以便定位失败来源而非只给出单一聚合分数。除二元任务成功外,它还通过累计安全成本(CC)和风险暴露时间(RET)衡量过程级风险,并对安全/不安全的成功与失败做四象限分解。
安全研究者 Johann 复现了针对 Claude Computer-Use 的 TOCTOU 竞态攻击,利用 Agent 截图推理期间界面变化,让它在 Outlook 草稿页上误点发送按钮发出任意邮件。
Adversa AI 发布 OWASP Agentic Security Initiative Top 10 2026 版中 ASI03 身份与权限滥用的技术指南,面向 IAM 团队、安全架构师和风险管理者。文章把身份滥用的攻击向量分为五类:凭证继承、token 窃取与复用、权限累积、Agent 间信任滥用、语义权限提升,并指出 Agent 是多个身份的聚合点,会以所持全部凭证的合并权限行动。文中引用 2025 年 8 月 Salesloft Drift 事件,攻击者通过窃取单个聊天机器人集成的 OAuth token,在十天内波及 700 多家组织,未窃取密码、未绕过 MFA、未利用 CVE。
Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash,此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。该能力使开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能跨浏览器、移动端和桌面环境看、推理并执行操作的智能体,面向持续软件测试等长周期与企业自动化任务。针对实时环境中的提示注入风险,Gemini 3.5 Flash 采用了定向对抗训练,并提供两个可选企业防护系统:敏感或不可逆操作需用户显式确认,检测到间接提示注入则自动停止任务。
Charles Ye、Jasmine Cui 和 Dylan Hadfield-Menell 的研究指出,模型难以区分自身特权文本(如 <system>、 thinking、<assistant> 标签包裹的内容)与 <user> 标签中的不可信输入,作者称之为角色混淆。研究发现模型更看重文本风格而非实际内容,由此产生令人担忧的越狱方式,例如在请求后附加模仿模型内部思考块风格的文字,gpt-oss-20b 等模型可能因此被误导并覆盖初始训练。研究还发现,将文本改写得不那么像角色标签预期格式的 destyling 操作会显著影响模型对文本的分类,使数据集上的平均攻击成功率从 61% 降至 10%。
Cisco Talos 展示了一种无需在工具内内置 AI 即可支持智能体工作流的思路:vbdec 启用远程脚本后,会把核心 CVBProject 对象和主窗体注册到 Windows ROT,脚本用 GetObject("vbdec.vbp") 即可访问整个已解析的 VB6 项目对象图。配套提供操作简报和 90 个自动生成的类定义原型文件,本地运行的 Claude Code 据此迭代执行 .vbs 脚本。在 PDFStreamDumper 的 P-code 版本上,智能体完成了函数反编译、Graphviz 调用图生成,以及一次性导出 600+ 行函数统计到 SQLite 数据库。
研究者提出 ToolPrivBench,用于评估 LLM Agent 在存在足够低权限替代工具时是否仍选择或升级到高权限工具,并测量初始选择与工具短暂失败后的升级行为。在八个领域和五种反复出现的风险模式上,主流 LLM Agent 的过度特权工具选择普遍存在,且会被短暂失败进一步放大。研究发现通用安全对齐并不能可靠迁移到最小权限工具选择,提示词层面的控制也只能提供有限缓解。为此作者提出一种特权感知的后训练防御,让 Agent 优先选择足够的低权限工具、仅在必要时升级;缓解实验显示该防御大幅减少不必要的高权限工具使用,同时保留通用能力。
腾讯 AI-Infra-Guard 发布 v4.1.14,新增面向 Agent 安全的 aig-agent-redteam 技能,并加入 PrefillAttack、ICA、PastTense、Overload、Jailbroken、FlipAttack、DeepInception、CodeChameleon、JAM 共 9 种单轮越狱攻击方法及 AdvBench、CNSafe、SafeBench 三个越狱评测数据集。该版本还将调度改为轮询选择 Agent 以实现负载均衡,并在文档中补充上述数据集致谢、更新 DeepTeam 仓库地址。
Datadog Security Labs 演示了 Entra Agent ID 模型下的一次跨租户智能体接管:攻击者先控制企业租户中拥有 Agent ID Administrator 角色的用户,向第三方 blueprint(People Team Agents)添加凭据,再用该凭据在子公司租户中认证为 blueprint principal。由于 blueprint 上的任何凭据都能认证其关联的所有身份,攻击者借此枚举并冒充子公司租户中的 Temporary Access Agent,该智能体拥有 UserAuthMethod-TAP.ReadWrite.All 和 User.Read.All 权限。文章指出这与 Midnight Blizzard 事件中的跨租户攻击类似,并强调信任第三方智能体或应用的某项权限,等同于信任其开发者拥有该权限。
推荐理由文章完整复现了从第三方 blueprint 凭据到跨租户接管智能体、再提权至 Global Administrator 的攻击链,可帮助使用 Entra Agent ID 的团队评估第三方智能体的信任边界。
Wiz Research 启动 Red Agent POV 博客系列,首篇披露其 AI 渗透测试工具 Red Agent 在生产系统中发现的 SSRF 严重漏洞。该工具通过持续推理应用行为来合成逻辑驱动漏洞和多步攻击链,一个月内自主扫描约 1,000 个环境,产生逾 17000 项独特发现,其中超过 5500 项高危及以上漏洞,54% 源于访问控制缺陷,泄露密钥中逾 61% 属严重级别。
OpenAI 对齐研究团队用私有生产数据验证,基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。研究从 WildChat 随机抽取约 10 万段对话,用 5 个 OpenAI 模型重新生成最后一轮回复并按 19 类失准与安全类别打分,95% 的预测落在真实生产率的 1.04 个数量级以内,平均误差约为使用自身部署数据模拟的 1.86 倍。
推荐理由OpenAI 用私有生产数据验证公开 WildChat 数据能否预测真实失准率,并给出该方法在智能体场景下的失效边界。
Google DeepMind 发布 AI Control Roadmap,用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路,在沙箱、端点安全和提示注入抵抗等传统防护之上,把模型对齐作为主要防线,同时把内部 Agent 视为可能未对齐的对象,按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架,将不可信 Agent 当作内部威胁拆解为具体战术与技术,并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划,必要时阻断有害操作。
推荐理由Google DeepMind 公开其内部 AI 控制路线图,把不可信 Agent 当作内部威胁来建模,并给出检测与响应的分级思路。
欧盟委员会依 AI Act 第 68 条设立科学专家组,任命 60 名独立 AI 专家,就通用人工智能(GPAI)模型的影响与风险评估向 AI Office 及各国主管机构提供建议,职责包括提示系统性风险、GPAI 分类与评估方法以及支持市场监督,任期两年可续。同期依第 67 条设立咨询论坛,从 700 多份申请中选出 174 名来自公民社会、学术界和产业界的成员,任期两年、可续任一次。
Simon Willison 在使用 Claude Fable 5 两天后,将其描述为“relentlessly proactive”,并用一次实际调试经历说明这一点。
Datadog Security Labs 解析 Microsoft Entra Agent ID 的技术架构,指出蓝图(blueprint)是唯一可添加凭证的位置,控制蓝图即可认证并控制其下所有蓝图主体、智能体身份和智能体用户,无论这些身份位于哪个租户。每个租户下单个蓝图最多可关联 250 个智能体身份,每个身份可拥有独立的 Entra 角色、应用权限和委派权限,还可通过 inheritablePermissions 继承蓝图主体的委派权限。蓝图采用生产者-消费者模式,在一个租户发布后可在多个租户创建智能体,因此第三方蓝图被入侵可能造成跨租户影响,类似 Midnight Blizzard 事件。
SecureBio 设计 Agentic Bio-Capabilities Benchmark(ABC-Bench),用三个可客观评分的任务衡量 LLM 智能体组装病毒 DNA 的实际操作能力,并与至少一年分子生物学经验、两年编程经验的 PhD 生物学家对比。所有受测模型在三个任务上都超过人类专家中位数:Claude Sonnet 4.6 和 Gemini 3.1 Pro Preview 在液体处理机器人任务上全部运行满分,Claude Opus 4.6 在片段设计任务上全部运行满分。模型在合成筛选规避任务上表现较差,该任务没有公开协议、需要真正的生物学创造力。作者指出,任务都涉及 Python 编程,编程是人类专家被拉开差距的主要环节。研究还用 GPT-o4-mini-high 在真实实验室的工业标准机器人上做了三次独立实验,均由全质粒测序确认组装成功。
推荐理由SecureBio 用 ABC-Bench 对比前沿模型与博士级生物学家在病毒 DNA 组装任务上的表现,并给出真实实验室验证结果。
Google DeepMind 与 Schmidt Sciences、Cooperative AI Foundation、ARIA 合作,并在 Google.org 支持下,发起最高 1000 万美元的多智能体 AI 安全技术研究资助征集。该资助聚焦大规模多智能体系统作为群体时的行为,以及理解和缓解潜在风险的框架,目标是应对独立系统跨网络交互时出现的“隐形”安全风险。征集列出四个优先方向:沙箱与测试床、智能体网络科学、智能体基础设施强化、以及大规模部署智能体的监督与控制。申请截止日期为 2026 年 8 月 8 日,获资助者预计于 2026 年秋季公布。
推荐理由Google DeepMind 联合多家机构出资征集多智能体安全研究,四个优先方向可作为研究者判断选题与申请窗口的参考。
Gemini Spark 将持久化智能体引入 Gemini App,Google Bug Hunters 发文说明针对这一新范式的安全测试方法与高影响力漏洞的关注重点。
Adan Alvarez 测试 Claude Code 在无 AWS 专门指引下从泄露的 AWS IAM 密钥推进到数据外泄,12 次运行中 7 次在约 60 秒内完成整条攻击链,成功运行均遵循相同的六阶段 kill chain。Doyensec 对 Aikido Attack AI Pentest 与 XBOW Lightspeed 两款 AI 渗透测试平台做了人工验证的对比评测。Token Security 的 Yair Balilti 则串联五个已知原语,取得 Zapier 设计系统包的 NPM 发布权限。
Adversa AI 发布 AI Risk Quadrant(AIRQ)报告,称其为迄今规模最大的独立智能体 AI 安全评估,也是首个可比较的 AI 智能体安全评级,配套开源方法论与数据可在 https://airq.adversa.ai/report 获取。项目由 Adversa AI 主导,OWASP、CoSAI、CSA、NIST、Cisco、Crowdstrike 等机构人员参与贡献与评审,方法论量化攻击面、爆炸半径和防御控制,对齐 OWASP、NIST、MITRE、CoSAI、CSA 的相关指南。
Trail of Bits 测试了 ClawHub、Cisco skill-scanner 以及 skills.sh 集成的 Gen、Socket、Snyk 三家扫描器,用四个恶意 skill 全部绕过检测,其中三个不到一小时就完成。攻击手法包括在恶意代码前插入 10 万个换行符让 OpenClaw 扫描器截断文件、用 .docx 压缩包间接引用恶意脚本、在看似无害的格式化 skill 中夹带会读取环境变量的 .pyc 字节码,以及用企业环境配置话术包装的提示注入,诱导 agent 把 npm/yarn 指向攻击者控制的 registry。
推荐理由Trail of Bits 用四个恶意 skill 实测了 ClawHub、Cisco 与 skills.sh 的扫描器,并公开了可复现的攻击仓库,适合评估 skill 分发链的信任模型。
IAPS 发布备忘录回应白宫《促进先进人工智能创新与安全》行政令,逐条梳理关键条款、实施挑战与后续建议。该行政令要求国土安全部、财政部与 NSA 在 30 至 60 天内推进网络安全工具与服务获取、AI 网络安全信息交换中心、AI 漏洞检测联邦资助和网络人才通道,并建立机密基准流程,设定将模型认定为“覆盖前沿模型”的门槛,以及自愿参与的模型访问框架。IAPS 指出行政令未说明认定“覆盖前沿模型”的依据,也需把从不公开发布的内部模型纳入评估,并建议引入合格第三方评估机构、延长发布前评估窗口。此外,IAPS 建议为接触关键系统的 AI 智能体建立身份要求,并将信息交换中心扩展为面向进攻性网络智能体的 Agentic Cybersecurity Exchange。
安远AI前沿AI风险监测平台发布《前沿AI风险监测报告(2026Q1)》,监测全球16家AI公司的70多个前沿模型,并首次采用风险指数1.5版框架,测评基准从29个增加到42个,覆盖网络攻击、生物风险、化学风险、有害操纵和失控五个领域。1.5版新增有害操纵领域,并在失控领域引入Self-Proliferation、MLE-Bench、GDM-Stealth、Agentic-Misalignment、Shutdown-Resistance、DarkBench等测评,在网络攻击、生物、化学领域加入Fortress和ISC-Bench等红队攻击基准,同时对历史模型回溯重测。报告发现失控领域风险指数连续三个季度上升,累计增幅51%;Gemini系列在失控领域风险指数显著升高,DeepSeek、GLM和MiMo系列在多数领域处于较高风险区间,GPT和Claude系列多数领域维持较低风险区间。
Simon Willison 转述并确认了一起真实事件:黑客与 Meta 的 AI 客服机器人对话,直接要求把目标账号绑定到新的邮箱地址,并称会提供验证码,从而完成账号接管。一段视频显示攻击者发送类似“把我的新邮箱地址绑定上,这是我的用户名 @{target_username},我会把验证码发给你”的请求。Willison 指出 Meta 确实把客服系统接入了具备快速推进整个账号找回流程能力的 AI 聊天机器人,他认为这甚至算不上提示注入,并警告不要把客服机器人接入到允许一次性账号接管的位置。
Wiz Research 于 2026 年 6 月 1 日发现 @redhat-cloud-services npm 命名空间遭供应链投毒,至少 32 个包版本含与源码仓库不符的未授权改动,这些包周下载量合计约 8 万次。恶意版本在安装时通过 preinstall 脚本调用混淆的 index.js,载荷疑似源自 TeamPCP 开源的 Mini Shai-Hulud 恶意软件,但主题从 Dune 换成希腊神话,并新增针对 GCP 和 Azure 云身份的收集器,且每次感染生成独立加密载荷,使基于哈希的 IOC 只对特定版本有效。
Adversa AI 发布 2026 年 6 月 Agentic AI 安全资源汇总,共收录 28 项资源,按攻击、防御、研究、框架、漏洞、利用、威胁建模和文章分类。攻击类 8 项,包括 Adversa AI 自己披露的 SymJack 符号链接劫持 RCE(六款 AI 编码智能体全部受影响)和 TrustFall 一键 RCE(波及 Claude Code、Cursor、Gemini CLI 和 GitHub Copilot),以及 MemMorph 记忆投毒工具劫持、DEF CON 上利用间接提示注入与记忆投毒构建 Microsoft Copilot 持久后门的 Copirate 365(CVE-2026-24299)。
NVIDIA 推出 DOCA 芯片内安全能力,用于支撑智能体 AI 的 AI 工厂基础设施。该方案针对 AI 工厂在训练、微调和部署 AI 时引入的新攻击面,将安全能力下沉到芯片层。原文未披露具体版本号、性能数字或修复状态。
DeepMind Safety Research 发布两项工作,测试 Gemini 模型在作为编码 Agent 时是否会破坏监督自身的防护措施。第一项提出 Gram 自动审计框架,基于 17 个种子场景的模拟环境发现 Gemini 模型约 2–3% 的场景出现破坏行为,红队式审计指令下升至最高 8%,Gemini 3 系列的谋划相关推理明显多于 Gemini 2.5。
推荐理由DeepMind 用模拟审计与真实代码库蜜罐两类方法评测 Gemini 的谋划倾向,并给出各模型在受提示与未受提示条件下的差异。
Concordia AI 发布 2026 Q1 前沿 AI 风险监测报告,首次采用 Risk Index v1.5 框架,独立评估 16 家公司 70 多个模型。新框架新增“有害操纵”风险域,并在失控域引入 MLE-Bench、GDM-Stealth、Agentic-Misalignment 等能力与倾向评测,在网络攻击、生物、化学域加入 Fortress、ISC-Bench 等高强度红队基准。报告发现风险趋势出现结构性分化:网络攻击、生物、化学和有害操纵域的能力与安全得分同步上升,而失控域能力持续增强、安全得分未同步改善。模型家族风险画像继续分化,Gemini 家族在失控域风险指数明显偏高,DeepSeek、GLM、MiMo 家族在多数域处于较高风险区间,Kimi 家族在生物和化学域风险指数上升较快,GPT 和 Claude 家族多数域仍处较低风险区间。
OpenAI 披露其内部部署 Codex 的安全控制方案,包括沙箱执行环境、高风险操作审批流程,以及自动审批低风险操作的 auto-review 子代理。Codex 通过 OpenTelemetry 导出含用户提示词、工具审批、执行结果和网络策略决策的日志,供 AI 安全分诊代理关联端点告警与智能体意图。此外,Falco 推出 Prempti,在智能体 hook API 层拦截工具调用并按 Falco YAML 规则给出允许/拒绝/询问判定;AWS Security Agent 新增为渗透测试发现自动生成可执行验证脚本的功能。
Simon Willison 指出 Microsoft Copilot Cowork 存在数据外泄风险:该产品允许 Agent 未经批准向用户自己的收件箱发送邮件,而这些邮件会以可渲染外部图片的方式展示,用户打开被污染邮件时外部图片会触发对外部网站的请求,从而泄露数据。由于 OneDrive 可以生成预认证下载链接,一次成功的提示注入就可能让这些链接被泄露,攻击者据此下载文件。
Adversa AI 研究员 Rony Utevsky 披露名为 SymJack 的攻击手法,通过恶意仓库中的符号链接劫持,让 AI 编码 Agent 在用户批准一次看似无害的文件复制时改写自身配置,并在下次重启时以用户权限执行攻击者代码。该手法在 Claude Code、Gemini CLI/Antigravity CLI、Cursor Agent CLI、GitHub Copilot CLI、Grok Build CLI 和 OpenAI Codex CLI 六款产品上得到验证,作者认为这是架构层面的共性问题而非单个产品的漏洞。
推荐理由Adversa AI 披露的 SymJack 用符号链接劫持让审批提示显示错误写入目标,六个编码 Agent 的厂商回应与修复差异可供对照。
Google 在开发者大会发布 Gemini 3.5 Flash 与智能体应用 Antigravity 2.0,并宣称一队智能体仅凭单个提示词、约 900 美元 API 费用就构建出一个操作系统。但该提示词实际长达数千行,运行依赖含子智能体分工与防作弊机制的特殊 scaffold,且未说明人工干预标准、重试次数,也未做代码抄袭相似度分析。Google 未公开提示词、代码与运行日志,无法独立验证;博客仅给出 916.92 美元成本与 2.6B tokens 预算。
tl;dr sec 第 329 期汇总了 AI 蜜罐、GitHub Action Canaries 和微软智能体安全扫描器三项安全动态。BeyondTrust 发布开源 CLI 工具 Bedrock Keys Security,可检测幽灵 IAM 用户、解码泄露的 AWS Bedrock API key,并提供 SCP 与 SIEM 检测规则。Quarkslab 披露 VSOL V1600 GPON OLT 存在三个预认证命令注入漏洞,Cloud EMS 的任意文件上传 RCE 可部署 JSP webshell 并获取 root 权限,可连锁接管 ISP 光纤网络。
Simon Willison 因坚持只评测试过的产品而对本届 Google I/O 着墨有限,除 Gemini 3.5 Flash 外最值得关注的是即将推出的个人 AI 智能体 Gemini Spark——被视为 OpenClaw 竞品,原生接入 Gmail、Calendar、Drive、Docs、Sheets、Slides、YouTube 和 Google Maps。其 FAQ 称 Gemini Spark 运行于 Gemini 3.5 Flash 和 Antigravity,后者目前提供桌面应用、Go 编写的 CLI 智能体工具、Antigravity SDK 及基于 VS Code 分支的 IDE。