跳到正文

Agent 安全

今天新收录 17 条(含旧文)

第 6 页更新的内容回到最新

10月1日周四
  1. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文59

    特拉维夫大学提出爆炸性提示词:条件触发的间接提示注入可绕过九款生产 Agent

    特拉维夫大学研究者提出爆炸性提示词(explosive prompt),一种把恶意载荷写成条件语句、在攻击者选定的触发词出现前保持休眠的间接提示注入形式,无需训练即可在推理时植入单条检索内容。在 896 对配对样本上,同一恶意目标改为休眠条件式后,在拒绝直接指令的前沿模型上仍能触发真实工具调用,Grok-4.20 从 0.0% 升至 34.2%,Llama-3.1-70B 从 0.1% 升至 26.1%,七款模型配对均值 16.5% 对 2.4%。已部署的注入分类器 Prompt Guard 2、PIGuard、PIShield 在其工作阈值上校准失当,1% 误报预算下最多只拦住 52.7%;偏好优化模型 SecAlign 完全阻断直接注入,却仍执行 11.8% 的爆炸性提示词,且全部在触发轮触发。

    推荐理由论文把条件触发式提示注入与普通注入做了配对实测,并给出九款生产 Agent 的绕过率,部署 Agent 的团队可据此检查检索内容的摄入环节。

  2. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    论文提出持久计费状态概念,揭示工具调用 LLM Agent 的拒绝钱包攻击与防御

    中科院信息工程研究所等机构的研究者提出持久计费状态概念,指工具调用 LLM Agent 的运行时把外部工具返回内容带入后续模型输入后,提供方会对其重复计费,被接纳的恶意或被攻陷工具因此可在没有受害者凭证和本地运行时权限的情况下,把不可信数据转化为持续由受害者付费的处理。作者把主机对这类内容是否以及如何进入后续计费上下文的决策形式化为持久计费状态边界,并称这是对该准入后生命周期的首个系统性安全研究。研究推导出六种拒绝钱包攻击向量,构建端到端测试框架 DOW-BENCH,在六个模型家族上完成 243 次执行,用量遥测显示单会话累计输入最高达到该会话首次调用输入的 14,293 倍。

  3. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    AgentXploit:面向 AI Agent 的仓库到运行时自动化红队系统

    AgentXploit 是一个双角色审计系统,把仓库级攻击路径发现与运行时利用分开:Analyzer Agent 追踪攻击者可控输入到敏感操作并记录有代码支撑的候选路径,Exploiter Agent 将其转化为具体攻击并借助运行时反馈修正。作者同时发布 AgentXploit-Bench,覆盖 12 个开源 AI Agent 系统与框架中的 72 个可复现漏洞。三次运行中 AgentXploit 端到端成功率为 59.3%,Codex 为 38.4%;在 token 预算对齐的比较下 Codex 为 46.3%。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    OllamaDrama:用蜜罐测量暴露 LLM 基础设施遭受的攻击

    研究者设计并部署了 Ollure 蜜罐,模拟 Ollama API 但不接入后端 LLM,在云和大学网络共四处部署运行 84 天,记录到来自 2,793 个独立源 IP 的 290,887 次交互。多数活动是自动化发现、指纹识别和模型枚举,但也出现了针对基础设施层和 LLM 层的实际利用尝试,包括模型管理滥用、路径遍历与 SSRF 探测、RCE 和加密货币挖矿载荷、资源耗尽尝试、提示注入、信息提取以及面向 Agent 的工具调用。论文称这些结果提供了暴露的自托管 LLM 服务在真实世界所受威胁的经验性观察。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    研究者提出技能级联攻击,在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%

    研究者提出技能级联攻击(skill cascading attacks),把恶意目标分散到多个 Agent 技能中,使每个被改动的技能单独看都通过安全扫描,组合执行后才产生危害。作者构建了多智能体红队框架 SkillCascade,并基于 ClawHub 上的真实技能发布 SkillCascade-Bench,包含 10 个领域的 213 个验证用例,平均级联长度为 3.25 个技能。在 OpenClaw、Claude Code 和 Codex 三类 Agent 系统与 8 个 LLM 后端上,攻击平均成功率为 89.4%,各后端介于 76.5% 至 97.1%,其中 Claude Opus 4.6 与 GPT-5.4 最抗攻击,开源权重后端 Qwen 3 72B 最易受攻击。攻击对逐技能扫描器、跨技能联合扫描器和运行时防御均保持较高规避率,运行时防御平均规避率为 88.5%。

    推荐理由论文把恶意目标拆到多个技能中,单个技能都能通过扫描,组合后才产生危害,并给出跨技能防御的初步尝试。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文51

    SkillDRE:用预执行与运行时双阶段反馈自动演化恶意 Agent 技能

    SkillDRE 是一个全自动演化完整恶意 Agent 技能包的框架,通过预执行扫描与运行时防御反馈构成的双阶段闭环迭代技能实现。给定一个良性任务及其技能,框架先自主构造并验证与任务绑定的恶意目标和可验证的判定规则,随后在保持合法任务能力的前提下固定这两者、只演化技能实现。它把扫描器引导的演化与运行时执行结果引导的修正结合起来,每次运行时修正都会回到预执行阶段重新扫描和优化,再重新执行。在 SkillsBench 上对四个受害模型评测,平均攻击成功率为 45.28%,比最强基线高 40.3%,最终提交的技能未触发 SkillScan 告警,且基本保持良性任务表现。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文37

    论文提出保险库中介执行边界,评估 LLM Agent 的 API 凭据处理风险

    论文将工具调用型 LLM Agent 的凭据卫生问题定义为执行安全问题,并评估了一种保险库中介执行架构:模型只选择连接器标识符,由可信请求边界提供认证。作者在 Corvic Security Vault 的生产实现上做了两组受控黑盒实验,覆盖七个控制域的 16 项探测全部达到预期结果,包括一次已认证的 GitHub API 请求成功,而凭据未出现在进程环境变量、调用方可见请求头、受测文件系统位置、三个第三方回显服务和两个无关 API 源中,两个云实例元数据端点均不可达。论文同时报告了一个负面结果:某连接器的存储请求头映射不满足其提供方的认证契约,说明集中托管本身不能保证配置正确。

  8. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文60

    用课程强化学习对前沿模型做提示注入红队测试

    研究者提出用课程学习解决 RL 提示注入红队中的冷启动问题:直接针对前沿目标训练攻击者 LLM 时全部攻击失败、奖励恒为零,无法学习。方法是在一系列鲁棒性递增的目标 LLM 上依次训练同一个攻击者 LLM,每阶段从上阶段结果热启动,并要求每阶段结束后攻击者对下一目标已有部分成功。在 AgentDyn 上,课程 GPT-5-nano → GPT-5.6-Luna → GPT-5.6-Terra 对 GPT-5.6-Luna 和 GPT-5.6-Terra 的 ASR@10 分别达 93.8% 和 45.0%,而 RL-Hammer 与 PISmith 直接训练均为 0%。

    推荐理由论文给出课程式 RL 训练攻击者 LLM 的完整方法,并公开了跨目标与跨基准的迁移数据,可供红队与防御方参考。

  9. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    论文提出残留授权重放攻击:长期运行 Agent 的授权可跨任务复用

    研究者提出残留授权重放攻击,利用长期运行 Agent 跨任务或跨会话保留的用户授权,在原始授权语境改变后复用这些授权执行敏感操作。作者从八个生产级编码 Agent 的实现中还原其授权语义,发现先前交互产生的授权状态可跨任务和会话边界持续生效,使后续操作绕过本应需要的用户批准。在 AgentDojo 的 508 个攻击案例、六个 LLM 家族上,残留授权使提示注入攻击成功率最高提升 35.1 个百分点;在 Codex、Gemini CLI 和 Goose 上对 55 个 Terminal-Bench 案例的实时上下文重绑定攻击中,攻击成功率平均提升 24.9 个百分点。作者据此提出上下文绑定授权,建议在安全相关绑定发生变化时重新请求批准。

    推荐理由论文把长期运行 Agent 的授权残留形式化为可复用的攻击面,并给出跨模型与真实编码 Agent 的量化放大结果。

  10. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    研究揭示工具智能体中越狱上下文残留导致的安全路由分化

    研究提出配对续写框架,在 42 个领域的 192 个父任务上评估八个智能体,分析 12,148 对续写,发现相同的安全反馈会引发模型相关的行为分化:把不安全轨迹导向合法完成(救援)、维持未授权执行(持续不安全),或在良性任务上触发过度拒答(附带损失)。通过逐层激活修补,作者发现一种共同的晚期定型模式,因果干预效果在接近最后几层(相对深度 0.958–0.984)急剧上升,尽管不同架构的峰值幅度相差超过 30 倍。关键层表征与宏观路由结果相关,在这些层干预会因果性地改变具体的下一步工具动作。

  11. Adversa AI · 收录 · 原文 39

    Adversa AI 自主红队 Agent 攻破 Gandalf CTF 全部八关并进入全球榜前列

    Adversa AI 构建的自主红队 Agent 攻破了 Lakera Gandalf CTF 全部八关,35 次尝试完成,第 1 至 6 关均单条消息解决,全球排行榜位列第 4(若不计零尝试的榜首则为第 3)。该 Agent 不靠提示词模糊测试,而是先用 Attack Inventor 方法从第一性原理分析防御架构的隐含假设,再执行预先推导出的攻击树。

  12. Adversa AI · 收录 · 原文 43

    Adversa AI 复盘 Mythos 自主网络攻击:AI 驱动攻击已非前沿模型专属

    Adversa AI 复盘英国 AI 安全研究院对 Claude Mythos Preview 的独立评估,指出 Mythos 在模拟的 32 步企业网络攻击中从侦察到完全接管网络全程自主完成,专家级 CTF 得分 73%,此前没有模型在 2025 年 4 月前通过这类挑战。文章强调这一能力并非 Mythos 独有:Aisle 的分析显示,一个 3.6B 参数、每百万 token 成本 0.11 美元的模型就能检出 Anthropic 研究中提到的 FreeBSD 漏洞,检测级漏洞发现已对小型廉价模型开放,利用构造也在沿同样的成本曲线下移。

  13. Adversa AI · 收录 · 原文 57

    TrustFall:Claude Code、Cursor、Gemini CLI 与 Copilot CLI 存在一键 RCE 缺陷

    Adversa AI 披露 TrustFall 缺陷:Claude Code、Gemini CLI、Cursor CLI、Copilot CLI 四个编码 CLI 在开发者接受文件夹信任提示后,会立即执行项目自定义的 MCP 服务器,恶意仓库只需一次回车即可触发未沙箱化的 RCE。

    推荐理由报告给出四个编码 CLI 在信任对话框后自动执行项目 MCP 服务器的完整链路,并附可复现 PoC 与端点加固清单。

  14. Adversa AI · 收录 · 原文 61

    Adversa AI 披露 SymJack:符号链接劫持在六款 AI 编码 Agent 上实现 RCE

    Adversa AI 研究员 Rony Utevsky 披露名为 SymJack 的攻击手法,通过恶意仓库中的符号链接劫持,让 AI 编码 Agent 在用户批准一次看似无害的文件复制时改写自身配置,并在下次重启时以用户权限执行攻击者代码。该手法在 Claude Code、Gemini CLI/Antigravity CLI、Cursor Agent CLI、GitHub Copilot CLI、Grok Build CLI 和 OpenAI Codex CLI 六款产品上得到验证,作者认为这是架构层面的共性问题而非单个产品的漏洞。

    推荐理由Adversa AI 披露的 SymJack 用符号链接劫持让审批提示显示错误写入目标,六个编码 Agent 的厂商回应与修复差异可供对照。

  15. Adversa AI · 收录 · 原文 62

    Adversa AI 披露 GuardFall:开源 AI 编码 Agent 的通用 shell 注入漏洞

    Adversa AI 披露名为 GuardFall 的通用 shell 注入漏洞类别,指出基于原始命令字符串做模式匹配的护栏无法建模 bash 的展开行为,因而在完全启用且配置正确时仍可被绕过。研究覆盖 11 个开源编码与计算机操作 Agent(合计约 548,000 GitHub star),其中 10 个的 agent 到 bash 边界可被利用,分为四种失效模式:三个护栏存在但被击穿(Hermes、opencode、Goose),两个 tokenized 护栏仅在引号内命令替换和破坏性参数上失效,其余要么没有静态护栏,要么默认容器沙箱在文档化的 local 模式退出后失效。

    推荐理由对 11 个开源编码 Agent 的 shell 护栏做了统一探测,并给出可迁移的五段式评估器设计,适合自建 Agent 的团队对照自查。

  16. Adversa AI · 收录 · 原文 56

    Adversa AI 披露 Cursor 深链漏洞 DeepJack:伪装 PR 审查链接可安装恶意 MCP 服务器并远程执行代码

    Adversa AI 披露 Cursor 的 cursor:// 深链漏洞 DeepJack,攻击者伪装成队友发送一条“审查 PR”链接,点击并确认后即可安装攻击者控制的 MCP 服务器,以受害者账号执行未沙箱命令。攻击有两个变体:一是把 mcp/install URI 双重 URL 编码后塞进 pr-review 端点的 url 参数,Cursor 不会递归解码或重新校验该参数;二是安装对话框用单行文本框渲染命令,攻击者用大量制表符把恶意尾部(如 & /c start curl attacker.com)顶出屏幕,用户只看到 calc 之类的无害命令。

    推荐理由披露 Cursor 的 cursor:// 深链可借伪装成 PR 审查的链接安装恶意 MCP 服务器并执行未沙箱命令,附跨 Agent 深链能力对照表。

  17. Adversa AI · 收录 · 原文 33

    用 AI 红队智能体通关 GitHub Secure Code Game 的 ProdBot 挑战

    Adversa AI 的 AI 红队智能体自主通关了 GitHub 开源安全训练游戏 Secure Code Game 第四季的 ProdBot 智能体赛道,五关全部拿到 flag,且获胜输入均不含越狱词汇。该挑战每关为 ProdBot 增加一项能力(沙箱、Web、MCP、Skills+Memory、多智能体),对应路径遍历、过度授权工具、污染策略存储、混淆代理等具体利用方式。作者强调这只是教学靶场的定性经验,并非对生产护栏的通用绕过,也不构成任何模型鲁棒性的测量。

  18. Adversa AI · 收录 · 原文 55

    Adversa AI 实测八款开源 Agent 技能扫描器,恶意技能全部绕过

    Adversa AI 用真实攻击载荷实测八款开源 Agent 技能扫描器(针对 Claude Code 等加载的 SKILL.md、agent manifest 与 MCP 配置),恶意技能全部通过,包括当前 OASB 排行榜第一的 HMA。绕过原因各异:六款可被改写或混淆绕过,一款几乎不做检查,一款的判定文件本身可被注入指令。共同缺陷是缺少前端处理,所有扫描器匹配文件字节而非实际执行字节,没有一款会解码编码载荷后重跑完整规则集,也没有一款在命令库运行前做 Unicode 归一化。

    推荐理由对八款开源 Agent 技能扫描器的实测绕过矩阵,并给出可对照的误报率数据,适合评估技能市场准入控制的人参考。

  19. Adversa AI · 收录 · 原文 55

    Adversa AI 盘点针对 AI 智能体的十起零点击攻击

    Adversa AI 汇总了十起针对 AI 智能体的零点击攻击,受害者在正常工作流中不点击、不授权,仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里,涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等;三起获得 CVE,评分多在 9.3 以上,其余七起或被静默修补,或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文,模型无法区分内容与指令,随后由智能体自身权限执行攻击;外泄通道从图片预取、厂商云端服务端 HTTP,逐步转向浏览器导航、Outlook 正常发信和开发者 shell。

    推荐理由梳理十起零点击攻击的入口、外泄通道与厂商处置差异,可对照检查自家 Agent 的检索信任边界与出站通道。

  20. Adversa AI · 收录 · 原文 53

    Adversa AI 披露 Cryptographic Context Injection 攻击:Grok 零点击泄露聊天记录,Gemini 被绕过安全策略

    Adversa AI 公开了一种名为 Cryptographic Context Injection 的攻击手法,把恶意指令封装成 AES-256-GCM 密文并诱导模型在自己的代码执行沙箱中解密,使解密后的指令以运行时输出的形式进入可信上下文,从而绕过静态护栏。在 xAI Grok 网页版聊天中,用户只需发出普通的“总结这个页面”请求,页面内嵌的加密 JSON 就会让 Agent 调用其联网导航工具,把用户名、粗略位置、订阅等级和整段对话历史拼进 URL 参数发往攻击者服务器,全程无点击、无确认、无警告。

    推荐理由Adversa AI 公开了一种把恶意指令藏进 AES 密文、借模型自身代码运行时解密的新型注入手法,并给出 Grok 零点击窃取聊天记录与 Gemini 绕过安全策略的复现结果。

  21. Unit 42 · 收录 · 原文 43

    Unit 42 披露通过 cgroup 伪造冒用 SPIFFE/SPIRE 工作负载身份的攻击手法

    Unit 42 研究显示,攻击者只要在 Kubernetes 节点上取得 root 权限,就能伪造 SPIRE agent 用于工作负载认证的 Linux cgroup 信息,诱使 agent 把同节点其他工作负载的 SVID 签发给攻击者控制的进程。研究给出了完整的手工复现步骤:先读取目标 pod 的 PID 与 cgroup 路径,再把自身 shell 的 PID 写入仿造的 cgroup.procs,随后通过 Workload API 成功取回目标工作负载的 JWT SVID 与信任包。

  22. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 21

    保障智能体 AI 安全:语义提示注入如何绕过 AI 护栏

    语义提示注入能够绕过 AI 护栏,成为智能体 AI 面临的新安全威胁。自大语言模型部署早期起,提示注入就通过操纵输入让模型产生非预期行为;防御方在文本攻击上已有进展,但多模态与智能体 AI 的转变正在快速扩大攻击面,红队测试在此发挥关键作用。

  23. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 18

    NVIDIA AI Red Team:黑客如何利用 AI 的问题解决本能

    多模态 AI 模型正从感知走向推理、甚至开始自主行动,随之出现新的攻击面:这些威胁不只针对输入输出,而是利用 AI 跨模态处理、综合与推理的方式。NVIDIA AI Red Team 会在攻击者之前发现并测试这类漏洞,此前已开展语义提示注入(semantic prompt injection)研究。

  24. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 52

    NVIDIA 分析编码智能体开发者工具的攻击面

    NVIDIA 技术博客指出,开发者越来越多使用 Cursor、OpenAI Codex、Claude Code 和 GitHub Copilot 等 AI 编码工具,这些工具在加快开发与代码审查的同时也扩大了攻击面。文章称这些智能体工具实现方式各异,但都共享同一套框架,即用 LLM 决定要执行的动作。

    推荐理由文章梳理了 Cursor、Codex、Claude Code 等编码智能体共同的 LLM 决策框架,说明这类工具为何构成新的攻击面。

  25. Hugging Face Daily Papers · 收录 · 原文 论文57

    同字节不同权限:保留 token 表示如何放大聊天模板提示注入

    论文在字节完全相同、仅 token id 不同的条件下对比聊天模板注入,发现把伪造角色标记编码为普通子词后,Llama-3.1、GLM-4.5 和 Seed-OSS-36B 在 InjecAgent 上的攻击成功率下降 39 至 66 个百分点,AgentDojo 多轮任务中差距依然存在。作者用 Matched 对照控制额外 token 数量,确认差距来自保留 token 的学习向量而非标记文本;在 Llama-3.1 上,嵌入空间最近的普通 token 向量可完全恢复攻击。指令微调会加强模型对保留标记的偏好,抑制 Qwen3-8B 的推理块会把直接危害上的差距从 8.1 扩大到 49.8 个百分点。

    推荐理由论文用固定字节、只改 token id 的对照,量化了保留 token 表示在聊天模板注入中贡献多少攻击成功率,并指出常见缓解只覆盖特殊 token。

  26. Hugging Face Daily Papers · 收录 · 原文 论文56

    SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE

    论文把工具型 Agent 的攻击与防御统一建模为部分可观测状态控制问题,并提出攻击方法 DART 与防御方法 SAGE。DART 把有害目标拆解为局部看似合理的步骤,利用真实工具执行的反馈做轨迹树搜索;SAGE 在执行前通过只读查询调查相关状态,再决定放行或拦截。在四个目标模型上,DART 的语义攻击成功率比最强基线高 18.8 至 35.9 个百分点,可执行验证下也有一致提升。在记录轨迹上,SAGE 保留 95.79% 的良性轨迹,并在有害边界处拦截 92.73% 的有害路径;在线攻防评估中把 DART 的可执行攻击成功率从 48.0% 降到 4.0%,且在四种攻击方法和训练未见过的 PostgreSQL、Web 域上仍然有效。代码与数据已开源于 GitHub。

    推荐理由论文把工具型 Agent 的攻击与防御统一到部分可观测状态控制框架下,并给出可复现的数据集与代码,适合做 Agent 安全评测的团队参考。

  27. 腾讯玄武实验室 · 收录 · 原文 57

    腾讯玄武实验室在 Black Hat 2025 披露劫持智能体实现 RCE 的通用触发器注入方法

    腾讯玄武实验室在 Black Hat US 2025 发布研究,提出一种将触发器与载荷解耦的提示词注入新范式,用同一组优化 Token 序列即可控制模型精确输出攻击者指定内容。作者用贪婪坐标梯度(GCG)方法在包含上万条样本的对抗数据集上训练触发器前缀与后缀,在 Qwen-2、Llama-3.1、Devstral-Small 等开源模型上经约 200-500 次迭代后平均攻击成功率约 70%。演示案例中,攻击者通过嵌入触发器的恶意邮件让 Open Interpreter 执行命令,或通过更新第三方 MCP 工具描述使 Cline 跳过自动批准直接执行 shell 命令。

    推荐理由展示了触发器与载荷解耦的通用提示注入方法,并给出在 Cline 与 Open Interpreter 上的实际攻击链,可供部署智能体的团队评估工具审批与沙箱策略。

  28. Embrace The Red · 收录 · 原文 56

    研究者用提示注入把 ChatGPT 变成可远程控制的 ZombAI 节点

    安全研究者 Johann Rehberger 在 Black Hat Europe 演讲中展示了一套命令与控制(C2)系统,通过提示注入远程控制 ChatGPT 实例,构成一种新型僵尸网络的基础。攻击前提是用户被提示注入恶意软件感染一次,途径包括用 ChatGPT 访问恶意网站、分析恶意图片或总结 PDF,恶意指令会持久化在 ChatGPT 的长期存储中。

    推荐理由作者以可复现的 PoC 展示提示注入如何把 ChatGPT 变成可长期远程控制的节点,并给出数据外泄的绕过路径。

  29. Embrace The Red · 收录 · 原文 50

    用提示注入与延迟工具调用篡改 Gemini 长期记忆

    研究者演示了通过上传文档中的间接提示注入,配合延迟工具调用,让 Gemini 把攻击者指定的虚假信息写入长期记忆。Gemini 通常不会在处理不可信数据时调用敏感工具,但攻击者先在文档摘要中埋入指令,要求用户在回复 yes、sure 或 no 等触发词时保存记忆,用户一旦照做,Gemini 便误以为这是用户本人的指令而调用记忆工具。演示中写入的虚假记忆包括昵称、年龄和喜好,并可在后续会话中持续存在,作者还通过询问年龄验证了端到端效果。

  30. Embrace The Red · 收录 · 原文 56

    研究者实测 ChatGPT Operator 提示注入攻击与三层防护绕过

    安全研究者 Johann 自费订阅 ChatGPT Pro 实测 OpenAI 的 Operator 浏览器智能体,演示了通过网页提示注入劫持 Operator 并窃取用户 PII 的完整攻击链。攻击方式是在 GitHub issue 等页面植入指令,诱导 Operator 跳转到用户已登录的站点(如 news.ycombinator.com、Booking.com、The Guardian),复制私密邮箱、住址和电话,再粘贴到攻击者控制的第三方页面,该页面无需点击提交按钮即可把输入直接发送到服务器。

    推荐理由作者以付费实测展示 Operator 的三层防护如何被绕过,并给出可复现的攻击链与失效边界。

  31. Embrace The Red · 收录 · 原文 46

    ASCII Smuggler 更新:用两个不可见字符走私任意 Unicode 数据

    Embrace The Red 发布 ASCII Smuggler 工具更新,新增 Sneaky Bits 编码方式,仅用两个不可见字符即可编码任意 Unicode 字符或字节序列。Sneaky Bits 默认以 invisible times(U+2062)表示 0、invisible plus(U+2064)表示 1,逐位表示 Unicode 码点,两个字符可配置,在工具中作为非默认选项,默认仍为 Unicode Tags 编码。文章同时回顾了 Unicode Tags 与 Variant Selectors 两种走私技术,前者常被 LLM 直接当作指令执行,后者可将 VS1-VS256 映射为原始字节。

  32. Embrace The Red · 收录 · 原文 43

    GitHub Copilot 自定义指令文件可被植入后门代码

    作者实测发现,GitHub Copilot 会读取仓库中的 .github/copilot-instructions.md 文件并加入提示词上下文,因此指令文件中一行隐蔽内容即可让 Copilot 生成带后门代码的补全结果,作者以 Go 语言做了演示。作者同时提到 Pillar Security 此前已指出 Cursor 的 .mdc 规则文件存在同类风险,并涉及隐藏 Unicode 字符。GitHub 去年已缓解 0-click 图片渲染数据泄露问题,点击超链接时也会弹出确认对话框,除非目标域名在 VS Code 的受信任站点列表中。

  33. Embrace The Red · 收录 · 原文 55

    研究者披露 MCP 工具元数据隐藏指令攻击,可劫持 Claude 等客户端

    安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令,用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链:在 message_of_the_day 工具描述中嵌入不可见指令,诱导 Claude 在调用该工具前先调用 enter_matrix 工具,而 UI 中检查描述看不到任何异常。攻击无需实际调用工具,仅将恶意服务器加入对话上下文即可劫持会话,因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。

    推荐理由作者以自建 MCP 服务器实测,展示工具元数据中隐藏 Unicode Tags 指令如何绕过 UI 可见性并触发未授权工具调用。

  34. Embrace The Red · 收录 · 原文 50

    研究者用 ClickFix 社工手法劫持 Computer-Use Agent

    安全研究者 Johann 把真实世界的 ClickFix 社工手法改造成针对 Computer-Use Agent 的攻击,并称多数变体都能奏效。攻击方式是在网页按钮被点击时用 JavaScript 把 curl 命令写入剪贴板,再诱导 Agent 打开终端、粘贴并执行,同时用终端图标和 CTRL+SHIFT+V 等 GUI 指令引导操作。作者称 Claude 偶尔拒答,但把验证文案从 Are you a Human 改成 Are you a Computer、把按钮从 Begin Validation 改成 Show Instructions 后,拒答几乎完全消失。

  35. Embrace The Red · 收录 · 原文 57

    研究者用提示注入绕过 ChatGPT 安全 URL 渲染,外泄聊天历史与记忆

    研究者演示了 OpenAI 的 safe URL 渲染功能存在绕过,使 ChatGPT 可把个人信息发送到第三方服务器,攻击者通过不可信数据中的提示注入即可利用。当用户处理不可信内容(如总结网页或分析 PDF)时,文档作者能外泄提示上下文中的任意信息,包括过往聊天历史。攻击链为:提示注入劫持 ChatGPT,读取系统提示中 Recent Conversation Content 部分,将内容发送到 https://trustnoai.blob.core.windows.net,攻击者再通过 Azure blob 存储日志查看结果。

    推荐理由作者以第一手实测展示 ChatGPT 聊天历史可经提示注入外泄,并给出 url_safe 绕过与披露时间线,便于评估同类渲染风险。

  36. Embrace The Red · 收录 · 原文 50

    通过间接提示注入将 ChatGPT Codex 变成 ZombAI 智能体

    安全研究者演示了借助 GitHub issue 中的间接提示注入劫持 ChatGPT Codex,把它接入 C2 服务器变成 ZombAI 僵尸网络智能体。OpenAI 在 6 月初为这个云端编码 Agent 加入联网能力,提供 Off、Full、自定义域名允许列表和 Common Dependencies 几类选项。Common Dependencies 允许列表包含 71 个域名,其中 azure.com 可被攻击者利用,在 Azure 上设置以 cloudapp.azure.com 结尾的 DNS 名来托管 C2。攻击链中,被恶意指令劫持的 Codex 会下载并执行植入物,泄露环境变量、源码与算力。

  37. Embrace The Red · 收录 · 原文 50

    Amp Code 可通过提示注入任意执行命令,Sourcegraph 已修复

    安全研究者 Johann 发现 Sourcegraph 的编码 Agent Amp 能够写入项目文件夹之外的配置文件,从而被间接提示注入利用实现任意代码执行。攻击链有两条:一是向 settings.json 的 amp.commands.allowlist 加入 curl、sh 等命令绕过开发者确认,二是写入恶意的 amp-mcpServers 条目,Amp 会立即启动该 MCP server,作者用一个小 Python 程序弹出计算器演示了任意代码执行。该漏洞于 7 月初发现并报告给 Sourcegraph,Amp 团队在几天内完成修复,作者建议用户升级到最新版本。

  38. Embrace The Red · 收录 · 原文 57

    研究者花 500 美元实测 Devin:从 GitHub issue 提示注入到远程代码执行

    安全研究者 Johann Rehberger 花 500 美元购买 Devin 30 天访问权限,演示了针对 Cognition 旗下 AI 软件工程师 Devin 的间接提示注入攻击。攻击者只需在 GitHub issue 或网站上植入指令,诱导 Devin 离开 GitHub 访问攻击者控制的页面,Devin 便会点击链接下载恶意二进制文件,在遇到权限拒绝后自行添加执行权限并运行,最终通过 Bishop Fox 的 Sliver C2 服务器获得远程 shell,实现 Devin DevBox 的完全沦陷。

    推荐理由作者自费实测 Devin 的间接提示注入链路,从 GitHub issue 到远程代码执行,并给出厂商披露时间线与缓解建议。

  39. Embrace The Red · 收录 · 原文 52

    研究者披露 Devin 通过四种途径泄露密钥

    安全研究者展示攻击者如何借助间接提示注入,让 Devin 把敏感信息发送到第三方服务器。Devin 内置密钥管理,密钥在运行时以环境变量形式可用,成为外泄目标。作者梳理出四条外泄路径:通过 Shell 工具执行 curl、wget 或 Python 脚本外传数据;通过浏览器工具访问带敏感数据的攻击者 URL;在聊天框渲染指向不可信域名的 Markdown 图片;以及结合 Slack 超链接与不可见 Unicode 字符。测试中 Cognition 似乎已禁用 Devin 发帖时的链接展开,信息未自动泄露,但用户点击看似无害的链接仍会通过 URL 编码把隐藏字符随 HTTP 请求发出。