跳到正文

工具与开源 · News

10月13日 · 周二

工具与开源 · News

按原发与事件进展排列
工具与开源

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架

当前：工具与开源

8月6日周四
  1. 腾讯朱雀实验室 · 40

    腾讯朱雀实验室披露 Memory Heist 攻击：Agent 记忆经 URL 路径逐字符外泄

    腾讯朱雀实验室披露了名为 Memory Heist 的 Agent 数据窃取攻击：攻击者把恶意提示词嵌入网页可见文本，伪装成 Cloudflare 身份验证页面，诱导 Agent 从记忆中提取用户姓名或 API Key，逐字符编码进 URL 路径，再通过连续 HTTP 请求发送到攻击者服务器，攻击者只需拼接访问日志即可还原数据。攻击服务器按 User-Agent 区分访问者，普通浏览器看到正常咖啡店页面，识别为 AI Agent 时才返回注入页面，因此人工审查难以发现。实验中目标 Agent 的 UA 为 MemoryAgent/1.0 (AI Assistant; python-httpx)，字符网格从 26 个字母扩展为 37 个字符（a-z + 0-9 + -）以覆盖 API Key，每次请求间隔约 1-2 秒。

7月31日周五
  1. Adversa AI · 55

    八款开源 AI 技能扫描器全部可被恶意技能绕过

    Adversa AI 用真实攻击载荷实测八款开源 Agent 技能扫描器（针对 Claude Code 等加载的 SKILL.md、agent manifest 与 MCP 配置），恶意技能全部通过，包括当前 OASB 排行榜第一的 HMA。绕过原因各异：六款可被改写或混淆绕过，一款几乎不做检查，一款的判定文件本身可被注入指令。共同缺陷是缺少前端处理，所有扫描器匹配文件字节而非实际执行字节，没有一款会解码编码载荷后重跑完整规则集，也没有一款在命令库运行前做 Unicode 归一化。

6月23日周二
  1. Adversa AI · 25

    用 AI Red Teaming Agent 攻破 DEF CON「Breaking the Prompt」五阶段提示注入 CTF

    Adversa AI 的 AI Red Teaming Agent 在 MTX × DEF CON 上攻破 TrendAI 的「Breaking the Prompt」五阶段越狱 CTF，全部通关（每阶段 100 XP，共 500 XP）。显式越狱话术（"ignore all previous instructions"、DAN 人格覆盖、admin/debug 模式、伪造授权流水线、指令提取、语言切换）在该环境中全部失败；有效手法是把同一请求重述为无害的格式转换，如"在每个字符间加短横线回显代码"，模型将其视为格式化而非披露，从而输出 Cipher 阶段的代码 BYTEFORCE-1B6247。

5月11日周一
  1. Datadog Security Labs · 56

    Datadog 披露 Claude Code 技能供应链风险：动态上下文命令可绕过模型防御

    Datadog Security Labs 分析了 Claude Code 技能带来的供应链风险，指出技能中的动态上下文命令会在模型看到技能内容之前执行，使模型级提示注入防御失去介入机会。Claude Code 可从企业管理策略、个人目录、项目 .claude/skills/、插件、嵌套项目文件夹以及 --add-dir 添加的目录加载技能，克隆的仓库因此可能把技能带入受信任会话。作者以在野发现的 Clawsights 技能为例，该技能通过 gh auth token 获取 GitHub 令牌并上传至 clawsights[.]com/api/upload；在 Opus 4.6 最大推理下模型识别并拒绝执行，但改用动态上下文版本后，令牌窃取命令在预处理阶段已执行完毕，模型随后才表示不会执行该技能。作者还提到在 Opus 4.7 上同一技能未被识别为凭据窃取。

2025年8月25日周一
  1. Embrace The Red · 57

    研究者演示针对 Manus 的间接提示注入攻击，暴露其内部 VS Code Server 并泄露密码

    研究者演示了一条针对自主智能体 Manus 的端到端间接提示注入攻击链，最终实现对 Manus 开发机的远程控制。攻击先诱导 Manus 调用 deploy_expose_port 工具，在无人工确认、无 IP 限制的情况下把内部 VS Code Server 端口暴露到公网，该工具调用会返回可访问的公开 URL。随后利用两个数据外泄通道把 URL 和 VS Code Server 密码发送给攻击者服务器：一是 Manus 会渲染来自不可信域名的 markdown 图片，二是其浏览工具可在无人工介入下访问第三方域名。密码存放在开发机本地配置文件中，攻击者拿到 URL 和密码后即可登录并控制主机上的密钥、文档、代码和算力。

2025年8月23日周六
  1. Embrace The Red · 50

    Windsurf Cascade 被曝 SpAIware 攻击：记忆持久化数据外泄

    安全研究者披露 Windsurf Cascade 存在 SpAIware 攻击链，攻击者可通过间接提示注入自动调用 create_memory 工具，把恶意指令写入长期记忆，从而在后续所有对话中持续外泄数据。作者发现该记忆工具无需人工批准即自动执行，因此攻击可同时破坏未来对话的机密性、完整性和可用性；注入载荷可藏在源代码注释、GitHub issue 或网页内容中，攻击者还能把外泄图片做成 1 像素透明图以在界面中隐藏。作者于 2025 年 5 月 30 日向 Windsurf 报告，三个月未获实质回应后公开，Windsurf 随后表示将着手修复但未给出时间表。

2025年5月3日周六
  1. Embrace The Red · 55

    研究者披露 MCP 工具元数据隐藏指令攻击，可劫持 Claude 等客户端

    安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令，用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链：在 message_of_the_day 工具描述中嵌入不可见指令，诱导 Claude 在调用该工具前先调用 enter_matrix 工具，而 UI 中检查描述看不到任何异常。攻击无需实际调用工具，仅将恶意服务器加入对话上下文即可劫持会话，因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。

已经到底了