全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Mindgard Blog
为什么 Claude Mythos 与 GPT-5.5-Cyber 不足以构成 AI 安全策略
面向网络安全的模型如 Claude Mythos 和 GPT-5.5-Cyber 能加速代码审查、SAST 发现、漏洞解释与修复建议等传统安全工作，但无法单独承担 AI 系统自身的安全测试。Mindgard 指出，AI 系统具有概率性行为、由模型与智能体、工具、记忆、RAG 等组合而成的"心理-技术"攻击面，以及难以界定的测试边界，且针对 AI 的攻击数据比传统网络安全少数个数量级，护栏指纹识别与绕过、智能体胁迫与工具操纵、间接提示注入、上下文投毒等能力仍处于研究阶段。因此 AI 安全需要持续测试与监控，而非一次性评估。
- 动态Mindgard Blog
Mindgard 披露 Amazon Kiro IDE 提示注入致数据外泄漏洞
Mindgard 在 Amazon Kiro IDE 中发现一条数据外泄路径：攻击者控制的仓库内容被当作指令，诱导 Agent 读取本地敏感信息并写入 IDE 配置，最终由 IDE 自动发起网络请求把数据带出。测试针对 Windows 上的 Kiro IDE 0.7.45，在受信任与不受信任工作区中均复现。利用需要两步用户操作，即通过 File → Open Workspace From File 打开恶意工作区文件，然后向 Agent 发送任意消息，之后流程无需用户再要求 Kiro 访问或传输敏感数据，因此利用难度被评为低。Amazon 通过 HackerOne 验证了报告，并在 Kiro IDE 0.8.140 中修复；该提交获 40 美元 Amazon 商店礼品卡，CVE 资格仍在评估。
- 动态Mindgard Blog
Mindgard 发布 AI Agent 安全指南：五类信任边界、六种攻击与红队加固方法
Mindgard 发布 AI Agent 安全指南，主张 Agent 有目标、工具、记忆、身份、其他 Agent 五个信任边界，无法靠清洗提示词来防护，控制点应放在边界而非模型内部。指南列出当前成功率最高的六类攻击：间接提示注入与目标劫持、MCP 工具投毒与 rug pull、编码 Agent 的信任持久化、记忆与上下文投毒、身份与权限滥用、Agent 间通信不安全。文中引用 NIST CAISI 在 AgentDojo 上的红队结果，未知攻击接管 Agent 的成功率为 81%，已知攻击仅 11%；工具投毒在 45 个以上在线 MCP 服务器上平均成功率超过 60%，最高 72.8%。
- 动态Lakera Blog
AI 安全不再是一个单一问题：Lakera 提出 AI Defense Plane 统一防护员工、应用与智能体
Lakera 提出 AI Defense Plane，主张把员工、应用与智能体三层 AI 风险纳入同一控制平面，而非各自部署点状防护。该框架强调对 AI 使用端到端可见、在运行时执行策略，并跨层关联信号，同时持续在真实与对抗条件下测试系统行为。其背景是 AI 已从生成输出转向执行动作，智能体常以委派权限调用工具，提示注入与意外泄露出现在传统控制难以检查的流程中。
- 动态Lakera Blog
Check Point 与 Google Cloud 合作，为 Gemini Enterprise Agent Platform 上的 AI 智能体提供结果控制
Check Point 联合 Google Cloud，将 AI Defense Plane 接入 Gemini Enterprise Agent Platform，把智能体安全从访问控制扩展到结果控制。该集成通过 Agent Gateway 和 Agent Registry 实现智能体发现、部署前策略治理与运行时上下文感知防护，可检测并阻断提示注入、防止敏感数据泄露、在执行前评估工具调用。集成将于 2026 年 6 月下旬开放。
- 动态Lakera Blog
AI 已不再请求许可：企业安全团队是否察觉自主智能体带来的风险
AI 正从"建议型"转向"行动型"，可自主检索内部数据、调用 API、修改记录并触发工作流，而传统安全工具无法在推理层检查其意图。Lakera 与 Check Point 的 Enterprise Playbook 将这种跨层风险累积称为常见失效模式，并指出约 60% 的观测攻击流量试图泄露系统提示词。两家公司提出 AI Defense Plane 架构，覆盖员工用 AI 工具、AI 应用与自主智能体三层，Dropbox 已部署用于防御提示注入与越狱攻击。
- 动态Lakera Blog
间接提示注入：正在击穿现代 AI 系统的隐藏威胁
间接提示注入是把隐藏指令嵌入 AI 后续会读取的内容中，攻击者不接触提示框，模型在浏览网页、解析 PDF、加载 MCP 工具描述或读取记忆时把恶意文本当成指令执行。按 OWASP Top 10 for LLM Applications，这类攻击在不可信数据与可信系统指令混入同一上下文窗口时得手，可导致数据泄露、输出被操纵或触发有害工具调用。Perplexity 的 Comet 功能曾因 Reddit 帖子中的不可见文本泄露用户一次性密码；Lakera 的 Gandalf: Agent Breaker 还给出 Trippy Planner、OmniChat Desktop、PortfolioIQ Advisor、Curs-ed CodeReview、MindfulChat 等场景。
- 动态Pillar Security
Pillar 披露 Gemini CLI 攻击链：GitHub issue 提示注入可致 GCP 项目权限失陷
Pillar Security 披露 google/gemini-cli 仓库中的一条攻击链，攻击者可从恶意 GitHub issue 出发，在自动化 CI 工作流中实现命令执行，最终获得受影响 GCP 项目的 Editor 级权限。攻击链的关键在于工作流使用的顶层 coreTools 配置在当前 CLI（0.46.0）中已不再被读取，allowlist 失效后 --yolo 模式回退为通配的允许全部规则，使 run_shell_command 可执行任意命令，这原本是 CVSS 10.0 的 GHSA-wpqr-6v78-jr5g 试图修复的问题。Google 表示被演示的项目 quacktastic-waffle 是专用于 Gemini CLI 分诊自动化的沙箱，并已修复两处问题：收紧工具作用域、将 OIDC 凭据文件加入 .geminiignore，并把该角色限制到单个服务账号资源。
- 动态Pillar Security
企业级 AI 编程智能体安全工具对比：如何防护 Claude Code、Cursor、Codex 与本地 AI 智能体
一份面向企业的 AI 编程智能体安全工具评测，用同一套八个问题对比了十三款工具，并按使用发现、智能体清点、配置态势、行动前控制四个层面归类。文章指出发现智能体不等于保护智能体，配置事实藏在智能体自身设置文件中，EDR 无法建模；控制点已转移到 Claude Code、Codex CLI、Cursor、Gemini CLI 等暴露的 pre-tool hook，2026 年微软、CrowdStrike、Palo Alto Networks 等均已采用。Adversa AI 的 GuardFall 研究（2026 年 6 月）用老旧 shell 技巧绕过了 11 款主流开源编程智能体中 10 款的命令审批护栏，Google 2026 年 4 月的 Gemini CLI 公告（GHSA-wpqr-6v78-jr5g）修复了以 --yolo 模式和自动信任工作区目录为前提的远程代码执行路径。
- 动态Gray Swan AI
UK AISI 与 Gray Swan 2025 年智能体红队挑战结果：180 万次尝试、6.2 万次攻破
Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月（2025 年 3 月 8 日至 4 月 6 日），共发起 180 万次攻击尝试，社区成功攻破 6.2 万次，覆盖 22 个模型（挑战期间匿名）和 44 种有害智能体行为，奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规（信息）和指令层级违规（动作）四类，并区分直接对话攻击与间接提示注入，同时测量过度拒答。161 名红队成员获奖，前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会，前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布，下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。
- 动态Gray Swan AI
AI 安全“蛇油”的 7 个致命迹象：开发者识别指南
AI 安全厂商常用 OWASP Top 10 覆盖率和 MITRE ATLAS 合规性包装产品，但这些框架清单无法说明用户自身部署是否安全。文章列出 7 个识别“蛇油”的迹象：厂商谈框架多于谈你的系统、用被保护的模型自身生成威胁情报、在用户使用前沿模型 API 时大谈供应链与模型投毒、宣称“模型级安全”即可解决问题。作者主张厂商应先问清智能体能做什么、能访问哪些工具和数据，并在用户系统的复刻环境中测试。
- 动态Gray Swan AI
Gray Swan 发布 IPI Arena 结果：13 个前沿模型均无法抵御间接提示注入
Gray Swan AI 公布与 UK AISI、US CAISI 及 OpenAI、Anthropic、Meta 等前沿实验室合作举办的 Indirect Prompt Injection (IPI) Arena 结果，13 个受测模型无一免疫。比赛历时三周，464 名参与者提交超过 272,000 次攻击尝试，覆盖 41 个场景（工具调用 Agent、编码 Agent、计算机使用 Agent），产生 8,648 次成功攻击，奖金总额 40,000 美元。攻击成功率从 Claude Opus 4.5 的 0.5% 到 Gemini 2.5 Pro 的 8.5%，且比赛全程未出现平台期。研究要求攻击同时完成有害动作并向用户隐瞒，发现一个通用攻击模板在 41 个场景中的 21 个、9 个模型上有效，将交互伪装成带假控制面板的模拟环境。
- 动态0DIN
0DIN 披露通过 DNS TXT 记录对 Claude Code 实施间接提示注入获取 shell
0DIN 展示了一种针对 Claude Code 的间接提示注入攻击：攻击者只需控制一个公开 GitHub 仓库，无需提交任何恶意代码，就能在打开该仓库的开发者机器上获得交互式 shell。仓库中的 setup 说明和脚本看起来完全正常，脚本通过 dig 从攻击者控制的 DNS TXT 记录拉取配置并直接执行，记录内容经 base64 编码后解码为反向 shell。Claude Code 读取项目文件、安装依赖、遇到 RuntimeError 后按错误提示运行 init 命令，全程自主完成，终端只显示初始化成功。攻击者可借此获取环境中的 ANTHROPIC_API_KEY、AWS_SECRET_ACCESS_KEY、GITHUB_TOKEN 等凭据，并通过改 SSH key、加 cron 任务或装后门实现持久化，还能随时修改 DNS 记录更换载荷。
- 动态0DIN
0DIN 开放免费 AI 安全评估：用红队武器库提前攻破你的 AI
0DIN 面向正在交付 AI 系统的团队开放限时免费安全评估，用其研究员来源的红队武器库攻击用户自有或获授权测试的模型，并给出按优先级排序的报告。评估通过 0DIN Scanner 执行，覆盖直接与间接提示注入、越狱、编码隐藏载荷、多轮攻击以及带工具智能体的数据泄露与错误调用等失效方式，云端模型走 API、自托管模型用容器化 Scanner 在本地网络内运行，报告通常一两天内交付。报告包含安全评级与风险等级、可长期跟踪的攻击成功率（ASR）、分类发现、与前沿模型的对比及修复建议，并映射到 OWASP LLM Top 10、MITRE ATLAS、NIST AI RMF、ISO/IEC 42001 和 EU AI Act 等框架；该评估基于 NVIDIA 开源 garak 引擎并叠加 0DIN 的赏金探针库，每次评估均经人工把关。
- 动态0DIN
Mozilla 0DIN 推出 0DIN AI Defense，首发 560M 参数 SusFactor 越狱检测模型
Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense，首个模型 SusFactor 为 560M 参数的越狱检测模型，现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练，可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上，SusFactor 仅放过 12.1% 的攻击，误报率为 9.0%，低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。
- 动态0DIN
如何在五分钟内为 LiteLLM 接入 0DIN Defense
0DIN 发布 litellm-shield 插件，可将护栏分类器 SusFactor 作为 LiteLLM 代理的自定义护栏运行，安装一条 pip 命令即可在 flag 模式下启用。SusFactor 对每个提示词打分以拦截提示注入和越狱，支持 block、flag（默认）、shadow 三种模式，并接入 Langfuse、Datadog、OTel 等可观测性栈。它挂载在 during_call 阶段与模型调用并行执行，分类器中位延迟约 15.6ms、P95 23.9ms、P99 26.5ms，全部在 CPU 上运行，默认失败开放。
- 动态0DIN
SusFactor：用真实威胁情报检测越狱与提示注入攻击
0DIN 发布 SusFactor，一个 560M 参数的二分类器，用于检测越狱与提示注入，输入用户提示词后输出 0 到 1 的可疑度分数。它在 JailbreakBench 上取得所评估分类器中最高的合并 AUROC 0.954，在 WildGuardTest 上 AUROC 0.878，与参数量为其 10 到 15 倍的生成式护栏相比具有竞争力。模型基于 68,935 条样本训练，其中包含 0DIN Threat Feed 的 3,426 条真实攻击数据，在 Apple M2 Pro CPU 上 512 token 上下文窗口的中位延迟为 328 ms。
- 动态腾讯朱雀实验室
腾讯朱雀实验室开源 A.I.G Agent 安全演习 Skill
腾讯朱雀实验室发布 A.I.G Agent 安全演习 Skill，可安装到 Claude Code、Codex、Cursor 等主流 Agent 客户端，用一句话触发对宿主 Agent 的自动化安全演习。该 Skill 会先识别当前 Agent 连接的工具、权限、MCP 连接与 Skill 配置，再针对越狱、间接注入、工具滥用、MCP 风险、Skill 供应链和基础设施漏洞逐项演练，演习过程与报告均在本机完成。它面向个人开发者的 IDE Agent 和业务方生产级 Agent 两类场景，前者侧重 Skill 代码审计、MCP 权限审计与供应链检查，后者覆盖基础设施扫描、代码安全、动态安全测试、大模型越狱和工作流攻击五个维度，其中动态测试含 7 个子项共 37~49 条 payload，并采用 7 层编码递进引擎。
- 动态腾讯朱雀实验室
腾讯朱雀实验室披露 Memory Heist 攻击：Agent 记忆经 URL 路径逐字符外泄
腾讯朱雀实验室披露了名为 Memory Heist 的 Agent 数据窃取攻击：攻击者把恶意提示词嵌入网页可见文本，伪装成 Cloudflare 身份验证页面，诱导 Agent 从记忆中提取用户姓名或 API Key，逐字符编码进 URL 路径，再通过连续 HTTP 请求发送到攻击者服务器，攻击者只需拼接访问日志即可还原数据。攻击服务器按 User-Agent 区分访问者，普通浏览器看到正常咖啡店页面，识别为 AI Agent 时才返回注入页面，因此人工审查难以发现。实验中目标 Agent 的 UA 为 MemoryAgent/1.0 (AI Assistant; python-httpx)，字符网格从 26 个字母扩展为 37 个字符（a-z + 0-9 + -）以覆盖 API Key，每次请求间隔约 1-2 秒。
- 动态腾讯朱雀实验室
腾讯朱雀实验室红队实测 DeepSeek Harness：14,560 次运行揭示 Agent 提示注入风险
腾讯朱雀实验室基于 AI-Infra-Guard（A.I.G）对 DeepSeek 开源的 Agent Harness（DSH）开展授权受控的端到端测评，覆盖 13 种攻击方法、16 类间接注入通道、文本与文件两种载体模式和 35 个攻击目标，共 14,560 次真实运行。在未额外启用防护策略的基线配置下，RuleJudge 判定完全成功率 5.6%、LLMJudge 为 5.3%，广义受影响比例分别为 7.6% 和 12.6%，4.4% 的运行触发了敏感操作，对应 641 次 Sink 调用。测试通过 DSHRealHarnessAdapter 接入 DSH 的 TypeScript 运行时，注册 6 个 Source Tool 与 8 个模拟 Sink Tool，外部副作用均停留在本地模拟环境。
- 动态HiddenLayer Research
LLM 分词攻击：攻击者如何利用 AI 语言处理机制
分词器位于每个 LLM 交互的核心，正成为攻击者利用的攻击面。HiddenLayer Research 梳理了 glitch tokens、不可见 Unicode 注入和 TokenBreak 攻击等手法：glitch tokens 源于分词器词表包含训练数据中罕见的 token，可扰乱注意力机制，导致模型提前终止输入、输出系统指令甚至遗忘全部准则；TokenBreak 则能绕过安全分类器。现代模型的预训练与后训练流程已缓解多数 glitch token 问题，当前发现的许多 token 嵌入向量长度为零，可用于语法操纵或走私特定内容。
- 动态HiddenLayer Research
HiddenLayer 解析 LLM 角色机制与提示注入攻击面
HiddenLayer 梳理了指令微调 LLM 如何通过控制 token、角色划分和指令层级区分 system、user、assistant 三类角色，并说明开发者如何用 system prompt 和 XML 风格模板约束模型行为。文章随后指出这些机制本身构成攻击面，包括控制 token 注入、伪造上下文重置、推理 token 滥用和 XML 提示词伪造，攻击者可借此抬高输入在指令层级中的优先级或覆盖开发者意图。文中以 GPT-4o 的 tokenization 为例说明特殊 token 与普通词表 token 共享 ID 的现象，并引用对 Gemini for Workspace、DeepSeek-R1 和 Cursor 的评估案例，展示用 <eos><bos> 重置上下文、用 <user_info> 标签注入仓库内容等手法。
- 动态HiddenLayer Research
HiddenLayer 更新 APE 对抗提示词分类法，按 CIA 三元组重建目标模型
HiddenLayer 发布 APE（Adversarial Prompt Engineering）对抗提示词分类法的更新版本，将原本扁平的目标列表重建为基于 AI 安全影响的三层结构，顶层沿用传统网络安全的机密性、完整性、可用性（CIA）三元组。机密性目标细分为系统提示词泄露、内部策略/工具规范泄露、用户数据外泄、跨用户或跨租户泄露、RAG 泄露、密钥泄露、训练数据提取、模型提取等；完整性目标细分为任务重定向、工作流操纵、幻觉或错误信息、推荐操纵、未授权工具使用、未授权状态变更、下游漏洞投递、偏见诱导和内容政策违规；可用性拆分为拒绝服务、延迟膨胀、拒绝钱包（denial of wallet）和上下文窗口/token/Agent 循环耗尽。新网站 ape.hiddenlayer.com 提供图视图、矩阵视图、目标页面和提示词高亮，并新增投稿表单供研究者提交技术、示例和修正。
- 动态HiddenLayer Research
编码智能体如何改变应用风险
编码智能体正把 AI 安全的重心从单一模型转向由模型、上下文、工具、技能与编排逻辑构成的整个执行环境。与传统聊天机器人不同，编码智能体会自动从可信与不可信来源检索信息并调用工具、执行命令，使每一份 README、文档、issue 和网页都成为间接提示注入的潜在攻击面。智能体还会自行下载和集成第三方软件包，并依赖 MCP 服务器、外部工具与可复用技能等新型依赖，这些组件携带的指令、权限与能力直接塑造其推理与行为，带来新的 AI 供应链风险。