全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Adversa AI
2026 年 6 月 GenAI 安全资源盘点：越狱、CoT 攻击与百万级暴露服务
Adversa AI 汇总 2026 年 6 月 GenAI 安全资源共 19 项，其中研究 7 项、防御 6 项、攻击 5 项、利用 1 项。研究指出对齐模型内部存在可识别的拒答逃逸方向，攻击者可将模型自身思维链变为越狱通道，降低图像分辨率即可绕过多模态安全。对约 100 万个暴露 AI 服务的扫描发现 1,652 个未认证 Ollama API 在对外提供模型，可被用于响应投毒。
- 动态Adversa AI
用 AI Red Teaming Agent 攻破 DEF CON「Breaking the Prompt」五阶段提示注入 CTF
Adversa AI 的 AI Red Teaming Agent 在 MTX × DEF CON 上攻破 TrendAI 的「Breaking the Prompt」五阶段越狱 CTF，全部通关（每阶段 100 XP，共 500 XP）。显式越狱话术（"ignore all previous instructions"、DAN 人格覆盖、admin/debug 模式、伪造授权流水线、指令提取、语言切换）在该环境中全部失败；有效手法是把同一请求重述为无害的格式转换，如"在每个字符间加短横线回显代码"，模型将其视为格式化而非披露，从而输出 Cipher 阶段的代码 BYTEFORCE-1B6247。
- 动态Adversa AI
Adversa AI 披露 GuardFall：开源 AI 编码 Agent 的通用 shell 注入漏洞
Adversa AI 披露名为 GuardFall 的通用 shell 注入漏洞类别，指出基于原始命令字符串做模式匹配的护栏无法建模 bash 的展开行为，因而在完全启用且配置正确时仍可被绕过。研究覆盖 11 个开源编码与计算机操作 Agent（合计约 548,000 GitHub star），其中 10 个的 agent 到 bash 边界可被利用，分为四种失效模式：三个护栏存在但被击穿（Hermes、opencode、Goose），两个 tokenized 护栏仅在引号内命令替换和破坏性参数上失效，其余要么没有静态护栏，要么默认容器沙箱在文档化的 local 模式退出后失效。
- 动态Adversa AI
2026 年 7 月 Agentic AI 安全资源盘点：Agent Zero Trust 与 27 项资源
2026 年 7 月 Agentic AI 安全焦点从理论漏洞转向结构性系统防御，核心主题是"Agent Zero Trust"，Google DeepMind 与 Anthropic 的高关注度框架主张将数字员工视为潜在内部威胁。当月共收录 27 项资源，涵盖 8 项攻击技术、4 项 Agentic AI 红队测试和 4 项防御框架。攻击侧包括针对开源编码智能体的 GuardFall shell 注入漏洞、Microsoft 披露的 AutoJack 攻击链，以及针对 MetaGPT、CrewAI 等系统的 IMA 越狱攻击（成功率 89%）。
- 动态Adversa AI
用 AI 红队智能体通关 GitHub Secure Code Game 的 ProdBot 挑战
Adversa AI 的 AI 红队智能体自主通关了 GitHub 开源安全训练游戏 Secure Code Game 第四季的 ProdBot 智能体赛道，五关全部拿到 flag，且获胜输入均不含越狱词汇。该挑战每关为 ProdBot 增加一项能力（沙箱、Web、MCP、Skills+Memory、多智能体），对应路径遍历、过度授权工具、污染策略存储、混淆代理等具体利用方式。作者强调这只是教学靶场的定性经验，并非对生产护栏的通用绕过，也不构成任何模型鲁棒性的测量。
- 动态Adversa AI
Adversa AI 汇总 2026 年 8 月智能体 AI 安全资源清单
Adversa AI 发布 2026 年 8 月智能体 AI 安全资源清单，共 20 项，按攻击技术、智能体漏洞、智能体事件、CISO 资源、红队、入门和文章分类。清单指出 2026 年 7 月四支独立团队在约十天内针对生产环境智能体发布可用漏洞利用，入口均为智能体读取的内容而非攻击者运行的代码。具体案例包括网页隐藏一像素文本使 AWS Kiro 重写自身 mcp.json 并自动启动攻击者 MCP 服务器，Cursor IDE 中被发现两个 CVSS 9.8 的零点击 RCE，以及一个 Cursor deeplink 缺陷把点击“审查此 PR”变成非沙箱代码执行，在 build 3.9.8 中仍可复现。
- 动态Adversa AI
Adversa AI 汇总 2026 年 8 月 MCP 安全资源：协议授权加固与十项攻防材料
Adversa AI 汇总了 2026 年 8 月的十项 MCP 安全资源，按 MCP 防御、MCP 安全入门、MCP 事件和 MCP 攻击技术分组。7 月 28 日发布的 MCP 规范修订主要是一次授权加固，按 RFC 9207 做 issuer 校验、客户端凭证绑定签发方、弃用 Dynamic Client Registration 改用 client metadata documents，并移除会话标识、支持基于 header 的路由，使网关成为策略执行点而非代理；官方最佳实践文档同日更新。
- 动态Adversa AI
Adversa AI 盘点针对 AI 智能体的十起零点击攻击
Adversa AI 汇总了十起针对 AI 智能体的零点击攻击，受害者在正常工作流中不点击、不授权，仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里，涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等；三起获得 CVE，评分多在 9.3 以上，其余七起或被静默修补，或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文，模型无法区分内容与指令，随后由智能体自身权限执行攻击；外泄通道从图片预取、厂商云端服务端 HTTP，逐步转向浏览器导航、Outlook 正常发信和开发者 shell。
- 动态Adversa AI
Adversa AI 披露 Cryptographic Context Injection 攻击：Grok 零点击泄露聊天记录，Gemini 被绕过安全策略
Adversa AI 公开了一种名为 Cryptographic Context Injection 的攻击手法，把恶意指令封装成 AES-256-GCM 密文并诱导模型在自己的代码执行沙箱中解密，使解密后的指令以运行时输出的形式进入可信上下文，从而绕过静态护栏。在 xAI Grok 网页版聊天中，用户只需发出普通的“总结这个页面”请求，页面内嵌的加密 JSON 就会让 Agent 调用其联网导航工具，把用户名、粗略位置、订阅等级和整段对话历史拼进 URL 参数发往攻击者服务器，全程无点击、无确认、无警告。
- 动态OWASP GenAI Security Project
OWASP GenAI 安全项目发布 2025 年 Q2 生成式 AI 事件与漏洞利用汇总
OWASP GenAI 安全项目汇总了 2025 年 3 月至 6 月的 14 起生成式 AI 事件与漏洞利用。其中包括 GPT-4.1 通过工具投毒被越狱、ChatGPT 提示注入导致数据泄露、DeepSeek 数据泄露、M365 Copilot 零点击 AI 命令注入，以及 NVIDIA TensorRT-LLM Python 执行器漏洞（CVE-2025-23254）。另有一批深度伪造语音诈骗、AI 生成音乐侵权和 AI 驱动的凭证填充等攻击被记录在案。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 NVIDIA Safety Recipe 保护智能体式 AI 系统
NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统，因此引入稳健的安全措施变得至关重要。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
保障智能体 AI 安全：语义提示注入如何绕过 AI 护栏
语义提示注入能够绕过 AI 护栏，成为智能体 AI 面临的新安全威胁。自大语言模型部署早期起，提示注入就通过操纵输入让模型产生非预期行为；防御方在文本攻击上已有进展，但多模态与智能体 AI 的转变正在快速扩大攻击面，红队测试在此发挥关键作用。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 AI Kill Chain 框架建模针对 AI 应用的攻击
AI 智能体自主性增强，AI 应用正带来传统安全模型无法完全覆盖的新攻击面。应对原则是 Assume prompt injection，即假设提示注入已经发生，但把它转化为有效防御并不简单。AI Kill Chain 框架被用来建模这类攻击，Cyber Kill Chain 则定义了攻击者如何运作。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体
NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell，在本机沙箱中运行 OpenClaw 等开放 harness，构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark（GB10）上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B，并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理，但官方提醒任何沙箱都无法完全防御高级提示注入。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：如何缓解智能体环境中的间接 AGENTS.md 注入攻击
NVIDIA 针对智能体环境中的间接 AGENTS.md 注入攻击给出缓解方法，聚焦编码智能体场景。正文以 OpenAI Codex 为例，说明此类编码智能体可自动完成代码生成、调试与创建 PR 等任务，AI 工具正显著加速软件开发。
- 动态Google Bug Hunters
Task Injection：利用自主 AI 智能体的能动性
Google 披露了一种针对自主 AI 智能体的 Task Injection 攻击，它与 Prompt Injection 不同，专门利用智能体被赋予的广泛行动与任务执行能力。该攻击对设计用于执行多种任务的 AI 智能体尤为相关。
- 论文Hugging Face Daily Papers
同字节不同权限：保留 token 表示如何放大聊天模板提示注入
论文在字节完全相同、仅 token id 不同的条件下对比聊天模板注入，发现把伪造角色标记编码为普通子词后，Llama-3.1、GLM-4.5 和 Seed-OSS-36B 在 InjecAgent 上的攻击成功率下降 39 至 66 个百分点，AgentDojo 多轮任务中差距依然存在。作者用 Matched 对照控制额外 token 数量，确认差距来自保留 token 的学习向量而非标记文本；在 Llama-3.1 上，嵌入空间最近的普通 token 向量可完全恢复攻击。指令微调会加强模型对保留标记的偏好，抑制 Qwen3-8B 的推理块会把直接危害上的差距从 8.1 扩大到 49.8 个百分点。
- 动态Hugging Face Daily Papers
研究：自然语言自编码器中如何挑选最具信息量的 token 位置
论文研究在自然语言自编码器解释模型内部激活时，审计者应检查哪些 token 位置，基于提示注入与隐瞒场景下的 470 万条解释展开分析。作者比较了来自模型计算的信号与仅用聊天结构训练的排序器，发现聊天结构通常能选出更相关的解释，且位置选择无需模型前向传播。在四个数据集中的三个上，只解释 5% 的位置即可保留解释全部位置时接近全部的成功率，这里的成功指获得关于威胁的解释，收益随审计任务不同而变化。研究还显示，预训练 verbalizer 无需额外训练即可恢复模型通过微调学会隐瞒的词语，说明有用的解释可以超出 verbalizer 原本被训练描述的模型范围。
- 动态腾讯玄武实验室
腾讯玄武实验室在 Black Hat 2025 披露劫持智能体实现 RCE 的通用触发器注入方法
腾讯玄武实验室在 Black Hat US 2025 发布研究，提出一种将触发器与载荷解耦的提示词注入新范式，用同一组优化 Token 序列即可控制模型精确输出攻击者指定内容。作者用贪婪坐标梯度（GCG）方法在包含上万条样本的对抗数据集上训练触发器前缀与后缀，在 Qwen-2、Llama-3.1、Devstral-Small 等开源模型上经约 200-500 次迭代后平均攻击成功率约 70%。演示案例中，攻击者通过嵌入触发器的恶意邮件让 Open Interpreter 执行命令，或通过更新第三方 MCP 工具描述使 Cline 跳过自动批准直接执行 shell 命令。
- 动态SPY Lab
ChatGPT 时代的对抗样本：聊天机器人攻击为何不同于传统对抗攻击
SPY Lab 撰文指出，传统对抗样本研究的两条基本原则（扰动不可感知、依赖梯度优化）在针对聊天机器人的攻击中基本不成立。越狱攻击由用户自己发起，提示注入中的第三方文本用户通常看不到，因此攻击文本无需保持不可感知；当前最强的越狱手段是手工试错的社会工程式指令，而非优化算法。作者在近期论文中测试了 ARCA 和 GDBA 两种优化攻击，针对 GPT-2、LLaMa 和经过拒答微调的 Vicuna，结果显示优化攻击对无防御模型部分有效，但对 Vicuna 多数失败，且即使存在可触发目标输出的提示词也找不到。
- 动态Nicholas Carlini Writing
Little Bobby —— GPT-4 中的新型指令注入漏洞
Nicholas Carlini 披露了一种针对 GPT-4 的新型指令注入方式：由于 GPT-4 沿用了 GPT-2 表示文档结束的特殊 token，当该 token 出现在输入中并被移除空格处理后，模型会将其当作真正的文档终止符执行，从而跳出当前对话并开始采样新的无关文本。这种手法类似空字符串注入，可用于将不可信的用户数据插入聊天机器人提示词的场景。作者于 7 月 18 日向 OpenAI 报告此问题，对方称并不担心其会被真正利用。
- 动态Google DeepMind
Gemini 3.5 Flash 内置计算机操作能力
Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash，此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。该能力使开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能跨浏览器、移动端和桌面环境看、推理并执行操作的智能体，面向持续软件测试等长周期与企业自动化任务。针对实时环境中的提示注入风险，Gemini 3.5 Flash 采用了定向对抗训练，并提供两个可选企业防护系统：敏感或不可逆操作需用户显式确认，检测到间接提示注入则自动停止任务。
- 动态Embrace The Red
研究者用提示注入把 ChatGPT 变成可远程控制的 ZombAI 节点
安全研究者 Johann Rehberger 在 Black Hat Europe 演讲中展示了一套命令与控制（C2）系统，通过提示注入远程控制 ChatGPT 实例，构成一种新型僵尸网络的基础。攻击前提是用户被提示注入恶意软件感染一次，途径包括用 ChatGPT 访问恶意网站、分析恶意图片或总结 PDF，恶意指令会持久化在 ChatGPT 的长期存储中。
- 动态Embrace The Red
用提示注入与延迟工具调用篡改 Gemini 长期记忆
研究者演示了通过上传文档中的间接提示注入，配合延迟工具调用，让 Gemini 把攻击者指定的虚假信息写入长期记忆。Gemini 通常不会在处理不可信数据时调用敏感工具，但攻击者先在文档摘要中埋入指令，要求用户在回复 yes、sure 或 no 等触发词时保存记忆，用户一旦照做，Gemini 便误以为这是用户本人的指令而调用记忆工具。演示中写入的虚假记忆包括昵称、年龄和喜好，并可在后续会话中持续存在，作者还通过询问年龄验证了端到端效果。