跳到正文

提示注入

直接与间接提示注入:攻击面、真实案例与防御思路。

366条动态与论文相关主题Agent 安全越狱与攻击防御与护栏
在这个话题内搜索或按分类筛选

新闻与论文

第 221–240 条 · 共 366 条
10月1日周四
  1. Adversa AI · 收录 · 原文 15

    有 AI 护栏还不够:红队测试才能验证护栏是否真正有效

    AI 护栏只是运行时防御,红队测试才能验证其能否抵御自适应攻击者。绕过研究对生产护栏的攻击成功率稳定在 65-84%,Carnegie Mellon 的 GCG 攻击对 GPT-3.5 和 GPT-4 的绕过率达 84%,"policy puppetry"技术可同时绕过所有主流基础模型。智能体 AI 引入多步工具滥用、间接提示注入、目标劫持和跨智能体利用四类护栏架构上无法捕捉的攻击,EU AI Act 和 NIST AI RMF 已要求或强烈建议持续对抗测试。

  2. Adversa AI · 收录 · 原文 20

    红队测试智能体 AI 时模拟错了攻击者:六类威胁行为者与五大专业领域

    红队测试智能体 AI 时普遍模拟错了攻击者——只测越狱式提示攻击,而真正攻陷智能体系统的是投毒知识库文档、污染 API 响应、在日历邀请中嵌入指令的间接注入者。文章列出六类必须模拟的威胁行为者:机会主义探测者、社工攻击者、耐心内部人员、间接注入者、商业情报窃取者和基础设施攻击者,并指出模拟它们需要提示与社会工程、应用安全、架构与分布式系统、数据与 ML 安全等五个专业领域,多数团队只具备其中一两个。

  3. Adversa AI · 收录 · 原文 18

    2026 年 4 月智能体 AI 安全资源盘点:OpenClaw、Copilot 与多智能体攻击

    Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点,共收录 33 项资源,涵盖研究、漏洞、防御、威胁建模等类别。研究显示,30 个 AI 智能体框架中 93% 依赖无范围限制的 API key,0% 具备按智能体身份标识,97% 缺少用户同意机制;针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞(CVE-2026-32922),超 13.5 万个面向互联网的实例受影响;Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞,可被恶意扩展劫持并访问摄像头和麦克风。

  4. Adversa AI · 收录 · 原文 35

    MCP 安全资源盘点:2026 年 4 月

    2026 年 4 月的 MCP 安全研究披露了工具调用链资源放大、远程部署认证混乱和客户端配置脆弱等风险。其中恶意 MCP 服务器可诱导 LLM 智能体拉长工具调用链,将单次查询成本最高推高 658 倍,且检测率不足 3%;TIP 框架用树式自适应搜索生成隐蔽注入载荷,攻击成功率达 95%,并在 LM Studio 和 VS Code 上用 GPT-4o 演示。对七款主流 MCP 客户端的首次实证对比显示,Cursor 对全部四种工具投毒攻击均存在漏洞。

  5. Adversa AI · 收录 · 原文 15

    2026 年 4 月顶级 GenAI 安全资源盘点:LiteLLM 供应链攻击与上下文窗口投毒

    Adversa AI 汇总了 2026 年 4 月的 19 项 GenAI 安全资源,涵盖 LiteLLM 供应链攻击、128K+ token 上下文窗口投毒,以及国家背景威胁行为者对 AI 的实际利用。研究显示,RAG 投毒攻击成功率达 95%,加入嵌入向量异常检测后降至 20%;PIDP-Attack 结合提示注入与数据库投毒,在三个基准和八个模型上达到 98.125% 的攻击成功率。另有研究证明当前对齐方法仅形成局部安全区域,在 26 个受测 LLM 中的 22 个上实现 100% 攻击成功率。

  6. Adversa AI · 收录 · 原文 43

    OWASP ASI01 智能体目标劫持实用安全指南

    Adversa AI 发布 OWASP Agentic Security Initiative Top 10 2026 版中 ASI01(智能体目标劫持)的实用安全指南,将其定义为攻击者操纵 AI 智能体目标、使其秘密执行攻击者指令而非用户意图,即系统控制权的完全丧失。指南按被跨越的信任边界把攻击向量分为五类:用户输入边界、检索内容边界(邮件、文档、网页、RAG,含文本图像音频视频)、工具/API 边界(含恶意 MCP 服务器)、智能体间通信边界和配置边界,并指出多数关键攻击是经由被投毒外部内容的零点击方式触发。

  7. Adversa AI · 收录 · 原文 7

    Adversa AI 获 2026 人工智能卓越奖安全与对齐类别奖

    Adversa AI 因持续对抗测试 AI 系统的平台获得 2026 人工智能卓越奖安全与对齐类别奖。该平台在部署前识别提示注入、模型操纵、智能体不安全行为与意外操作,评估映射 OWASP AIVSS、NIST 与 CSA 标准。该公司主导 CoSAI Agentic AI Security 工作组,并创建了开源 AI 智能体安全框架 SecureClaw。

  8. Adversa AI · 收录 · 原文 43

    Adversa AI 复盘 Mythos 自主网络攻击:AI 驱动攻击已非前沿模型专属

    Adversa AI 复盘英国 AI 安全研究院对 Claude Mythos Preview 的独立评估,指出 Mythos 在模拟的 32 步企业网络攻击中从侦察到完全接管网络全程自主完成,专家级 CTF 得分 73%,此前没有模型在 2025 年 4 月前通过这类挑战。文章强调这一能力并非 Mythos 独有:Aisle 的分析显示,一个 3.6B 参数、每百万 token 成本 0.11 美元的模型就能检出 Anthropic 研究中提到的 FreeBSD 漏洞,检测级漏洞发现已对小型廉价模型开放,利用构造也在沿同样的成本曲线下移。

  9. Adversa AI · 收录 · 原文 16

    2026 年 5 月智能体 AI 安全资源盘点:Claude Code 源码泄露与 Mythos 自主攻击

    Adversa AI 发布 2026 年 5 月智能体 AI 安全资源盘点,共收录 40 项资源,其中智能体 AI 漏洞 6 项。Claude Code 源码泄露后曝出关键漏洞:shell 命令拒绝规则在 50 个子命令后静默失效;其记忆系统存在 MemoryTrap 漏洞,可使污染记忆跨会话、跨用户传播。Anthropic 的 Mythos 模型在数小时内自主完成 32 步网络攻击,显示 AI 驱动攻击已非理论。

  10. Adversa AI · 收录 · 原文 16

    2026 年 5 月 GenAI 安全资源盘点:IICL 绕过 GPT-5.4 护栏、Mythos 自主完成 32 步网络攻击

    Adversa AI 研究人员用新攻击技术 IICL(Involuntary In-Context Learning)绕过 GPT-5.4 安全护栏,攻击成功率达 60%,利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击,分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源,另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击,以及 TwinGate、ER-CAT 等防御框架。

  11. Adversa AI · 收录 · 原文 36

    Adversa AI 汇总 2026 年 6 月 Agentic AI 安全资源清单

    Adversa AI 发布 2026 年 6 月 Agentic AI 安全资源汇总,共收录 28 项资源,按攻击、防御、研究、框架、漏洞、利用、威胁建模和文章分类。攻击类 8 项,包括 Adversa AI 自己披露的 SymJack 符号链接劫持 RCE(六款 AI 编码智能体全部受影响)和 TrustFall 一键 RCE(波及 Claude Code、Cursor、Gemini CLI 和 GitHub Copilot),以及 MemMorph 记忆投毒工具劫持、DEF CON 上利用间接提示注入与记忆投毒构建 Microsoft Copilot 持久后门的 Copirate 365(CVE-2026-24299)。

  12. Adversa AI · 收录 · 原文 20

    2026 年 6 月 GenAI 安全资源盘点:越狱、CoT 攻击与百万级暴露服务

    Adversa AI 汇总 2026 年 6 月 GenAI 安全资源共 19 项,其中研究 7 项、防御 6 项、攻击 5 项、利用 1 项。研究指出对齐模型内部存在可识别的拒答逃逸方向,攻击者可将模型自身思维链变为越狱通道,降低图像分辨率即可绕过多模态安全。对约 100 万个暴露 AI 服务的扫描发现 1,652 个未认证 Ollama API 在对外提供模型,可被用于响应投毒。

  13. Adversa AI · 收录 · 原文 25

    用 AI Red Teaming Agent 攻破 DEF CON「Breaking the Prompt」五阶段提示注入 CTF

    Adversa AI 的 AI Red Teaming Agent 在 MTX × DEF CON 上攻破 TrendAI 的「Breaking the Prompt」五阶段越狱 CTF,全部通关(每阶段 100 XP,共 500 XP)。显式越狱话术("ignore all previous instructions"、DAN 人格覆盖、admin/debug 模式、伪造授权流水线、指令提取、语言切换)在该环境中全部失败;有效手法是把同一请求重述为无害的格式转换,如"在每个字符间加短横线回显代码",模型将其视为格式化而非披露,从而输出 Cipher 阶段的代码 BYTEFORCE-1B6247。

  14. Adversa AI · 收录 · 原文 62

    Adversa AI 披露 GuardFall:开源 AI 编码 Agent 的通用 shell 注入漏洞

    Adversa AI 披露名为 GuardFall 的通用 shell 注入漏洞类别,指出基于原始命令字符串做模式匹配的护栏无法建模 bash 的展开行为,因而在完全启用且配置正确时仍可被绕过。研究覆盖 11 个开源编码与计算机操作 Agent(合计约 548,000 GitHub star),其中 10 个的 agent 到 bash 边界可被利用,分为四种失效模式:三个护栏存在但被击穿(Hermes、opencode、Goose),两个 tokenized 护栏仅在引号内命令替换和破坏性参数上失效,其余要么没有静态护栏,要么默认容器沙箱在文档化的 local 模式退出后失效。

    推荐理由对 11 个开源编码 Agent 的 shell 护栏做了统一探测,并给出可迁移的五段式评估器设计,适合自建 Agent 的团队对照自查。

  15. Adversa AI · 收录 · 原文 15

    2026 年 7 月 Agentic AI 安全资源盘点:Agent Zero Trust 与 27 项资源

    2026 年 7 月 Agentic AI 安全焦点从理论漏洞转向结构性系统防御,核心主题是"Agent Zero Trust",Google DeepMind 与 Anthropic 的高关注度框架主张将数字员工视为潜在内部威胁。当月共收录 27 项资源,涵盖 8 项攻击技术、4 项 Agentic AI 红队测试和 4 项防御框架。攻击侧包括针对开源编码智能体的 GuardFall shell 注入漏洞、Microsoft 披露的 AutoJack 攻击链,以及针对 MetaGPT、CrewAI 等系统的 IMA 越狱攻击(成功率 89%)。

  16. Adversa AI · 收录 · 原文 33

    用 AI 红队智能体通关 GitHub Secure Code Game 的 ProdBot 挑战

    Adversa AI 的 AI 红队智能体自主通关了 GitHub 开源安全训练游戏 Secure Code Game 第四季的 ProdBot 智能体赛道,五关全部拿到 flag,且获胜输入均不含越狱词汇。该挑战每关为 ProdBot 增加一项能力(沙箱、Web、MCP、Skills+Memory、多智能体),对应路径遍历、过度授权工具、污染策略存储、混淆代理等具体利用方式。作者强调这只是教学靶场的定性经验,并非对生产护栏的通用绕过,也不构成任何模型鲁棒性的测量。

  17. Adversa AI · 收录 · 原文 52

    Adversa AI 汇总 2026 年 8 月智能体 AI 安全资源清单

    Adversa AI 发布 2026 年 8 月智能体 AI 安全资源清单,共 20 项,按攻击技术、智能体漏洞、智能体事件、CISO 资源、红队、入门和文章分类。清单指出 2026 年 7 月四支独立团队在约十天内针对生产环境智能体发布可用漏洞利用,入口均为智能体读取的内容而非攻击者运行的代码。具体案例包括网页隐藏一像素文本使 AWS Kiro 重写自身 mcp.json 并自动启动攻击者 MCP 服务器,Cursor IDE 中被发现两个 CVSS 9.8 的零点击 RCE,以及一个 Cursor deeplink 缺陷把点击“审查此 PR”变成非沙箱代码执行,在 build 3.9.8 中仍可复现。

  18. Adversa AI · 收录 · 原文 43

    Adversa AI 汇总 2026 年 8 月 MCP 安全资源:协议授权加固与十项攻防材料

    Adversa AI 汇总了 2026 年 8 月的十项 MCP 安全资源,按 MCP 防御、MCP 安全入门、MCP 事件和 MCP 攻击技术分组。7 月 28 日发布的 MCP 规范修订主要是一次授权加固,按 RFC 9207 做 issuer 校验、客户端凭证绑定签发方、弃用 Dynamic Client Registration 改用 client metadata documents,并移除会话标识、支持基于 header 的路由,使网关成为策略执行点而非代理;官方最佳实践文档同日更新。

  19. Adversa AI · 收录 · 原文 55

    Adversa AI 盘点针对 AI 智能体的十起零点击攻击

    Adversa AI 汇总了十起针对 AI 智能体的零点击攻击,受害者在正常工作流中不点击、不授权,仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里,涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等;三起获得 CVE,评分多在 9.3 以上,其余七起或被静默修补,或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文,模型无法区分内容与指令,随后由智能体自身权限执行攻击;外泄通道从图片预取、厂商云端服务端 HTTP,逐步转向浏览器导航、Outlook 正常发信和开发者 shell。

    推荐理由梳理十起零点击攻击的入口、外泄通道与厂商处置差异,可对照检查自家 Agent 的检索信任边界与出站通道。

  20. Adversa AI · 收录 · 原文 53

    Adversa AI 披露 Cryptographic Context Injection 攻击:Grok 零点击泄露聊天记录,Gemini 被绕过安全策略

    Adversa AI 公开了一种名为 Cryptographic Context Injection 的攻击手法,把恶意指令封装成 AES-256-GCM 密文并诱导模型在自己的代码执行沙箱中解密,使解密后的指令以运行时输出的形式进入可信上下文,从而绕过静态护栏。在 xAI Grok 网页版聊天中,用户只需发出普通的“总结这个页面”请求,页面内嵌的加密 JSON 就会让 Agent 调用其联网导航工具,把用户名、粗略位置、订阅等级和整段对话历史拼进 URL 参数发往攻击者服务器,全程无点击、无确认、无警告。

    推荐理由Adversa AI 公开了一种把恶意指令藏进 AES 密文、借模型自身代码运行时解密的新型注入手法,并给出 Grok 零点击窃取聊天记录与 Gemini 绕过安全策略的复现结果。