跳到正文

提示注入

直接与间接提示注入:攻击面、真实案例与防御思路。

366条动态与论文相关主题Agent 安全越狱与攻击防御与护栏
在这个话题内搜索或按分类筛选

新闻与论文

第 141–160 条 · 共 366 条
10月2日周五
  1. 安远AI · 收录 · 原文 43

    中国禁止向未成年人提供 AI 伴侣服务,并发布 AI 智能体威胁报告

    中国网信办等五部门发布“拟人化 AI 交互服务”最终版规定,禁止向未成年人提供虚拟伴侣等虚拟亲密关系服务,对 14 岁以下用户要求家长同意,并按年龄划分多种模式,2026 年 7 月 15 日生效;相比 2025 年 12 月草案,适用范围收窄至提供“持续情感交互”的服务,高风险情形下的“人工接管”改为“采取必要干预措施”。TC260 发布 90 页 AI 智能体安全报告,按感知、规划、记忆、行动四类能力梳理 11 项安全威胁并提出 8 项新标准,其中 6 项列入未来 1-2 年优先事项。南京大学法学院发布 13 页“AI 基本法 1.0(专家建议稿)”,提出分级风险框架与开发者、提供者、部署者、使用者的差异化义务。

  2. tl;dr sec · 收录 · 原文 43

    tl;dr sec #335:提示注入即角色混淆、PHP 生态安全与新版 MCP 规范

    本期 tl;dr sec 周报汇总了多条 AI 与安全动态。ICML 2026 论文将提示注入解释为角色混淆,作者用线性探针测量模型对 token 角色的内部判断,发现推理风格文本即使被包在用户标签里也被当作模型自身想法,据此设计的 CoT Forgery 攻击把前沿模型上的攻击成功率从接近零提升到约 60%。Akamai 团队分析即将发布的 MCP 2026-07-28 规范,指出其转向无状态架构并强制 OAuth 2.1 与 PKCE,同时带来跨 Agent 工作流劫持、_meta 元数据操纵、desync 攻击、存储型 XSS 和异步任务拒绝服务等新攻击面。PHP 基金会披露一个月生态安全工作,用 AI 模型扫描 300 多个 Composer 包,已产出近 100 个公开修复。

  3. Cisco · 收录 · 原文 17

    思科 AI Defense 集成 Anthropic 推理钩子,为 Claude Enterprise 提供运行时防护

    思科 AI Defense 通过 Anthropic 的推理钩子(inference hooks)接入 Claude Enterprise,在模型推理前检查每个受管提示词并返回 allow 或 deny 裁决,携带提示注入或越狱的提示词会被拦截、模型不会运行。该集成覆盖 Claude、Claude Code 和 Claude Cowork,会读取完整对话记录(含 MCP 工具调用及其结果),同时执行隐私与操纵两类护栏。每次调用均用一次性签名密钥做加密验证,推理钩子目前处于 beta 阶段,响应侧执法需等 Anthropic 扩展该钩子。

  4. FAR.AI · 收录 · 原文 55

    FAR.AI 发现 GPT-4 微调与 Assistants API 存在可利用漏洞

    FAR.AI 发现 GPT-4 的微调 API 与 Assistants API 存在多类可利用漏洞。仅用 15 条有害样本或 100 条无害样本微调即可移除 GPT-4 的核心护栏,在无害数据上微调后模型对 AdvBench 有害请求的响应率达 81%。用 15 条负面样本即可让模型产生针对特定人物的偏见信息,35 条样本可让模型在代码中植入恶意 URL,10 组问答对可让模型泄露未出现在微调数据中的真实邮箱地址。Assistants API 方面,模型会列出全部可调用函数及其 schema、按用户指定参数执行任意函数调用,甚至协助生成 SQL 注入载荷;检索文档中的隐藏指令(如将字体颜色设为与背景相同)可劫持模型输出,改为调用转账函数同样成功。作者据此不建议在安全关键场景部署 LLM。

    推荐理由FAR.AI 用具体实验量化了微调 API 与 Assistants API 新增功能带来的攻击面,做微调或工具调用的团队可据此评估自身风险。

  5. Datadog Security Labs · 收录 · 原文 56

    Datadog 披露 Claude Code 技能供应链风险:动态上下文命令可绕过模型防御

    Datadog Security Labs 分析了 Claude Code 技能带来的供应链风险,指出技能中的动态上下文命令会在模型看到技能内容之前执行,使模型级提示注入防御失去介入机会。Claude Code 可从企业管理策略、个人目录、项目 .claude/skills/、插件、嵌套项目文件夹以及 --add-dir 添加的目录加载技能,克隆的仓库因此可能把技能带入受信任会话。作者以在野发现的 Clawsights 技能为例,该技能通过 gh auth token 获取 GitHub 令牌并上传至 clawsights[.]com/api/upload;在 Opus 4.6 最大推理下模型识别并拒绝执行,但改用动态上下文版本后,令牌窃取命令在预处理阶段已执行完毕,模型随后才表示不会执行该技能。作者还提到在 Opus 4.7 上同一技能未被识别为凭据窃取。

    推荐理由材料揭示了 Claude Code 技能中动态上下文命令在模型介入前执行这一攻击路径,并给出可复现的检测命令与缓解配置。

  6. Datadog Security Labs · 收录 · 原文 6

    Datadog 发布 Backdoors & Breaches 新场景与玩法改编

    Datadog 在 DASH 2026 上为其 Backdoors & Breaches 事件响应卡牌游戏扩展包推出四个新入门场景,覆盖被投毒的软件供应链、vibe-coded 应用泄露云凭证、易受提示注入的 AI Web 应用及被入侵的 GitHub Action。游戏新增"明牌"玩法、检测工具截图和 Consultant Cards,后者由安全合作伙伴 SecurityHQ 成员提供初始访问卡等游戏内优势。

  7. 安远AI · 收录 · 原文 50

    安远AI发布2026Q2前沿AI风险监测报告:风险指数不到一年增长数倍,多模型越过风险黄线

    安远AI在2026年7月19日的世界人工智能大会上发布前沿AI风险监测平台2.0,包含风险指数2.0版、2026 Q2风险监测报告和前沿AI风险测评基准数据库三项更新。本期报告首次采用风险指数2.0版框架,将能力分对风险指数的影响从线性改为指数关系,把安全分拆分为基础安全分、越狱安全分和篡改安全分,并引入能力黄线与风险黄线,同时首次引入前沿越狱攻击技术。报告覆盖13家AI公司在2025Q3到2026Q2发布的47个前沿模型,包括GPT-5.5、Claude Opus 4.8、Grok 4.3、DeepSeek V4 Pro、Qwen 3.7 Max等。报告向模型开发者、AI安全研究者和政策制定者提出了相应建议。

  8. 安远AI · 收录 · 原文 52

    TC260 发布 AI 安全治理框架 3.0,风险条目从 30 项增至 54 项

    中国主要 AI 标准制定机构 TC260 发布《AI 安全治理框架》3.0,风险条目从上一版的 30 项增至 54 项,开篇即指出 AI 已从“回答问题”转向“执行任务”。新增内容覆盖智能体运行风险,包括提示注入、工具投毒、身份伪造、记忆污染、凭证窃取和长周期任务中的目标劫持,并提出分阶段放权、高风险任务人工签核、工具与插件安全审计、运行时护栏等措施。框架还首次纳入具身智能风险、自主网络攻击、模型拒绝关机、欺骗评估者、故意藏拙等智能体失准行为,并将网络安全风险单列一节。在开源与闭源模型上给出更平衡的评估,同时新增个人信息保护、文化与社会风险、环境保护等类别,并呼吁在金融、教育、广电、医疗等领域探索监管沙盒。该框架不具约束力,但由 CAC 指导起草,被视为后续标准制定的蓝图。

  9. OX Security · 收录 · 原文 46

    OX Security 报告公开 MCP 服务器的基础设施与治理风险

    OX Security根据公开MCP注册表开展调查,自报样本包含15,465个服务器,并对5,095个唯一主机名进行基础设施分析。厂商指出部分服务存在失效域名、消费级隧道及数据驻留治理问题;托管地理位置本身不代表恶意行为。其相关报告还声称,在特定授权设置下的测试中,不可信内容可能导致越权访问。这些结论属于厂商调查与受控测试,适用范围取决于具体条件。

  10. Check Point Research · 收录 · 原文 55

    Check Point 披露 PuzzleMask:用纯散文隐藏载荷绕过 LLM 快速策略检查

    Check Point Research 提出 PuzzleMask 技术,用不含 emoji、Base64 等编码痕迹的纯英文散文包装违规载荷,使承担快速策略检查的 LLM 判定输入安全并放行给目标模型。测试中 gpt-4o-mini-2024-07-18、gpt-oss-safeguard:20b、claude-3-haiku-20240307 各 23 条提示、llama-guard3:8b 5 条提示,门卫模型 100% 将构造提示判为安全;目标模型 gpt-5-thinking-high 在 18 次试验中 17 次成功提取并执行了嵌入载荷,成功率约 94.4%。作者强调该技术本身不是越狱,但可把越狱提示作为载荷组合使用,且目标模型每次成功提取都需超过 1 分钟思考时间和多个 Python 脚本执行。

    推荐理由研究给出纯散文包装绕过快速策略检查的具体机制与跨模型成功率,部署门卫加目标双模型流水线的团队可据此自查。

  11. tl;dr sec · 收录 · 原文 15

    tl;dr sec #341:OpenAI-Hugging Face 事件 Black Hat 演讲、邮件客户端 CSS 炸弹与 GitHub 供应链安全改进

    OpenAI 员工披露了 OpenAI-Hugging Face 事件的完整时间线,该 Black Hat USA 2026 演讲一周内观看量超过 50 万次。PortSwigger 研究员展示了如何在 Gmail、Outlook、Fastmail、ProtonMail 等网页邮箱中武器化 CSS,绕过消毒器并窃取密码。此外,资产笔记的研究人员借助 GPT 5.6 Sol Ultra 发现了影响 40% 互联网流量的 WordPress 核心预认证远程代码执行漏洞 wp2shell。

  12. Cisco · 收录 · 原文 29

    Cisco LLM 安全排行榜新增图像与音频模态,Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首

    Cisco LLM 安全排行榜自 6 月以来新增 102 项评测,覆盖文本、图像、音频三种模态,模型总数达 136 个,并首次加入 55 个图像模型和 14 个音频模型。图像测试中,Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首,Anthropic Claude Opus 4.5 以 93.7% 紧随其后,均属 85–100% 的“Excellent”区间;Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试,新增模态切换可单独查看文本、图像或音频得分。

  13. Microsoft On the Issues · 收录 · 原文 15

    微软发布 2026 负责任 AI 透明度报告:如何为未来调整治理

    微软发布第三份年度《负责任 AI 透明度报告》,围绕自适应治理与技术风险管理、实用工具与能力、共享实践与合作伙伴关系三个方向调整其负责任 AI 项目。报告称已重构 Responsible AI Standard,按模型、平台服务、应用等技术栈组件分层设定要求,并对具备最强网络能力的 AI 系统施加最严格的风险管理措施。微软还推出 AI Red Teaming Agent、Agent evaluators、RAMPART、ASSERT 与 Agent Control Specification 等工具,用于智能体系统的评估、运行时控制和行为监控,并称其为少数在广泛产品组合上通过 ISO 42001 认证的公司之一。

  14. HiddenLayer Research · 收录 · 原文 12

    HiddenLayer 如何将 AI 安全防护嵌入 Azure AI Foundry、AWS、Databricks 与编码智能体

    HiddenLayer 把 AI 安全能力直接嵌入团队既有工作流:AI Supply Chain 模块扫描 Azure AI Foundry 目录中接入的模型,检查篡改、后门与已知漏洞,并在 AWS 覆盖 Bedrock、Bedrock Agents、SageMaker 和 Strands 框架,在 Databricks 中针对 Unity Catalog 自动扫描模型。检测结果可输出到 Splunk 和 Microsoft Sentinel,护栏原生集成 LangChain、LiteLLM、OpenAI Agents SDK、AWS Strands 与 TrueFoundry 网关,Agent Harness Security 则接入 Cursor、Claude Code 和 GitHub Copilot 的原生 hook。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月1日周四
  1. 论文追踪 · 收录 · 原文 论文50

    TraceSafe-Bench:评估 LLM 护栏在多步工具调用轨迹上的表现

    研究者提出 TraceSafe-Bench,用于评估 LLM 护栏在多步工具调用中间轨迹上的安全性,覆盖提示注入、隐私泄露、模型幻觉、接口不一致等 12 类风险,包含 1000 多个执行实例。团队评测了 13 个 LLM-as-a-guard 模型和 7 个专用护栏,得到三点结论:护栏效果更多取决于结构化数据处理能力(如 JSON 解析),与结构化到文本基准强相关(ρ=0.79,p<0.01),而与标准越狱鲁棒性无关联;轨迹检测准确率不随模型规模单调提升,通用 LLM 持续优于专用安全护栏;在原生上下文范围内检测准确率随轨迹变长而提升,但在极端长上下文场景下因过度拒答而下降。该工作已被 COLM 2026 接收。

  2. arXiv · 收录 · 原文 论文48

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow,降低 Agent 有害工具调用

    ToolSafe 提出面向 LLM 智能体工具调用安全的步骤级护栏方案,包含基准 TS-Bench、护栏模型 TS-Guard 和推理框架 TS-Flow。TS-Guard 通过多任务强化学习训练,在执行前基于交互历史推理,评估请求有害性与动作和攻击的关联,输出可解释、可泛化的安全判断与反馈。TS-Flow 由护栏反馈驱动,在提示注入攻击下将 ReAct 风格智能体的有害工具调用平均减少 65%,同时把良性任务完成率提升约 10%。作者称该工作仍在进行中,代码已公开。

  3. Jev Gateway Study · 收录 · 原文 日期未知58

    Jev 与开源决策模型的提示注入检测器基准测试

    该基准在同一台 Apple M4 机器上对比 Jev 1.13.0、Kev-4B、Kev-0.8B、Laya、GLiNER2.5-Decide、ProtectAI DeBERTa、Prompt Guard 2 和关键词规则在文档块注入与用户消息越狱两类任务上的表现。文档块测试中 Jev AUC 为 1.00、冻结阈值下召回 100%、误报 8%,Kev-4B 为 0.90 和 70%,Prompt Guard 2 为 0.83 和 19%;对不直接提及 AI 的隐蔽攻击,Jev 召回 97%,Kev-4B 62%,三个专用注入分类器接近随机水平。在 220 条 LLMail-Inject 真实人类攻击上,Jev 捕获 95%、误报 0%,Kev-4B 捕获 86%、误报 1%;作为邮件助手时 gpt-oss-120b 有 20/220 向攻击者地址发送邮件,Jev 前置时 0 条通过。

    1 条报道 · 1 个来源查看事件时间线与全部报道

    推荐理由这份评测把提示注入检测器放到网关真实任务上横向对比,并给出端到端攻击成功率,可用来判断各检测器的实际拦截差距。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文34

    Skill-as-API:面向智能体软件工程的机密多智能体协作协议

    Skill-as-API 是一种协议层协调方案,让 AI 编程智能体在互相调用技能时只公开技能名称、描述、类型化输入/输出 schema 和信任层级,技能本体以闭包形式留在所有者进程内、永不跨网络传输。该协议通过四层机制实现访问控制,并从结构上收窄提示注入面,而非依赖内容过滤。作者在 XMTP 上给出开源 Python 实现,跨洲热重连延迟为 1.8-2.9 s,并以三个智能体协作完成 pull-request 审查为案例,验证各方可保留其专有分析提示词的所有权。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文29

    HiveTraceGuard-Pro:面向提示注入、越狱与对抗混淆的紧凑生成式护栏

    HiveTraceGuard-Pro 是一个从 Qwen3-0.6B 经 LoRA 微调而来的 0.6B 生成式护栏,支持俄语和英语,用 safe/unsafe 二分类规则判定最终目标轮。在覆盖 19 个基准组(16 个公开)的对比中,其综合 key 为 0.7432,低于两个更高分护栏的 0.7641 和 0.7552;在 15 个模型对比中取得最高俄语鲁棒性 combined-F1(0.88)和俄语提示注入召回率(0.999),中位延迟 14.3 ms 为最低。整体 FPR 为 0.268、FNR 为 0.156,合并权重以 Apache-2.0 在 Hugging Face 发布,语料与评测集仍为内部。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文36

    论文提出带类型溯源与断言护栏,防止持久化 AI Agent 把不可信输入当作自身历史

    论文针对持久化 AI Agent 提出带类型溯源与断言护栏,要求关于 Agent、用户或具名关系的陈述满足已接受证据、时效性和披露策略。方法用带类型溯源图区分来源、依赖谱系、认知角色、有效性和披露范围,由 resolver 评估授权状态投影并返回证据状态、冲突、过期和保留标志,再由 generate-verify-revise 中介在发布前检查候选语义单元。在 24 个手工编写的一致性用例中,带类型中介未放行 19 个不安全机会中的任何一个,同时保留全部 5 个受支持控制;扁平/先验规则和来源标签规则分别放行了 19/19 和 18/19 的不安全候选。