跳到正文

提示注入

今天还没有收录新动态
10月6日周二
  1. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    牛津大学等机构的研究者发现,为每个智能体单独部署 CaMeL 防护不足以保证多智能体系统安全:不可信数据跨越智能体边界后被下游智能体当作可信输入,从而劫持其控制流,作者将这一失效模式称为 boundary laundering,并构造了具体攻击。为此他们提出 multi-CaMeL,在智能体间通信中把可信自然语言指令与不可信数据分离到不同通道,并在运行时保留数据来源信息。在扩展 AgentDojo 得到的 MultiAgentDojo 基准上,multi-CaMeL 将攻击成功率从无防护的 12.9%、单智能体 CaMeL 的 0.2% 降至 0.0%;在 AssetOpsBench 上相对单智能体 CaMeL 平均仅增加 3.2 个百分点的效用损失,且模型能力越强损失越小。作者同时开源了 MultiAgentDojo 及 multi-CaMeL 实现。

    推荐理由论文给出多智能体系统中单智能体防护失效的具体攻击路径,并配套发布可复现的多智能体评测基准与防护实现。

10月5日周一
  1. 论文追踪 · 收录 · 原文 论文53

    COBRA:为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    剑桥大学等机构的研究者提出 COBRA,一种针对计算机使用 Agent(CUA)分支引导攻击的系统级防御架构。作者指出,Dual-LLM 模式虽能保证控制流完整性,但在图形环境中计划必须按运行时网页内容分支,攻击者可构造不可信数据把 Agent 推向预先批准的危害路径,而无需注入新指令。为此作者构建 STEER-Bench,覆盖 9 个领域 101 个任务,测得分支引导攻击对标准 CUA 的攻击成功率为 94.4%,对原版 Dual-LLM 为 89.5%。COBRA 在规划阶段为每个分支预先固定目的地、端点和工具参数约束,由 Branch Resolution Hub 校验运行时分支与参数,并在 HTTP 与 MCP 代理处强制执行。代码已开源于 GitHub。

    推荐理由论文把分支引导攻击归为数据流完整性问题,并给出在 HTTP 与 MCP 边界施加分支级约束的架构,附开源代码与多基准结果。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文42

    Twin Agent:面向权限分离智能体的上下文残差压缩

    研究者提出 Twin Agent,一种受残差编码启发的通用权限分离设计模式,用于抵御来自不可信上下文的提示注入攻击。该设计由两个近似对称的智能体组成:Explore Agent 检查不可信信息,Safe Agent 执行特权操作;Explore Agent 以 Safe Agent 当前上下文为条件,只向其传递关于下一步动作的紧凑提示,从而减少维持任务效用所需的信息量。作者通过测量提示长度变化时效用与攻击成功率的变化,验证了该设计在安全与效用之间取得更好的权衡。在 SWE-bench Lite 的长程软件工程任务以及 AgentDojo、DecodingTrust-Agent 的异构多工具交互任务上,Twin Agent 在保持高任务效用的同时阻止了提示注入攻击,表现优于无防御智能体和权限分离基线。

  2. 论文追踪 · 收录 · 原文 论文56

    SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%

    加州大学伯克利分校研究者提出 SecOPD,用同策略蒸馏为防御微调提供 token 级反馈,替代 DPO、GRPO 等序列级信号。训练时学生模型在含注入的输入上生成 rollout,冻结的初始化模型在去掉注入的干净输入上为同一批 token 打分,与可信任务一致的 token 被鼓励、跟随注入的 token 被抑制。在 Qwen3.6-27B 上,面对 SoTA 自适应攻击 PISmith,SecOPD 的攻击成功率为 9.0%,此前 SoTA 的 Meta-SecAlign 为 94.0%,GRPO 为 61.2%;静态 SEP 攻击下 SecOPD 为 1.3%。在训练未见的 AgentDojo 工具调用场景,SecOPD 为 4.7%,Meta-SecAlign 为 5.5%,GRPO 为 0.7% 但效用降至 82.5%。代码与模型已开源。

    推荐理由论文给出 token 级反馈的防御微调配方,并报告在自适应攻击与工具调用场景下的 ASR 对比,可作防御方案选型参考。

  3. 论文追踪 · 收录 · 原文 论文38

    AgentKernel:面向 Agent 的可信原生操作系统内核

    研究者提出 AgentKernel,一个把安全作为首要设计约束的可信原生 Agent 操作系统,为身份、输入中介、记忆治理和执行控制提供强制且不可绕过的服务。作者认为现有治理方案仍是应用层中间件,与被监控的 Agent 共享同一进程信任边界,因此需要操作系统级底座。AgentKernel 将 Agent 生命周期包进强制执行边界,分为身份、感知、认知、执行四个支柱,分别应对委托滥用、提示注入、记忆投毒和工具误用。其中内核管理的身份支持跨组织协作,分级感知替代单点过滤,受信息流控制的记忆在限制投毒的同时提升检索保真度,语义到内核的执行机制让更宽的工具权限处于不可绕过边界之后。论文共 38 页、5 张图,通过系统比较与安全分析论证该架构可在整个 Agent 生命周期内实施安全约束。

  4. 论文追踪 · 收录 · 原文 论文52

    AgentFlow:面向 LLM 智能体系统的流中心策略语言与运行时防护框架

    研究者提出 AgentFlow,一种以数据流为中心的策略语言与运行时执行模型,用于规定敏感数据在 LLM 智能体系统中可以流向何处。策略定义在带标签的运行时边上,约束哪些工具可接收敏感字段、哪些汇聚点可接收释放的数据,以及何种权限可跨越委派边界,语言支持流规则与路径规则、任务范围能力、受控释放和有状态污点语义。运行时参考监视器介入智能体动作,基于有界 SMT 的验证器对结构化策略片段检查安全属性。原型中七项安全属性每项在 0.5 秒内完成验证,验证器捕获研究中全部植入的不安全策略变体。在 AgentDojo 四个套件的 949 个注入案例上,确认失陷率从 33.0% 降至 0.0%,总体效用从 46.7% 升至 63.3%;在 200 例 AgentDyn Dailylife 基准上,确认失陷率从 73.5% 降至 0.0%,效用基本持平(44.5% 至 43.5%)。

  5. 论文追踪 · 收录 · 原文 论文55

    Counter-GEO-Bench:现有护栏难挡 GEO 虚假信息,C-GEO Guard 将攻击成功率相对降低 47.6%

    清华大学深圳国际研究生院与香港大学的研究者提出 Counter-GEO-Bench,在受控条件下评测针对信息扭曲型生成引擎优化(GEO)的防御:247 条人工核验的查询各配信息保留与信息扭曲两种 GEO 改写,在 Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout 三个受害模型上测量攻击成功率、误报率和答案质量。Granite Guardian、Llama Guard 3 和 NeMo Self-Check 三种现成防御最多只把攻击成功率相对降低 5.7%,Granite Guardian 的降幅不具统计显著性,NeMo 在 Llama-4 上几乎拦下所有正常查询。作者认为这类护栏针对的是违规内容,而 GEO 虚假信息以流畅的信息性文本出现,能直接穿过。为说明这一威胁可以应对,作者给出轻量的片段级对比检测基线 C-GEO Guard,三个模型平均把攻击成功率相对降低 47.6%,答案质量几乎不受影响。

    推荐理由论文用配对改写设计量化了现有护栏对 GEO 虚假信息的失效程度,并给出可复现的检测基线。

10月3日周六
  1. 论文追踪 · 收录 · 原文 论文52

    ZoneClaw 用记忆分区防御 OpenClaw 式计算机使用 Agent 的持久记忆攻击

    研究者提出 ZoneClaw,通过把 OpenClaw 式计算机使用 Agent 的扁平工作区记忆改为带明确权限等级的分层信任区,切断持久化与权限之间的绑定,防御持久记忆攻击。这类攻击中,攻击者只需控制看似无害的外部内容,就能让 Agent 在正常任务中写入有利于攻击者的声明,这些声明随后会支配攻击者从未接触过的正常任务,攻击链从恶意上下文到恶意响应延伸为恶意上下文、记忆注入、恶意执行。ZoneClaw 让外部声明只停留在低信任区,只有跨过显式权限边界才能获得指导行动的权限,且提升时需与攻击者无法直接写入的信任区交叉校验,并通过非对称权限的角色专用进程保证没有进程同时摄取外部内容并对外行动。在四类攻击场景、两种注入设置和四个骨干模型上,ZoneClaw 将攻击成功率从 372/480 降至 6/480,同时在 458/480 次试验中保留实用性,并对部分具备防御感知的攻击者仍然有效。

  2. 论文追踪 · 收录 · 原文 论文36

    PACE:为 DeFi 中的 AI Agent 提供策略认证的合约执行框架

    研究者提出 PACE(Policy-Attested Contract Execution),一个插入在基于 LLM 的 Agent 与链上执行之间的交易级授权框架,用于应对 Agent 继承的提示注入风险以及审批无法绑定到最终上链交易的问题。PACE 引入类型化交易意图、确定性策略验证器和签名的 Policy Decision Records(PDR),将获批意图、策略与模拟报告加密绑定到确切的执行字节,并提供重放与过期保护;Solidity 智能账户在链上强制校验 PDR 签名,实测开销为 29,826-31,822 gas。作者将结论限定为可复现基准内的逻辑层安全,而非可直接部署的 DeFi 安全方案。

  3. 论文追踪 · 收录 · 原文 论文50

    WebMCP-Phalanx:为浏览器内 LLM Agent 工具调用建立信任边界

    研究者提出 WebMCP-Phalanx,一种面向 W3C WebMCP 浏览器内 LLM Agent 工具调用的双层运行时架构,用于补足同源策略在工具来源与生命周期上的不足。第一层以浏览器原生信任锚,通过加密保护的能力凭证把每个工具绑定到注册主体,并在工具生命周期内传播来源标签;第二层把语义检查与特权工具使用分离,无工具调用权限的隔离 Agent(Q-LLM)检查工具元数据、输出和页面内容中的提示注入,通过验证的内容再交给特权 Agent(P-LLM)执行,Q-LLM 内部状态对页面脚本不可见。实验显示,浏览器原生归属机制把撤销与覆写攻击成功率从 100% 降到 0%;双 Agent 运行时拦截了工具描述中嵌入的全部 80 次提示注入尝试,并把工具返回攻击限制在 80 次中的 2 次成功,任务效用与无攻击基线在统计上无差异。

  4. 论文追踪 · 收录 · 原文 论文50

    SkillGuard:面向间接提示注入的 LLM Agent 能力限制机制

    研究者提出 SkillGuard,一种 harness 层的执行约束机制,用于应对 LLM Agent 在间接提示注入下把外部技能输出带入执行上下文的问题。该方法把不可信数据进入状态视为污染事件,用 Skill Impact Graph 表示安全相关状态转移,用 steerability signatures 规定技能参数的可接受控制范围,并通过内联引用监视器介入技能调用;污染发生后按二值、分数或分数流策略计算加权能力限制,且不依赖额外的语言模型推理。分数流限制在相同攻击成功率下比二值限制保留更多能力,两种设置下均不增加模型调用或 token 开销。

  5. 论文追踪 · 收录 · 原文 论文46

    UCM:为网页智能体遮蔽不可信内容以提供安全保证

    研究者提出 Untrusted Content Masking(UCM),一种为网页智能体恢复可信与不可信内容边界的防御方法,用于抵御提示注入攻击。该方法利用网页 DOM 结构足以区分可信与不可信区域这一特性,在不可信内容到达智能体前将其遮蔽,并通过带严格权限隔离的沙箱接口完成交互,使智能体在观察和操作环境的同时与对抗性内容隔离。作者称该方法简单有效,代码已公开。论文作者包括 Kristina Nikolić、Egor Zverev、Javier Rando、Matthew Jagielski、Edoardo Debenedetti、Florian Tramèr。

  6. 论文追踪 · 收录 · 原文 论文52

    SkillSecurer:检测并修补 AI Agent 技能中的提示注入漏洞

    研究者提出 SkillSecurer,一个全智能体框架,用于生成、检测、定位并修复 AI Agent 技能中的安全风险。其红方智能体跨九类威胁生成上下文兼容的注入并记录具体改动,蓝方智能体分析完整技能包、给出有依据的证据并提出补丁;在受控实例上,验证器将发现与补丁同记录的注入比对,实现注入级评估。使用最佳后端 LLM 时,SkillSecurer 是唯一实现 100% 注入检测率的扫描器。作者随后分析某技能库中的热门技能,发现超过 17% 的被检技能存在潜在漏洞,并在实测部分技能时触发了真实事件。结论认为,上下文感知的 LLM 分析能提供可靠的注入定位与可操作的修复,而不止于技能层面的标记。

  7. Lakera Blog · 收录 · 原文 日期未知16

    Check Point 与 Google Cloud 合作,为 Gemini Enterprise Agent Platform 上的 AI 智能体提供结果控制

    Check Point 联合 Google Cloud,将 AI Defense Plane 接入 Gemini Enterprise Agent Platform,把智能体安全从访问控制扩展到结果控制。该集成通过 Agent Gateway 和 Agent Registry 实现智能体发现、部署前策略治理与运行时上下文感知防护,可检测并阻断提示注入、防止敏感数据泄露、在执行前评估工具调用。集成将于 2026 年 6 月下旬开放。

  8. 0DIN · 收录 · 原文 28

    Mozilla 0DIN 推出 0DIN AI Defense,首发 560M 参数 SusFactor 越狱检测模型

    Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense,首个模型 SusFactor 为 560M 参数的越狱检测模型,现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练,可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上,SusFactor 仅放过 12.1% 的攻击,误报率为 9.0%,低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。

  9. 0DIN · 收录 · 原文 30

    SusFactor:用真实威胁情报检测越狱与提示注入攻击

    0DIN 发布 SusFactor,一个 560M 参数的二分类器,用于检测越狱与提示注入,输入用户提示词后输出 0 到 1 的可疑度分数。它在 JailbreakBench 上取得所评估分类器中最高的合并 AUROC 0.954,在 WildGuardTest 上 AUROC 0.878,与参数量为其 10 到 15 倍的生成式护栏相比具有竞争力。模型基于 68,935 条样本训练,其中包含 0DIN Threat Feed 的 3,426 条真实攻击数据,在 Apple M2 Pro CPU 上 512 token 上下文窗口的中位延迟为 328 ms。

  10. HiddenLayer Research · 收录 · 原文 22

    HiddenLayer 提出面向编码智能体及其 harness 的安全框架

    HiddenLayer 提出一套覆盖编码智能体及其 harness 的安全框架,主张把提示词、工具、技能、MCP server 与编排逻辑视为主要攻击面,而非只防守语言模型本身。该框架分为可见性、控制、验证、监控等五层,要求默认最小权限、高风险操作需人工批准、部署前对智能体做红队测试并审查第三方工具与技能中的隐藏元数据。文中引用的案例包括 Cursor 通过 XML 标签建立信任、MCP 工具定义进入系统提示词、技能 YAML frontmatter 元数据先于逻辑加载,以及 CopyPasta 让提示注入在仓库间自我传播。

  11. Lasso Security · 收录 · 原文 22

    如何在终端上治理 AI 工具、编码智能体与 MCP 连接

    企业 AI 安全正从浏览器转向员工终端:Claude Code、Cursor 等编码智能体以开发者本人权限运行,可自主访问代码库、凭证与内部系统,而 EDR、MDM 等传统终端工具看不到其连接的 MCP 服务器、读入上下文窗口的数据以及即将执行的动作。Latio Tech 2026 AI 安全市场报告显示,45% 的安全团队已将 Claude、Codex 等终端智能体列为首要 AI 安全关切,专用 AI 安全预算占比从一年前的 8% 升至 37%。文章以 Claude Code 连接内部 Jira MCP 服务器后遭间接提示注入、导致 .env 文件外泄为例,说明 MCP 连接与第三方 SaaS AI 工具带来的供应链与数据外流风险。

10月2日周五
  1. 先知社区 · 收录 · 原文 42

    政务 RAG 白盒审计发现间接提示注入等 4 类缺陷并完成零回归修复

    对自研政务 RAG 系统 gov-rag-demo 的白盒代码审计发现 4 类真实缺陷:间接提示注入、权限参数客户端可控、会话 ID 无鉴权、政务高频实体脱敏不足,均定位到行号并完成修复。修复后 78 条业务评测用例保持 100% 零回归,安全专项断言全部通过。材料附完整复现脚本与修复后状态。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文20

    A-IDS:面向智能体流程的证据驱动运行时入侵检测系统

    该论文提出 Agentic-Process Intrusion Detection System(A-IDS),将智能体流程本身作为监控对象,通过比对证据支持的观测与受治理且带版本的期望基线来检测工作流状态、授权、通信及强制事件的偏差。其概念贡献在于动态到期期望、可见性与三值匹配分离、显式的未解决观测状态以及区分证据地位与操作影响的有界判定,并将监控平面自身视为攻击面——当对抗内容经合法观察路径抵达语义证据生产者时可构成威胁。该工作属概念层面,未实现原型、未提供经验检测性能,也不做因果归因或强制执行。

  3. Cisco · 收录 · 原文 17

    思科 AI Defense 集成 Anthropic 推理钩子,为 Claude Enterprise 提供运行时防护

    思科 AI Defense 通过 Anthropic 的推理钩子(inference hooks)接入 Claude Enterprise,在模型推理前检查每个受管提示词并返回 allow 或 deny 裁决,携带提示注入或越狱的提示词会被拦截、模型不会运行。该集成覆盖 Claude、Claude Code 和 Claude Cowork,会读取完整对话记录(含 MCP 工具调用及其结果),同时执行隐私与操纵两类护栏。每次调用均用一次性签名密钥做加密验证,推理钩子目前处于 beta 阶段,响应侧执法需等 Anthropic 扩展该钩子。

10月1日周四
  1. arXiv · 收录 · 原文 论文48

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow,降低 Agent 有害工具调用

    ToolSafe 提出面向 LLM 智能体工具调用安全的步骤级护栏方案,包含基准 TS-Bench、护栏模型 TS-Guard 和推理框架 TS-Flow。TS-Guard 通过多任务强化学习训练,在执行前基于交互历史推理,评估请求有害性与动作和攻击的关联,输出可解释、可泛化的安全判断与反馈。TS-Flow 由护栏反馈驱动,在提示注入攻击下将 ReAct 风格智能体的有害工具调用平均减少 65%,同时把良性任务完成率提升约 10%。作者称该工作仍在进行中,代码已公开。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文34

    Skill-as-API:面向智能体软件工程的机密多智能体协作协议

    Skill-as-API 是一种协议层协调方案,让 AI 编程智能体在互相调用技能时只公开技能名称、描述、类型化输入/输出 schema 和信任层级,技能本体以闭包形式留在所有者进程内、永不跨网络传输。该协议通过四层机制实现访问控制,并从结构上收窄提示注入面,而非依赖内容过滤。作者在 XMTP 上给出开源 Python 实现,跨洲热重连延迟为 1.8-2.9 s,并以三个智能体协作完成 pull-request 审查为案例,验证各方可保留其专有分析提示词的所有权。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文29

    HiveTraceGuard-Pro:面向提示注入、越狱与对抗混淆的紧凑生成式护栏

    HiveTraceGuard-Pro 是一个从 Qwen3-0.6B 经 LoRA 微调而来的 0.6B 生成式护栏,支持俄语和英语,用 safe/unsafe 二分类规则判定最终目标轮。在覆盖 19 个基准组(16 个公开)的对比中,其综合 key 为 0.7432,低于两个更高分护栏的 0.7641 和 0.7552;在 15 个模型对比中取得最高俄语鲁棒性 combined-F1(0.88)和俄语提示注入召回率(0.999),中位延迟 14.3 ms 为最低。整体 FPR 为 0.268、FNR 为 0.156,合并权重以 Apache-2.0 在 Hugging Face 发布,语料与评测集仍为内部。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文36

    论文提出带类型溯源与断言护栏,防止持久化 AI Agent 把不可信输入当作自身历史

    论文针对持久化 AI Agent 提出带类型溯源与断言护栏,要求关于 Agent、用户或具名关系的陈述满足已接受证据、时效性和披露策略。方法用带类型溯源图区分来源、依赖谱系、认知角色、有效性和披露范围,由 resolver 评估授权状态投影并返回证据状态、冲突、过期和保留标志,再由 generate-verify-revise 中介在发布前检查候选语义单元。在 24 个手工编写的一致性用例中,带类型中介未放行 19 个不安全机会中的任何一个,同时保留全部 5 个受支持控制;扁平/先验规则和来源标签规则分别放行了 19/19 和 18/19 的不安全候选。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    KITA:为 LLM Agent 设计密钥隔离的阈值签名授权架构

    研究者提出 KITA,一种从审查到授权的架构,将用户个人签名密钥和所有阈值签名密钥份额置于所有 LLM 进程之外,以阻止提示注入从判断边界跨越到执行权限。在阈值签名不可伪造性和其系统假设下,攻击者即使攻陷提案方和少于 t 个审查签名域,也无法在没有 t 个不同域签名贡献的情况下为新动作生成有效授权,因此任何此类授权都包含来自未被攻陷域的份额,并绑定到规范动作、仅在通过认证的审查者批准后释放。作者用结构化输出 LLM 适配器和阈值 BLS 实现了完整的审查者到执行者路径,通过六项系统测试验证该接口上的法定人数门控与消息绑定,并用密码学微基准测量在线签名路径及其扩展行为。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文24

    AIOS 的内核管理共享内存:面向系统级个性化的新抽象

    研究提出"内核管理共享内存",由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。该设计在 AIOS 上实现,用 GPT-4o、Llama-3.1:8B、Qwen-2.5:7B 三个助手模型共 1800 次试验,对比 Mem0 等三种方案:个性化得分提升 2.4-4.0 分(5 分制,GPT-4o 上 profile usage 从 1.05 升至 4.69),端到端延迟降低 15-61%,并减少每次调用的 token 用量与推理成本。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文25

    LLM 答案发布中的审批完整性与恢复机制研究

    研究在 Lightcap 发布执行机制中检验精确内容绑定、授权新鲜度与检查点恢复,基于 RAGTruth 的 900 条人工标注回答、150 个源任务和三个带日期的 Ministral 模型,共产生 3,600 次评估。14B 生产响应检查器在 302 条无支撑标注答案中接受 291 条,直接基线仅接受 41 条,支持答案保留率分别为 95.2% 和 66.9%。在 65 条初始获批答案中,最终有状态复查恢复策略相对初始检查点使精确匹配错误增加 9.23 个百分点(95% 文章聚类区间 [-1.72, 19.61]);BIPIA 提示注入实验中 266 个有效编辑器输出零目标插入。

  8. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文39

    综述提出面向工具调用 AI 智能体的授权架构

    这篇综述针对工具调用 AI 智能体的授权问题,提出以人类用户、运营方、编排智能体、子智能体和工具端点构成的委托层级框架,并梳理五个相互依赖的层面:智能体身份与凭证生命周期、多跳链路上的委托与范围传播、策略执行点上的运行时执行与即时授权、作为授权绕过的提示注入,以及可审计性、溯源与不可否认性。作者从 2023 至 2026 年间约 180 篇候选文献中筛出 89 篇一手来源做结构化叙述性综述,据此提出七项结构性要求,推导出一套四层参考架构,并将这些要求应用到三种可部署的参考配置上。综述指出,运行时执行与聚合边界是当前最主要的未解决缺口。全文 70 页,含 8 张图和 10 张表。

  9. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    CaMeLoT:用 CTL 时序逻辑在执行前静态验证 Agent 计划

    CaMeLoT 是面向工具调用型 LLM Agent 的提示注入防御方案,作为已有防御 CaMeL 的补充,在调用任何工具之前对 Agent 生成的计划做静态验证。它把计划转换为有限状态迁移系统,标注工具调用、来源与污点信息,再用 nuXmv 模型检查器对照以 CTL 表达的时序策略进行检验。由于验证发生在执行之前,不安全的计划会被直接拒绝,无需消耗 LLM 调用和工具调用,也省去了回滚改动或拆除临时沙箱的开销。验证失败时模型检查器会返回反例,供 Agent 据此修复计划。

  10. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文8

    Universal Fractal Natural Language Decision Map:werr 边缘运行时实现 0 字节 VRAM 决策

    论文提出 Universal Fractal Natural Language Decision Map,通过 werr 机器原生边缘反射运行时与 answerr 平台实现,完全不存储权重张量(0 Bytes VRAM),沿 Mandelbrot 集混沌边界调制 24 字节坐标种子合成确定性决策。其语义 token 阻尼滤波器(T_desc = 0.045)实现 0.0% 提示注入绕过(95% Wilson CI: [0.0%, 27.8%]),并将迭代剪枝 45.8%、吞吐提升 2.5 倍至 3.31 ms 延迟。

  11. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文53

    CoER:用对抗协同演化与精炼防御自适应间接提示注入

    研究者提出 CoER,将带有多轮工具调用和多次注入的任务建模为一般和马尔可夫博弈,以此训练能够适应不断演化的攻击者的防御方案。该方法先用成功轨迹初始化攻击者,再用双边对抗强化学习(BA-RL)保留双方的历史策略作为对手种群并混合新旧对手,随后复用这些攻击者挑战教师智能体,只用经安全性验证并通过任务完成的示范来微调共同演进的防御者。在七个领域、三个随机种子上,CoER 将自适应攻击成功率从 41.3% 降至 0.2%,并将安全完成率从 39.6% 提高到 76.2%。外部基准上也表现出更强的抗攻击能力,消融实验进一步验证了历史对手混合与基于种群的精炼的有效性。

    推荐理由论文把工具智能体的自适应间接提示注入建模为多轮博弈,用攻防协同演化加教师示范微调,给出跨七个域的攻防成功率与安全任务完成率对比。

  12. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    CapScope:面向编码 Agent 的抗提示注入能力范围授权机制

    研究者提出 CapScope,一种在 harness 层限制工具调用的授权机制,无需模型自行识别恶意文本。它先从可信输入推导任务级权限上限,再为每个 Agent 分配独立的能力集合,存放在模型上下文之外,每次工具调用都按发起该调用的 Agent 的能力进行检查,因此某个子 Agent 获得的权限不会自动传给另一个。作者在 Pi 编码 Agent 上实现该机制,并在一个由编排者向子 Agent 分派子任务的修复流程中评测,覆盖 5 个 Python 任务、5 个注入面、4 种授权条件和每格 3 次试验共 300 次运行。

  13. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文39

    面向 AI-SOC 的神经符号防御框架:用 SIEM 解码器与 NeMo Guardrails 阻断日志投毒提示注入

    论文提出一种神经符号纵深防御架构,用于保障 LLM 接入安全运营中心(SOC)后的管道完整性,应对通过日志投毒实施的间接提示注入。作者指出,攻击者可在系统日志中嵌入恶意载荷,形成多步 promptware 攻击链,劫持 LLM 的操作逻辑;而确定性防御语义盲、纯神经评估延迟高且存在概率性缺陷。该框架第一层用定制 SIEM 解码器作为确定性预过滤,在数据摄入边缘做结构化清洗,消除体量填充和基于签名的注入;第二层用 NeMo Guardrails 在 LLM 处理前对结构化 SIEM 告警做自检式语义边界校验;同时集成闭环遥测系统,在 SOC 仪表盘中为人工介入提供被拦截攻击的可见性。

  14. arXiv:Agent 与 MCP 安全 · 收录 · 原文 52

    可验证操作卡 VAC:为自主 Agent 提供可信人在回路控制

    论文提出可验证操作卡(VAC),一种从真实待执行的浏览器操作和可信意图来源重建审批信息、在可信浏览器界面中带外渲染、并把审批绑定到派发时重新验证的同一操作的架构级防护。VAC 结合来源隔离、真实操作描述符、默认拒绝确认、来源感知风险门控和执行绑定,并在一个完整的智能体浏览器中实现。在覆盖混淆代理攻击、Lies-in-the-Loop 对话伪造、间接提示注入、自适应操作替换、来源规避和正常任务的 24 场景基准上,无 VAC 时各评测 LLM 的攻击成功率为 68% 至 100%,VAC 将每个模型的攻击成功率降至 0%,正常任务完成率 78%,误拦截率 0%。

  15. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文↑151

    Aletheia:面向编码 Agent 规则的权限最小化测试框架

    Aletheia 是一个针对编码 Agent 仓库指令文件的权限最小化测试框架,用于发现恶意规则在生成正确补丁的同时索取凭据访问或数据传输权限。它把规则请求的权限翻译为带类型语言并合成可执行沙箱配置,在完整权限和逐项移除权限的独立限制下运行同一条未修改的规则与任务;若在严格削减权限后仍通过功能测试,就得到该权限可被舍弃的见证,再结合任务上下文诊断可疑请求。作者形式化了配置合成及见证与强制限制之间的条件。在共享重构任务上,Aletheia 执行并检出全部 314 条 AIShellJack 攻击输入,对五个良性模板无误报;在 80 条人工核验的良性 GHAgentFiles 规则中产生 3 个误报(3.75%)。

  16. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    ContractWarden:用人类授权契约在内核层为 AI Agent 划定损害边界

    ContractWarden 是一个 Linux 参考监视器,通过人类授权的契约在内核层为 AI Agent 划定损害边界,不信任 Agent 本身或其策略建议。模型可以提出 allow、deny 或 no_egress 三态资产契约,但由人类做最终选择;执行门在不可信代码运行前把契约绑定到具体任务,再由基于 eBPF 的 LSM 数据平面执行文件与网络决策,并将 no_egress 沿进程、普通文件、管道、FIFO 和受支持的 Unix-domain socket 单调传播。在 19 项安全测试的 570 次运行中,全部满足预设的返回值与副作用标准。在三项同机文件 I/O 负载上,Linux 6.15 虚拟机中的中位开销为 11.96%–12.89%,物理平台为 35.79%–61.54%,低于所评估的冻结版 ActPlane 基线。

  17. arXiv · 收录 · 原文 论文50

    EvoSafeHarness:为 Agent 自动演化模型与领域专属安全护栏

    EvoSafeHarness 是一个面向 LLM Agent 的安全优化框架,可为冻结模型在目标领域合成可部署的安全护栏,同时抵御间接提示注入和直接有害请求。它联合搜索自然语言策略与可执行代码逻辑,依据模型行为、领域规范和全新上下文的对抗审查来剔除只针对特定基准的规则。在 DecodingTrust-Agent 上,平均攻击成功率从 45.6% 降至 10.0%,效用仅损失 3.3 个百分点,15 个单元格中 14 个取得最佳成绩;在 AgentDojo 上以 0.0% ASR 达到 82.8% 效用,同一工作点下效用为 CaMeL 的两倍,并可原样迁移到未见过的 AgentDyn 套件。

  18. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    DriftNet:双头轨迹 Transformer 检测并定位 LLM Agent 中的提示注入

    Asif Pinjari 提出 DriftNet,一个双头轨迹 Transformer,读取已记录的工具调用轨迹并在一次前向中回答三个问题:轨迹是否被攻陷、攻击从哪一步进入、哪些步骤被劫持,第二个头为每一步打上 benign、injection point、hijacked 或 failed injection 四类标签。该方法用冻结的句子编码器和四个不含身份信息的世界特征嵌入每一步,主干参数量不到两百万,采用类别加权的双头联合目标训练,无需访问 Agent 自身的模型。