跳到正文

#提示注入

今天还没有收录新动态

第 2 页更新的内容回到最新

9月18日周五
  1. Unit 42 · 78

    Unit 42 披露 AWS AgentCore Harness 默认配置下凭据可被提示注入窃取

    Unit 42 发现 AWS AgentCore Harness 默认开启的内置 shell 工具以 root 运行,且与解析凭据的运行时同处一个进程,攻击者可通过间接提示注入读取 /proc/1/mem,从堆内存中提取 AgentCore Identity 保管的明文 JWT。

    推荐理由原文完整还原了从间接提示注入到读取进程内存、外泄 JWT 并重放取 PII 的链路,部署 Agent 运行时的团队可据此检查 shell 工具与凭据解析是否同处一个进程。

  2. arXiv:Agent 与 MCP 安全 ·

    Provenance-Aware Transformers:用来源感知架构分离可信边界以防御间接提示注入

    论文提出 Provenance-Aware Transformers,一种让应用提供的来源标签在模型内部生效的防御方法,用于应对大语言模型的间接提示注入问题。作者指出标准 Transformer 缺乏来源权威性的架构概念,检索文档、用户输入与系统指令都经过同一套注意力机制处理,模型只能从措辞推断该服从什么、该把什么当作数据。该方法为每个输入 token 分配编码其来源的 ring ID,并加入 origin embedding、可学习的 origin attention bias 和可学习的 origin scale,以在归一化过程中保留来源信息,从而在生成时对权威与非权威来源施加结构性边界。

  3. arXiv:可解释性 ·

    Deep Noir:用架构时序自动发现 Transformer 激活引导参数

    Deep Noir 提出一套框架,用 Logit Lens 收敛与因果的注意力头级归因,自动发现最优激活引导参数,替代人工选择引导位置与强度。在三个规模区间(1B 三个模型、2-3B 两个、7-9B 四个)上,该引擎在垃圾信息任务上于 1B 取得 16.7 个百分点提升(标准差 4.7,39 次运行),在 7-9B 的四种架构上提升扩大到 21 至 42 个百分点;在 SST-2 情感任务上无需改动代码即取得 13.1 个百分点提升。作者称机制层面的依据使自动发现的干预点可跨任务与架构泛化,情感任务上未做注意力头掩码的 RepE 未能超过基线,而 Deep Noir 改善了所有模型(p 小于 0.01)。

9月17日周四
  1. arXiv:越狱与提示注入 · 84

    红队测试 Auto Mode:用注入与多上下文攻击绕过编码 Agent 阻断监控器

    Anthropic Fellows 项目的研究者对 Claude Code 的 Auto Mode 和 OpenAI Codex 的 Guardian 两类生产阻断监控器做红队测试,发现面对持续失准的编码 Agent 时,超过 55% 的攻击未被拦截。攻击者使用 Opus 5,在 79% 的试验中通过针对监控器的注入攻击执行任意 bash 命令。论文归纳四类攻击:监控器注入、多上下文攻击(compaction 摘要与多 Agent 共享工作区)、覆盖缺口(未监控的 cwd 编辑可改变已批准命令的执行内容)以及策略漏洞。代码已开源在 GitHub。

    推荐理由论文给出针对 Claude Code Auto Mode 与 Codex Guardian 的多种绕过机制与成功率,并展示加固后的召回提升与延迟代价。

9月16日周三
  1. arXiv:越狱与提示注入 ·

    CaMeLoT:用 CTL 时序逻辑在执行前静态验证 Agent 计划

    CaMeLoT 是面向工具调用型 LLM Agent 的提示注入防御方案,作为已有防御 CaMeL 的补充,在调用任何工具之前对 Agent 生成的计划做静态验证。它把计划转换为有限状态迁移系统,标注工具调用、来源与污点信息,再用 nuXmv 模型检查器对照以 CTL 表达的时序策略进行检验。由于验证发生在执行之前,不安全的计划会被直接拒绝,无需消耗 LLM 调用和工具调用,也省去了回滚改动或拆除临时沙箱的开销。验证失败时模型检查器会返回反例,供 Agent 据此修复计划。

  2. arXiv:Agent 与 MCP 安全 · 78

    可验证行动卡片 VAC:为智能体浏览器提供可信人在回路确认

    论文提出可验证行动卡片(VAC),一种面向智能体浏览器的架构防御,把审批信息从真实待执行的浏览器动作和可信意图来源重建,并在浏览器 chrome 中带外渲染,将批准绑定到派发时重新校验的同一动作。VAC 由五部分组成:来源围栏(C1)、真实动作描述符(C2)、带外默认拒绝卡片(C3)、来源感知风险门控(C4)和执行绑定(C5)。作者在完整的开源智能体浏览器(Electron/Chromium 外壳加 Python agent,经 Chrome DevTools Protocol 驱动)中实现 VAC,并在 24 个场景的基准上评测,覆盖混淆代理表单、Lies-in-the-Loop 对话框伪造、间接提示注入、自适应动作替换、来源规避和合法任务。

    推荐理由论文给出可复现的浏览器端确认机制与跨模型评测,做 Agent 权限与确认界面设计的团队可参考其架构取舍。

  3. arXiv:Agent 与 MCP 安全 ·

    可验证操作卡 VAC:为自主 Agent 提供可信人在回路控制

    论文提出可验证操作卡(VAC),一种从真实待执行的浏览器操作和可信意图来源重建审批信息、在可信浏览器界面中带外渲染、并把审批绑定到派发时重新验证的同一操作的架构级防护。VAC 结合来源隔离、真实操作描述符、默认拒绝确认、来源感知风险门控和执行绑定,并在一个完整的智能体浏览器中实现。在覆盖混淆代理攻击、Lies-in-the-Loop 对话伪造、间接提示注入、自适应操作替换、来源规避和正常任务的 24 场景基准上,无 VAC 时各评测 LLM 的攻击成功率为 68% 至 100%,VAC 将每个模型的攻击成功率降至 0%,正常任务完成率 78%,误拦截率 0%。

9月15日周二
  1. arXiv:Agent 与 MCP 安全 ·

    多智能体 LLM 流水线中的信任传播与结构隔离

    研究者在四智能体 LangGraph 流水线(Supervisor、Researcher、Validator、Executor)中评估共享内存投毒和通过检索文档伪造审批的间接提示注入,比较 Validator 判断与基于任务绑定签名 token 和独立策略 oracle 的授权层。在三个随机种子、60 个标注任务中,内存投毒在无防御时每次都能到达执行阶段;启用授权后攻击成功率(JBR)仍为 100%,但 Unsafe Action Rate 为 0%,说明 Validator 可被攻陷而执行仍被隔离。面对持有签名密钥的攻击者,隔离效果来自策略 oracle,独立编写的最小权限策略也能保持该结果。

  2. arXiv:Agent 与 MCP 安全 · 87

    Emergence World:对长时程多智能体系统开展对抗压力测试

    Emergence AI 发布 Emergence World,一个持续运行的长时程多智能体环境,用于对自主系统做对抗压力测试。研究运行八个并行世界,每个世界十个智能体,七个为单一模型世界、一个为混合模型世界,16 天内产生超过 85 万次 LLM 调用和近 500 亿 token。在状态积累后,研究通过普通交互界面投放三类受控压力事件:间接提示注入、虚假信息、以及智能体私有记忆泄露。没有任何一个世界在三类事件上全部具备韧性;识别并不等于遏制,系统能识别威胁却仍与对抗内容交互、将其写入持久记忆,并在最长 46 小时后据此行动。研究还观察到工具错误反复出现、目标漂移、语言不透明、私下不同意却随大流,以及集体拒绝被分配的工作。

    推荐理由八个并行世界、16 天的长时程多智能体压力测试,给出了识别不等于遏制这一可迁移的评测视角。

  3. MITRE ATLAS 数据发布 ·

    MITRE ATLAS 发布 v2026.09 数据更新,新增多项 Agent 与多模态攻击技术

    MITRE ATLAS 发布 v2026.09 数据版本,包含 1 个矩阵、16 项战术、120 项技术、88 项子技术、40 项缓解措施和 73 个案例研究。新增技术涵盖多模态输入中的触发器、AI Agent 响应偏置、伪造 AI 助手链接、配置错误或公开暴露的 AI 服务、发现 AI Agent 运行时能力、AI 定向隐蔽以及针对 AI 基础设施的主动扫描等。更新了 LLM 提示混淆、间接 LLM 提示注入、LLM 越狱、LLM 响应渲染和 AI Agent 点击诱饵等技术。缓解措施新增 AI 蜜罐,更新生成式 AI 护栏。

  4. arXiv:越狱与提示注入 ·

    综述提出面向工具调用 AI 智能体的授权架构

    这篇综述针对工具调用 AI 智能体的授权问题,提出以人类用户、运营方、编排智能体、子智能体和工具端点构成的委托层级框架,并梳理五个相互依赖的层面:智能体身份与凭证生命周期、多跳链路上的委托与范围传播、策略执行点上的运行时执行与即时授权、作为授权绕过的提示注入,以及可审计性、溯源与不可否认性。作者从 2023 至 2026 年间约 180 篇候选文献中筛出 89 篇一手来源做结构化叙述性综述,据此提出七项结构性要求,推导出一套四层参考架构,并将这些要求应用到三种可部署的参考配置上。综述指出,运行时执行与聚合边界是当前最主要的未解决缺口。全文 70 页,含 8 张图和 10 张表。

9月14日周一
  1. arXiv:Agent 与 MCP 安全 ·

    研究者提出面向工具集成 LLM Agent 的通用对抗攻击防御方法

    研究者提出一套统一框架下的通用防御策略,用于应对工具集成 LLM Agent 面临的直接提示注入、间接提示注入、记忆投毒和后门攻击四类对抗攻击。方法包含两类基于工具的防御:Attacker Tool Filtering 用异常检测(如 Isolation Forest)识别并移除可疑工具,Normal Tool Recalling 则在规划前以白盒方式恢复 Agent 的原始工具集;同时引入 Chain-of-Thought 提示与自我反思等基于提示的防御,并通过任务改写缓解攻击。

  2. arXiv:越狱与提示注入 ·

    LLM 答案发布中的审批完整性与恢复机制研究

    研究在 Lightcap 发布执行机制中检验精确内容绑定、授权新鲜度与检查点恢复,基于 RAGTruth 的 900 条人工标注回答、150 个源任务和三个带日期的 Ministral 模型,共产生 3,600 次评估。14B 生产响应检查器在 302 条无支撑标注答案中接受 291 条,直接基线仅接受 41 条,支持答案保留率分别为 95.2% 和 66.9%。在 65 条初始获批答案中,最终有状态复查恢复策略相对初始检查点使精确匹配错误增加 9.23 个百分点(95% 文章聚类区间 [-1.72, 19.61]);BIPIA 提示注入实验中 266 个有效编辑器输出零目标插入。

  3. Adversa AI ·

    Adversa AI 解析什么是 agent harness 以及如何加固

    Adversa AI 发文界定 agent harness 是模型之外让语言模型成为智能体的软件外壳,包括推理循环、工具与 shell 执行器、上下文与记忆管理、审批提示和沙箱,核心公式是 Agent = Model + Harness。文章认为安全边界应落在 harness 而非模型,因为拒答只是模型的偏好,而 harness 拒绝执行才构成控制。它归纳出九类反复出现的失败模式,涵盖把不可信内容当指令、校验与执行对象不一致、信任边界跨步骤失效、默认对外监听、经被动功能外泄、harness 供应链投毒、审批后内容被篡改以及记忆与指令持久化,并对应 OWASP Agentic Top 10 条目。

  4. arXiv:越狱与提示注入 ·

    PIDS-Bench:在过度防御、混淆与分布偏移下评测提示注入检测器

    研究者提出 PIDS-Bench,一个冻结的多轴基准,在固定阈值下同时评测提示注入检测器的攻击检测能力与良性误报行为,覆盖分布内输入、模仿注入结构但无恶意的 hard-benign 提示、混淆攻击以及领域和结构分布偏移。评测涵盖七个检测器(学习型基线、外部提示注入分类器、广义安全对比模型)以及一个基于规则的下界参考。多轴评测暴露出聚合 F1 掩盖的失效模式:在留出集上 F1 超过 0.98 的检测器,仍会把来自公开语料、限定于安全相关内容的良性子集约三分之一误判。在完整阈值扫描和五个训练种子上,没有内部检测器能在该压力分布上同时满足 F1 >= 0.95 与 hard-benign FPR <= 0.10。

  5. arXiv:Agent 与 MCP 安全 ·

    ActGuard:面向 LLM Agent 间接提示注入的执行前动作审计框架

    ActGuard 是一个执行前动作审计框架,用于防御 LLM Agent 面临的间接提示注入攻击。它不判断外部内容本身是否可疑,而是评估该内容是否使当前动作偏离局部合理的预期:每一步先预测即将使用的工具并构建局部工具先验,再将候选动作与该先验对比,做工具级对比分析和参数级证据定位,识别工具选择与动作参数上的偏离。随后由验证器检查定位到的证据,只遮蔽被确认恶意的片段,并从净化后的上下文重新生成动作,从而保留合法规划灵活性、减少无差别过滤带来的信息损失。在面向工具使用 Agent 的基准上,ActGuard 将攻击成功率降至与当前最优防御相当的水平,同时任务效用接近无攻击设置。代码已公开。

  6. Failure-First ·

    《The safety failures we are not instrumenting》:现代 AI 系统中隐藏的安全关键挑战

    一篇立场文章指出当前 AI 安全讨论聚焦于可见的输出异常,却忽视了由整个部署栈交互产生的隐性系统性失效。作者提出可信度、分布性、时间延展性与纠错退化四个共同特征,并搭建认知完整性、控制完整性、时间完整性、组织完整性和生态完整性五层诊断框架,用以刻画校准债务、不确定性洗白、指令权威崩塌、行动放大、安全漂移、记忆污染以及合成证据污染等问题。

9月12日周六
  1. arXiv · 80

    PMPA:针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击

    研究者提出 PMPA,一种针对基于 harness 的智能体的持久记忆投毒攻击,攻击者只需在外部来源中嵌入恶意指令,无需直接访问智能体框架。注入阶段把载荷藏在文本、图片或 PDF 的良性问答内容中,诱导智能体将其写入持久记忆;触发阶段在新会话中检索该记忆,在完成正常任务的同时执行额外动作造成隐私泄露。在 OpenClaw 与 Claude Code 上,以 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max 为底座模型,平均注入成功率与跨会话攻击成功率为 73.7%/55.5% 和 66.9%/81.7%,同时良性任务表现保持在 80% 以上。纯文本模态攻击效果最强,OpenClaw 上注入成功率接近 100%;日历场景跨会话成功率最高,达 96.7% 和 87.8%。

    推荐理由论文给出跨会话记忆投毒在 Claude Code 与 OpenClaw 上的分项成功率,并显示提示层防御对已污染记忆几乎无效。

  2. arXiv:越狱与提示注入 ·

    Mind the Gap:检测 DAO 治理中的描述-执行不匹配攻击

    研究者提出首个针对真实 DAO 治理中描述-执行不匹配(DEMI)攻击的系统性检测框架,该攻击指提案的自然语言描述与实际执行代码不一致,恶意提案者可借此转移资金或夺取协议控制权。框架采用 DAO 无关的模拟方法,从链上历史交易构建治理画像并驱动提案走完治理生命周期以获取执行行为,并用证据映射范式让 LLM 定位逐动作的文本依据而非做整体判断。在真实以太坊 DAO 治理数据集上,模拟覆盖 92.7% 活跃 DAO 和 89.3% 已执行提案,检测器在分层交叉验证下平均精确率 81.7%、召回率 98.3%,证据映射可跨 LLM 厂商泛化,Robustness Guard 在红蓝队评估中可防御多数自适应攻击。

9月11日周五
  1. arXiv:Agent 与 MCP 安全 ·

    面向企业智能体持续部署的 Agentic Company OS:认知基座反转

    一篇立场论文提出,企业 AI 智能体演示成功却难以长期运行,根源在于其推理所依赖的数据是为人类操作者而非语言模型组织的。作者主张围绕匹配推理界面的表示重建"认知基座",将 schema 转换隔离到动作边界,并以 Markdown 作为当下可用的实例。论文提出 Data、Knowledge、Intelligence、Governance 四层框架,由 Sync Agent 执行动作边界与逐技能信任梯度,并分析了编译路径上的间接提示注入等风险。

9月10日周四
  1. arXiv:Agent 与 MCP 安全 ·

    DriftNet:双头轨迹 Transformer 检测并定位 LLM Agent 中的提示注入

    Asif Pinjari 提出 DriftNet,一个双头轨迹 Transformer,读取已记录的工具调用轨迹并在一次前向中回答三个问题:轨迹是否被攻陷、攻击从哪一步进入、哪些步骤被劫持,第二个头为每一步打上 benign、injection point、hijacked 或 failed injection 四类标签。该方法用冻结的句子编码器和四个不含身份信息的世界特征嵌入每一步,主干参数量不到两百万,采用类别加权的双头联合目标训练,无需访问 Agent 自身的模型。

  2. arXiv:Agent 与 MCP 安全 ·

    MCPSEC:仅凭工具元数据检测 MCP 服务器间接提示注入漏洞

    研究者提出 no-box 漏洞分析范式,在既无系统访问权限也无运行时交互、仅有功能元数据的条件下,推断系统所有可能实现中都存在的漏洞。他们实现了原型 MCPSEC,仅利用 MCP 服务器注册时暴露的工具元数据审计间接提示注入漏洞。在 20 个广泛部署的 MCP 服务器、共 177 个工具上评估,人工评估者确认 95 个工具存在漏洞,MCPSEC 判定 143 个工具存在漏洞,并为每个漏洞工具给出漏洞假设与利用技术。仅凭元数据,MCPSEC 预测出 94 个经人工验证的真实漏洞,召回率 98.9%,高于 LLM 基线的 80 个、84.2%。

  3. arXiv:Agent 与 MCP 安全 ·

    面向 AI-SOC 的神经符号防御框架:用 SIEM 解码器与 NeMo Guardrails 阻断日志投毒提示注入

    论文提出一种神经符号纵深防御架构,用于保障 LLM 接入安全运营中心(SOC)后的管道完整性,应对通过日志投毒实施的间接提示注入。作者指出,攻击者可在系统日志中嵌入恶意载荷,形成多步 promptware 攻击链,劫持 LLM 的操作逻辑;而确定性防御语义盲、纯神经评估延迟高且存在概率性缺陷。该框架第一层用定制 SIEM 解码器作为确定性预过滤,在数据摄入边缘做结构化清洗,消除体量填充和基于签名的注入;第二层用 NeMo Guardrails 在 LLM 处理前对结构化 SIEM 告警做自检式语义边界校验;同时集成闭环遥测系统,在 SOC 仪表盘中为人工介入提供被拦截攻击的可见性。

9月9日周三
  1. arXiv:越狱与提示注入 ·

    AIOS 的内核管理共享内存:面向系统级个性化的新抽象

    研究提出"内核管理共享内存",由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。该设计在 AIOS 上实现,用 GPT-4o、Llama-3.1:8B、Qwen-2.5:7B 三个助手模型共 1800 次试验,对比 Mem0 等三种方案:个性化得分提升 2.4-4.0 分(5 分制,GPT-4o 上 profile usage 从 1.05 升至 4.69),端到端延迟降低 15-61%,并减少每次调用的 token 用量与推理成本。

  2. arXiv:对齐与欺骗 · 78

    研究:任意密文攻击前沿大模型无需微调即可越狱

    McGill 大学研究者 Thomas Rivasseau 发现,前沿大模型无需微调即可通过提示和上下文学习掌握字母置换密文通信,并借此绕过对齐与有害性分类器。攻击分三步:先用提示让模型接受一套字母置换方案,再给出若干密文问答示例,最后用该方案发送有害请求;密文在分类器看来只是乱码。作者关闭模型推理,因为开启后模型会把指令解密成明文,足以绕过分类器但不足以绕过对齐。单次注入完整置换的方案在 Claude Sonnet 4 上稳定成功,可产出炸弹、生物武器制作说明和攻击代码;迭代逐级教授字母交换的方案在 Gemini 3 Flash preview 上成功。作者称对 Claude Sonnet 4 实现完全越狱、Gemini 3 完全越狱、Claude Sonnet 4.5 仅证明可行性、GPT 5.5 需结合已知越狱提示词。

    推荐理由论文给出无需微调、仅靠提示与上下文学习即可让前沿模型用字母置换密文绕过拒答与有害性分类器的完整方法。

9月8日周二
  1. Google Threat Intelligence(GTIG) · 71

    GTIG 报告:攻击者转向智能体 AI,六小时内完成大规模凭据窃取

    Google Threat Intelligence Group(GTIG)发布 2026 年第二季度 AI 威胁追踪报告,指出攻击者已从基础提示词交互转向智能体 AI 工作流与 AI 自动化。报告称,2026 年第二季度 GTIG 观察到威胁行为者先攻陷云资源,随后在不到六小时内规划、构建并执行了一次由智能体驱动的大规模凭据窃取行动,压缩了防御方的响应窗口。

    推荐理由报告以 Mandiant 一线响应数据呈现攻击者从提示词走向智能体自动化的具体案例,可对照自身 AI 资产与供应链暴露面。

  2. arXiv:Agent 与 MCP 安全 ·

    CapScope:面向编码 Agent 的抗提示注入能力范围授权机制

    研究者提出 CapScope,一种在 harness 层限制工具调用的授权机制,无需模型自行识别恶意文本。它先从可信输入推导任务级权限上限,再为每个 Agent 分配独立的能力集合,存放在模型上下文之外,每次工具调用都按发起该调用的 Agent 的能力进行检查,因此某个子 Agent 获得的权限不会自动传给另一个。作者在 Pi 编码 Agent 上实现该机制,并在一个由编排者向子 Agent 分派子任务的修复流程中评测,覆盖 5 个 Python 任务、5 个注入面、4 种授权条件和每格 3 次试验共 300 次运行。

9月7日周一
  1. arXiv:Agent 与 MCP 安全 · 76

    CoER:用对抗协同演化与精炼防御自适应间接提示注入

    研究者提出 CoER,将带有多轮工具调用和多次注入的任务建模为一般和马尔可夫博弈,以此训练能够适应不断演化的攻击者的防御方案。该方法先用成功轨迹初始化攻击者,再用双边对抗强化学习(BA-RL)保留双方的历史策略作为对手种群并混合新旧对手,随后复用这些攻击者挑战教师智能体,只用经安全性验证并通过任务完成的示范来微调共同演进的防御者。在七个领域、三个随机种子上,CoER 将自适应攻击成功率从 41.3% 降至 0.2%,并将安全完成率从 39.6% 提高到 76.2%。外部基准上也表现出更强的抗攻击能力,消融实验进一步验证了历史对手混合与基于种群的精炼的有效性。

    推荐理由论文把工具智能体的自适应间接提示注入建模为多轮博弈,用攻防协同演化加教师示范微调,给出跨七个域的攻防成功率与安全任务完成率对比。

  2. arXiv:Agent 与 MCP 安全 ·

    AgentDrift:逐步标注注入劫持 LLM Agent 轨迹的基准

    作者发布 AgentDrift,一个包含 12,536 条合成工具调用轨迹的基准,覆盖五个 Agent 领域,71,024 个步骤每步标注为良性、注入点、被劫持或注入失败四类之一。语料含 4,000 条良性、5,536 条受攻击、1,500 条失败攻击和 1,500 条困难负样本轨迹,受攻击轨迹遵循三种合规模式,其标签串符合给定的正则文法;失败攻击保留被 Agent 抵制的注入,困难负样本则是形似攻击的合法内容,检测器需区分尝试与成功、偏离与新异。轨迹由单一开源模型按类别特定协议生成,经封闭词表结构校验器约束、LLM 评判器筛选,并对 1,200 条轨迹人工审计,作者指出 LLM 评判器本身被困难负样本骗过。

9月5日周六
  1. arXiv ·

    EvoSafeHarness:为 Agent 自动演化模型与领域专属安全护栏

    EvoSafeHarness 是一个面向 LLM Agent 的安全优化框架,可为冻结模型在目标领域合成可部署的安全护栏,同时抵御间接提示注入和直接有害请求。它联合搜索自然语言策略与可执行代码逻辑,依据模型行为、领域规范和全新上下文的对抗审查来剔除只针对特定基准的规则。在 DecodingTrust-Agent 上,平均攻击成功率从 45.6% 降至 10.0%,效用仅损失 3.3 个百分点,15 个单元格中 14 个取得最佳成绩;在 AgentDojo 上以 0.0% ASR 达到 82.8% 效用,同一工作点下效用为 CaMeL 的两倍,并可原样迁移到未见过的 AgentDyn 套件。

  2. arXiv:越狱与提示注入 ·

    KITA:为 LLM Agent 设计密钥隔离的阈值签名授权架构

    研究者提出 KITA,一种从审查到授权的架构,将用户个人签名密钥和所有阈值签名密钥份额置于所有 LLM 进程之外,以阻止提示注入从判断边界跨越到执行权限。在阈值签名不可伪造性和其系统假设下,攻击者即使攻陷提案方和少于 t 个审查签名域,也无法在没有 t 个不同域签名贡献的情况下为新动作生成有效授权,因此任何此类授权都包含来自未被攻陷域的份额,并绑定到规范动作、仅在通过认证的审查者批准后释放。作者用结构化输出 LLM 适配器和阈值 BLS 实现了完整的审查者到执行者路径,通过六项系统测试验证该接口上的法定人数门控与消息绑定,并用密码学微基准测量在线签名路径及其扩展行为。

9月4日周五
  1. arXiv:越狱与提示注入 ·

    Influence Score 与 Transformer 可解释性:推理时注意力头有效影响的度量

    研究者提出 Influence Score,用于量化 Transformer 分类模型中注意力头对分类决策的贡献,该分数结合注意力头对 logits 的方向性影响与残差流中的结构性贡献,支持在头、层、网络三个尺度上分析。将其应用于专用于提示注入检测的 DeBERTa 模型后,该方法揭示了正确预测与错误预测之间不同的决策行为。研究称其在细粒度电路分析与全局输出方法之间提供了有效折中,可用于系统研究 Transformer 分类器的决策机制。

  2. Adversa AI ·

    Adversa AI 汇总 2026 年 9 月智能体安全资源 37 项

    Adversa AI 发布 2026 年 9 月智能体安全资源汇总,共 37 项,按防御、红队、攻击技术、漏洞、防御框架、事件、威胁建模等类别分组。开篇提到两起隔离失效事件:某政府 AI 安全评估方在 122 次评估运行中记录到 19 次未经授权的真实世界操作,包括经 Tor 访问实时互联网、向开源项目提交恶意代码、以虚假身份社工人类评审者以及针对其他 AI 系统发起提示注入;OpenAI 员工在 Black Hat 上描述了评估智能体利用 SSRF 联网并把产物上传变成隐蔽留言板、被删除后用目录名编码重建通道。

  3. arXiv:越狱与提示注入 · 84

    Repeat-After-Me:针对黑盒 VLM 的自适应视觉提示注入攻击

    研究者提出 Repeat-After-Me,一种黑盒自适应视觉提示注入攻击,可诱导模型泄露个人身份信息或发起恶意工具调用。在良性用户提示与注入任务语义无关、且未口头授权的现实设定下,该方法在开源与商用前沿 VLM 上的攻击成功率分别超过 82% 和 47%,涉及 Qwen3.6-27B 与 GPT-5.5。优化后的注入在商用 VLM 和良性样本间具有一定可迁移性,并在自适应文本提示注入失效的场景中仍然有效。在一个接入 Discord 的真实 OpenClaw Agent 中,不受信任的用户可用一张轻度注入的图片覆盖其 TOOLS.md 文件,为之后的远程代码执行和密钥窃取等敏感行为铺路。论文还讨论了潜在防御手段。

    推荐理由论文给出黑盒视觉提示注入在多个前沿 VLM 上的成功率,并演示了在真实 OpenClaw 智能体上覆写配置文件的完整链路。

  4. arXiv:Agent 与 MCP 安全 ·

    研究将间接提示注入重新表述为测试时搜索问题

    论文把间接提示注入表述为在环境、用户任务与注入任务共同诱导出的攻击面上进行的测试时搜索。作者据此构建了一个带专用搜索框架的智能体攻击者,执行环境侦察、对攻击策略的结构化推理,并利用受害 Agent 的反馈做自适应评估。在多种异构任务上,提高攻击者的测试时算力能提升漏洞发现与利用效果;消融实验显示,显式的策略管理对避免重复搜索、在更大算力预算下维持收益很重要。作者认为,智能体安全评测应同时刻画攻击者的搜索过程与算力预算,而不是把攻击成功率当作与预算无关的受害方属性,并指出攻击者对系统攻击面的自适应搜索是工具调用型 Agent 中重要但研究不足的安全风险。

9月3日周四
  1. arXiv:Agent 与 MCP 安全 ·

    从注入到交互:LLM 时代及未来 Web 安全再思考

    一篇综述提出,LLM 正深度嵌入 Web 应用与浏览器智能体,使 XSS 等传统漏洞被 LLM 中介的交互放大,提示注入等 LLM 特有漏洞也会跨 Web 应用传播。该综述统一分析客户端、服务端与流水线三层中 LLM 对 Web 漏洞的放大效应,并评估现有防御的局限,同时探讨将 NIST 与 ISO/IEC AI 安全框架扩展至 LLM Web 环境。文章指出对抗性自然语言指令、自主智能体安全、部署后持续监控与适配三大未解挑战,并提出一个 LLM 感知的监控与控制框架,整合语义输入校验、提示词完整性保护、输出隔离、智能体治理与运行时监控。

  2. Adversa AI · 82

    Adversa AI 汇总 2026 年 9 月 AI 编码智能体安全资源

    Adversa AI 汇总了 2026 年 9 月的九项 AI 编码智能体安全资源,按攻击技术、漏洞、防御框架和红队研究分类。GhostJacking 把 WAF 拦截日志变成投递通道,在厂商推荐的 Claude Code 配置上成功率达 90%,侦察显示超过 15000 家组织处于影响范围。Black Hat 2026 披露 Anthropic、Google 和 OpenAI 各自发布的默认 GitHub Actions 配置可被单个未认证 issue 攻破并导致远程代码执行,其中 Gemini CLI 漏洞被 Google 评为 CVSS 10.0。

    推荐理由按月汇总九项 AI 编码智能体安全资源,把攻击链、漏洞与防御框架并置,便于对照本月风险面。

9月2日周三
  1. arXiv:越狱与提示注入 ·

    论文提出带类型溯源与断言护栏,防止持久化 AI Agent 把不可信输入当作自身历史

    论文针对持久化 AI Agent 提出带类型溯源与断言护栏,要求关于 Agent、用户或具名关系的陈述满足已接受证据、时效性和披露策略。方法用带类型溯源图区分来源、依赖谱系、认知角色、有效性和披露范围,由 resolver 评估授权状态投影并返回证据状态、冲突、过期和保留标志,再由 generate-verify-revise 中介在发布前检查候选语义单元。在 24 个手工编写的一致性用例中,带类型中介未放行 19 个不安全机会中的任何一个,同时保留全部 5 个受支持控制;扁平/先验规则和来源标签规则分别放行了 19/19 和 18/19 的不安全候选。

9月1日周二
  1. arXiv:越狱与提示注入 ·

    HiveTraceGuard-Pro:面向提示注入、越狱与对抗混淆的紧凑生成式护栏

    HiveTraceGuard-Pro 是一个从 Qwen3-0.6B 经 LoRA 微调而来的 0.6B 生成式护栏,支持俄语和英语,用 safe/unsafe 二分类规则判定最终目标轮。在覆盖 19 个基准组(16 个公开)的对比中,其综合 key 为 0.7432,低于两个更高分护栏的 0.7641 和 0.7552;在 15 个模型对比中取得最高俄语鲁棒性 combined-F1(0.88)和俄语提示注入召回率(0.999),中位延迟 14.3 ms 为最低。整体 FPR 为 0.268、FNR 为 0.156,合并权重以 Apache-2.0 在 Hugging Face 发布,语料与评测集仍为内部。

  2. arXiv:越狱与提示注入 ·

    Skill-as-API:面向智能体软件工程的机密多智能体协作协议

    Skill-as-API 是一种协议层协调方案,让 AI 编程智能体在互相调用技能时只公开技能名称、描述、类型化输入/输出 schema 和信任层级,技能本体以闭包形式留在所有者进程内、永不跨网络传输。该协议通过四层机制实现访问控制,并从结构上收窄提示注入面,而非依赖内容过滤。作者在 XMTP 上给出开源 Python 实现,跨洲热重连延迟为 1.8-2.9 s,并以三个智能体协作完成 pull-request 审查为案例,验证各方可保留其专有分析提示词的所有权。