跳到正文
今天10月8日周四
  1. 论文追踪 · 收录 · 原文 论文60

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    研究者发现 AP2 智能体支付协议只对交易签名、不约束产生交易的决策,商家可控的商品描述文本即可操纵购物智能体。三类攻击中,Vault Whisper 诱导智能体用他人邮箱查询支付凭证,Branded Whisper 生成内容与展示不符但签名有效的购物车,Selection Whisper 仅用一条库存或产品沿革的事实陈述就把智能体从便宜商品推向更贵商品。在 AP2 示例智能体默认指定的 Gemini Flash-Lite 模型上,三类攻击成功率分别为 90%、56% 和 73.3%;Selection Whisper 在 17 个 Google 模型、3 个无关智能体框架和 Google 消费级助手上均有效,仅 claude-opus-5 以 1.2% 的成功率表现出较强抵抗。

    推荐理由论文把 AP2 支付协议下的提示注入拆成三类攻击并给出跨模型成功率,做 Agent 支付的团队可据此理解签名无法约束决策这一缺口。

  2. 论文追踪 · 收录 · 原文 论文44

    ASPIRE:面向 LLM Agent 的开放式提示注入红队引擎

    研究者提出 ASPIRE,一个面向 LLM Agent 的开放式、行为级漏洞发现红队引擎,用于应对 Agent 检索不可信内容并通过工具行动所带来的间接提示注入风险。ASPIRE 维护一个持续演化的 Agent Security Behavior Graph,用互补的 Explore 与 Exploit 专家发现、验证并泛化以后果为中心的测试;轨迹证据用于更新该图并诊断部分或失败的尝试,跨运行记忆则迁移有效的红队策略。论文称在多个基准上的实验显示,ASPIRE 在后果、注入方法、环境和行为路径上大幅扩展了覆盖范围,同时保持较高的攻击成功率。

  3. 论文追踪 · 收录 · 原文 论文51

    研究者提出 PackHallu:经规则文件提示注入对编码 Agent 发起包幻觉攻击

    研究者提出包幻觉攻击,攻击者在社区共享的规则文件(如 .cursorrules)中注入恶意提示词,诱导编码 Agent 把合法依赖替换为攻击者控制的包。为生成有效注入提示词,作者提出 PackHallu 进化优化框架,利用轨迹级反馈和 LLM 引导的变异迭代改写注入内容。在多个基准、LLM 和 Agent 框架上的评测显示,PackHallu 取得较高攻击成功率,并在不同模型与 Agent 组合间具有较强迁移性。研究认为编码 Agent 易受此类攻击影响,自主编码系统需要更强的安全防护。

10月6日周二
  1. 论文追踪 · 收录 · 原文 论文53

    研究揭示代码注释中的上下文注入攻击面:十款 Code LLM 中招率达 77.4%–92.3%

    研究者提出代码注释中的上下文注入攻击面,测试不安全指令嵌入开发上下文后能否诱导 Code LLM 生成漏洞代码。在十款 3B–13B 开源 Code LLM(四款基座、六款指令微调)和十类 Web 应用弱点上,攻击条件下 77.4%–92.3% 的补全含中等及以上弱点,良性条件仅 1.7%–5.1%。基座与指令微调模型平均漏洞输出率分别为 86.5% 和 84.5%,指令微调后降幅最多 8.1%,且易感性与模型规模或专精方向无明显关联。在易受攻击的输出中,86.2%–91.0% 被评为高或严重级别,去掉基于模式的检测器后效应依然存在。生成后筛查能降低但无法消除风险,最强筛查仍漏掉约三分之一。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文55

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    牛津大学等机构的研究者发现,为每个智能体单独部署 CaMeL 防护不足以保证多智能体系统安全:不可信数据跨越智能体边界后被下游智能体当作可信输入,从而劫持其控制流,作者将这一失效模式称为 boundary laundering,并构造了具体攻击。为此他们提出 multi-CaMeL,在智能体间通信中把可信自然语言指令与不可信数据分离到不同通道,并在运行时保留数据来源信息。在扩展 AgentDojo 得到的 MultiAgentDojo 基准上,multi-CaMeL 将攻击成功率从无防护的 12.9%、单智能体 CaMeL 的 0.2% 降至 0.0%;在 AssetOpsBench 上相对单智能体 CaMeL 平均仅增加 3.2 个百分点的效用损失,且模型能力越强损失越小。作者同时开源了 MultiAgentDojo 及 multi-CaMeL 实现。

    推荐理由论文给出多智能体系统中单智能体防护失效的具体攻击路径,并配套发布可复现的多智能体评测基准与防护实现。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文53

    研究用因果追踪区分间接提示注入中的可读信号与有效干预

    研究通过反事实角色探针、逐组件激活修补和对 AgentDojo 轨迹的干预,分析间接提示注入中角色信号与行为改变之间的差距。角色解码在内容和格式变化下依然存在,在受控 Qwen 测试中先于沿独立估计的角色方向修补带来的工具选择效应。在 AgentDojo 上,从被劫持和抵抗的训练轨迹估计出的方向在行动前和注入片段位置降低了攻击成功率,但在随机位置效果很小。在较长的 Qwen 轨迹中,单点编辑在较后层效果减弱,跨片段和重复编辑能在同一评测集上降低攻击成功率。移除学到的通道子空间仍保留角色解码,但有效干预方向在测试通道间迁移较差。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文39

    论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性

    一篇论文研究基于 LLM 的数字孪生作为增强民主中介时的偏好代表与攻击脆弱性。作者先用巴西在线实验数据检验个性化数字孪生能否预测公民对未见政策提案的偏好,再用瑞士议会数据从议员立法记录构建主题知识图谱,连接 LLM 议员智能体并组成政党级数字孪生,通过智能体审议检验其是否比官方政党沟通覆盖更广的党内观点。最后基于英国 2023 年审议实验数据,分析放大观点、压制意见或改变共识的提示注入攻击,考察攻击效果如何随意见分布和修辞策略变化,并评估结合注入检测、结构化意见表示与强化学习的流程能否提升抗攻击能力。

  5. 论文追踪 · 收录 · 原文 论文53

    论文披露主动式智能体的服务方间接提示注入攻击

    论文提出一种针对主动式个人智能体的服务方间接提示注入攻击,外部服务方无需访问用户私有上下文、无需攻陷智能体或获取额外权限,仅控制与自身目标相关的内容,就能让原本中立的智能体转而推进该目标。作者用目标控制、私有绑定与前瞻支持三个维度刻画这一失效模式,分别决定智能体推进什么、如何把目标与用户关联、以及接下来提供哪些目标相关协助。在三个主动式智能体环境和六个模拟用户模型上,完整攻击在所有环境与用户模型组合中都提升了目标授权,宏观增幅最高达 77.4 个百分点。对照重放显示,正确的用户与目标绑定比单纯增加提案细节更关键;多轮扩展还显示,即便最终未获授权,服务方目标仍能通过改变智能体对用户约束与抵触的回应方式保持影响。

10月5日周一
  1. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文40

    LS-AR 双通道架构:文本目标丢弃可抵御提示注入但引入潜在向量攻击面

    研究者提出 Latent-Steered Autoregressive(LS-AR)双通道架构,通过 FiLM 条件将连续目标引导与离散 token 解码解耦,以解决标准自回归模型无法隔离宏观目标与上下文噪声的问题。在超出上下文限制的长程检索任务(H=1024, W=500)中,LS-AR(Static)实现 100% 目标召回,而参数匹配的基线完全崩溃(0%),同时吞吐量提升约 35%,峰值 VRAM 降低 52.8%。在 Blocksworld 规划任务中,LS-AR(Dynamic)在强制扰动(k=1)下保持 89.0% 完成率,基线为 71.0%,但零样本实体扩展(N 到 N+1)暴露出单向量容量限制(0%)。双通道权限分析显示,文本目标丢弃会建立潜在主导控制,为文本提示注入提供结构性防御,但同时引入潜在向量攻击面。

  2. 论文追踪 · 收录 · 原文 论文60

    研究重测 15 个提示注入检测器:基准分数难以预测 Agent 部署表现

    日本北陆先端科学技术大学院大学(JAIST)研究者 Zhuowen Liu 在论文中重测了 15 个提示注入检测器和 2 个任务感知 LLM 判官,发现公开基准上的检测排名很难迁移到 Agent 实际场景。研究用无 LLM 回放 AgentDojo 与 τ-bench 的真实工具调用构造良性输出,再用差分回放标注注入输出,并在 BIPIA 上对比。BIPIA 上表现最好的 PIGuard 在 1% 假阳性率下只检出 2.1% 的 AgentDojo 注入,而检出 72.2% AgentDojo 注入的 Prismor 在 τ-bench 上只有 15.2%;BIPIA 与 AgentDojo 之间的 Kendall τ 仅 0.01。相反,工具输出上的假阳性率在两个 Agent 基准间保持一致(τ=0.67),范围从 0% 到超过 90%。

    推荐理由论文用 AgentDojo 与 τ-bench 的真实工具输出重测 15 个注入检测器,指出公开基准分数难以预测部署表现。

  3. 论文追踪 · 收录 · 原文 论文53

    COBRA:为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    剑桥大学等机构的研究者提出 COBRA,一种针对计算机使用 Agent(CUA)分支引导攻击的系统级防御架构。作者指出,Dual-LLM 模式虽能保证控制流完整性,但在图形环境中计划必须按运行时网页内容分支,攻击者可构造不可信数据把 Agent 推向预先批准的危害路径,而无需注入新指令。为此作者构建 STEER-Bench,覆盖 9 个领域 101 个任务,测得分支引导攻击对标准 CUA 的攻击成功率为 94.4%,对原版 Dual-LLM 为 89.5%。COBRA 在规划阶段为每个分支预先固定目的地、端点和工具参数约束,由 Branch Resolution Hub 校验运行时分支与参数,并在 HTTP 与 MCP 代理处强制执行。代码已开源于 GitHub。

    推荐理由论文把分支引导攻击归为数据流完整性问题,并给出在 HTTP 与 MCP 边界施加分支级约束的架构,附开源代码与多基准结果。

  4. arXiv · 收录 · 原文 论文67

    研究:跨通道碎片化攻击可绕过 MCP 单通道防御,12 个前沿模型最高 100% 泄露凭据

    密苏里大学堪萨斯城分校的研究者提出跨通道碎片化攻击,将看似无害的载荷分散到 MCP 的两个或三个输入通道,单个通道都不含完整注入,模型却在统一上下文窗口中把它们拼合成凭据外泄。研究在 12 个前沿模型、3 个生产客户端和 6 种载荷上完成超过 15,000 次试验,发现完全抵抗单通道注入(0% 合规)的模型在两通道碎片化下外泄率最高达 100%,包括 GPT-4o、Llama 70B、Composer 2 和 Haiku 4.5。三通道碎片化在生产客户端中进一步扩大受影响范围,Haiku 4.5 在 Cursor 中达到 100%,Sonnet 4.6 和 Opus 4.6 在所测碎片化攻击中未发生泄露(0/20)。研究还展示了价值对齐利用(工具声称的用途本身就需要目标数据)以及通过 VS Code 的 sampling/createMessage 注入持久系统提示。

    推荐理由论文给出跨通道碎片化攻击的完整测量框架与 12 个前沿模型的合规矩阵,部署 MCP 客户端的团队可据此检查自身信任假设。

  5. 论文追踪 · 收录 · 原文 论文56

    MMPIBench:多模态提示注入对六种 Agent 框架的跨框架评测

    研究者提出 MMPIBench,一个可复现的多模态提示注入基准,用同一套攻击、工具集和系统提示词在 LangGraph、CrewAI、AutoGen、OpenAI Agents SDK、Semantic Kernel、LlamaIndex 六种 Agent 框架上运行,覆盖五种基础模型、六种视觉载体和四类攻击目标,共 720 次运行。结果显示攻击完成率约 1%,但被尝试的比例达 12.8%,差距几乎全部在规划阶段被消解,即模型读到注入指令后拒绝执行。模型比框架更能决定指令是否被采纳:Claude Opus 4.8 在 144 次运行中从未尝试攻击并在 59.7% 的运行中识别出注入,Grok 4.3 与 Llama 4 Maverick 的尝试率均为 23.6%。载体方面,渲染 OCR 文本最有效,贡献了 8 次完成中的 7 次;EXIF 元数据和二维码约 88% 的运行中未被感知。

    推荐理由论文用统一的跨框架测试台定位注入攻击在感知、规划、工具调用各阶段被拦下的位置,并给出模型与框架各自的作用。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文42

    Twin Agent:面向权限分离智能体的上下文残差压缩

    研究者提出 Twin Agent,一种受残差编码启发的通用权限分离设计模式,用于抵御来自不可信上下文的提示注入攻击。该设计由两个近似对称的智能体组成:Explore Agent 检查不可信信息,Safe Agent 执行特权操作;Explore Agent 以 Safe Agent 当前上下文为条件,只向其传递关于下一步动作的紧凑提示,从而减少维持任务效用所需的信息量。作者通过测量提示长度变化时效用与攻击成功率的变化,验证了该设计在安全与效用之间取得更好的权衡。在 SWE-bench Lite 的长程软件工程任务以及 AgentDojo、DecodingTrust-Agent 的异构多工具交互任务上,Twin Agent 在保持高任务效用的同时阻止了提示注入攻击,表现优于无防御智能体和权限分离基线。

  2. 论文追踪 · 收录 · 原文 论文67

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    研究者发现 Anthropic、OpenAI、Google 的 API 把思维链以加密块形式交给客户端回传,这些加密块在同一厂商生态内可跨会话、跨用户、跨模型复用。他们把强模型的加密推理块注入同厂商较弱、防护较松的模型(如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6),迫使其逐字转写明文,从而在不直接越狱强模型的情况下提取其推理链。该漏洞衍生四类攻击:绕过反蒸馏机制窃取专有推理、从公开会话日志中大规模提取隐私数据、通过隐藏推理通道获取有害信息、以及在加密块中植入不可见的提示注入。研究者在 GitHub 和 Hugging Face 抓取 6,708 条公开 Agent 轨迹,解码出 315,320 条推理链,恢复 367 项 PII 和 182 项凭据,其中真实用户会话包含 62 个 API key、33 个密码和 30 个邮箱。

    推荐理由论文披露加密推理块可跨会话、跨用户、跨模型复用,并给出对 Anthropic、OpenAI、Google 三家 API 的实测结果与缓解建议。

  3. 论文追踪 · 收录 · 原文 论文43

    论文提出提示注入的七组件结构化分析模型

    Jeremy McHugh 在 arXiv 发表论文,提出用七组件模型结构化描述提示注入,取代逐字记录攻击字符串的做法。模型包含载体、投递向量、隐藏方式、上下文破坏、权限提升、载荷和回传通道七个组件,其中五个属于攻击产物字段、两个属于环境字段。作者认为大语言模型会把不同自然语言表述编译为相同可执行动作,因此标注应追踪攻击者意图(工具目标、sink 与效果)而非表面措辞。该框架整合了 HOUYI 的载荷分解、Promptware Kill Chain 与攻击活动分类法,并把 ReNeLLM 等最小越狱框架视为受限子空间上的投影。论文给出标注规则、可直接映射到行业 CTI schema 的逻辑分析记录,以及 EchoLeak(CVE-2025-32711)和野外恶意软件 AI 规避样本等示例。

  4. 论文追踪 · 收录 · 原文 论文46

    研究者提出 RARE 攻击:LLM 辅助逆向工程中的表示混淆

    研究者提出针对 LLM 辅助逆向工程(RE)的表示混淆攻击 RARE,指出二进制可让数据看起来像指令,或让同一来源的记录看起来像独立证据,使流水线把正确提取的观察提升为指令权限、验证性证据或可信分析状态。作者用 RARE-Bench 以行为校验的干净与对抗二进制测量此类失败,先做 11,520 次调用的探索性研究,再在 20 个新程序和两个模型上测试 RARE-Guard 的授权与证据控制。无运行时控制时,模型在 35/40 对抗案例中提出植入的不安全操作,干净案例为 0/40;仅以数据形式呈现二进制内容后仍有 15 次不安全提议,Tool Authorization 拒绝全部 15 次并授权全部 40 个匹配的分析请求。

  5. 论文追踪 · 收录 · 原文 论文53

    论文:安全路由评测在分布偏移下失效,基线选取偏差被低估

    论文指出,一个主要的安全路由基准在评测数据上挑选作为对照的最佳单模型,这在基准自身设定下无碍,分布偏移下却不成立。在 HELM Safety 上,这一选择代价在随机划分下为 0.003–0.030 的 harm,按类别留出时升至 0.045–0.113,与归因于路由的全部劣势相当;在 AgentDojo 上按整套件留出时上升七到九倍。改用不看测试标签选出的基线、在偏移下评分,路由在这些基准上收益很小:多数情况下路由器直接选用基线的模型,在接近饱和的 AgentDojo 上,完美的预分发路由器最多只值 2 个点的 harm。论文还发现,知道面对哪个模型的攻击者挑选注入模板后,可在留出重跑中让 GPT-5.4 对后到注入的判定识别率降低 19.6 个百分点,独立的词表标签复现了这一下降。

    推荐理由论文量化了安全路由评测中基线在测试集上选取带来的偏差,并给出分布偏移下的评测协议建议。

  6. 论文追踪 · 收录 · 原文 论文50

    Mind2Web-Injection:面向网页 Agent 视觉提示注入护栏的证据对齐评测

    研究者提出 Mind2Web-Injection 基准,用于评估网页 Agent 护栏中的视觉提示注入检测,包含 9,954 组指令与截图配对、指令相关标签、像素级证据框和匹配的图像侧反事实样本。在六个 VLM 上,平均精度几乎相同的两个模型在证据对齐检测(EAD,即既检出攻击又正确定位证据的比例)上相差九倍。为检验判定是否依赖被引为证据的指令,研究者把指令替换为认可该指令的版本,最强的开源定位模型 Qwen3-VL-32B 仅在 58.7% 的情况下返回对齐,而 GPT-5.6-luna 为 99.9%。作者还提出两种免训练干预:ReadGate 在不改变判定的前提下改善定位,CmdCompare 检验显式指令与命令比较能否解决指令侧不一致,并主张分别报告判定正确性、证据定位和反事实响应。该工作被 ECCV 2026 BEAM2 研讨会接收为口头报告。

  7. 论文追踪 · 收录 · 原文 论文56

    SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%

    加州大学伯克利分校研究者提出 SecOPD,用同策略蒸馏为防御微调提供 token 级反馈,替代 DPO、GRPO 等序列级信号。训练时学生模型在含注入的输入上生成 rollout,冻结的初始化模型在去掉注入的干净输入上为同一批 token 打分,与可信任务一致的 token 被鼓励、跟随注入的 token 被抑制。在 Qwen3.6-27B 上,面对 SoTA 自适应攻击 PISmith,SecOPD 的攻击成功率为 9.0%,此前 SoTA 的 Meta-SecAlign 为 94.0%,GRPO 为 61.2%;静态 SEP 攻击下 SecOPD 为 1.3%。在训练未见的 AgentDojo 工具调用场景,SecOPD 为 4.7%,Meta-SecAlign 为 5.5%,GRPO 为 0.7% 但效用降至 82.5%。代码与模型已开源。

    推荐理由论文给出 token 级反馈的防御微调配方,并报告在自适应攻击与工具调用场景下的 ASR 对比,可作防御方案选型参考。

  8. 论文追踪 · 收录 · 原文 论文38

    AgentKernel:面向 Agent 的可信原生操作系统内核

    研究者提出 AgentKernel,一个把安全作为首要设计约束的可信原生 Agent 操作系统,为身份、输入中介、记忆治理和执行控制提供强制且不可绕过的服务。作者认为现有治理方案仍是应用层中间件,与被监控的 Agent 共享同一进程信任边界,因此需要操作系统级底座。AgentKernel 将 Agent 生命周期包进强制执行边界,分为身份、感知、认知、执行四个支柱,分别应对委托滥用、提示注入、记忆投毒和工具误用。其中内核管理的身份支持跨组织协作,分级感知替代单点过滤,受信息流控制的记忆在限制投毒的同时提升检索保真度,语义到内核的执行机制让更宽的工具权限处于不可绕过边界之后。论文共 38 页、5 张图,通过系统比较与安全分析论证该架构可在整个 Agent 生命周期内实施安全约束。

  9. 论文追踪 · 收录 · 原文 论文52

    AgentFlow:面向 LLM 智能体系统的流中心策略语言与运行时防护框架

    研究者提出 AgentFlow,一种以数据流为中心的策略语言与运行时执行模型,用于规定敏感数据在 LLM 智能体系统中可以流向何处。策略定义在带标签的运行时边上,约束哪些工具可接收敏感字段、哪些汇聚点可接收释放的数据,以及何种权限可跨越委派边界,语言支持流规则与路径规则、任务范围能力、受控释放和有状态污点语义。运行时参考监视器介入智能体动作,基于有界 SMT 的验证器对结构化策略片段检查安全属性。原型中七项安全属性每项在 0.5 秒内完成验证,验证器捕获研究中全部植入的不安全策略变体。在 AgentDojo 四个套件的 949 个注入案例上,确认失陷率从 33.0% 降至 0.0%,总体效用从 46.7% 升至 63.3%;在 200 例 AgentDyn Dailylife 基准上,确认失陷率从 73.5% 降至 0.0%,效用基本持平(44.5% 至 43.5%)。

  10. 论文追踪 · 收录 · 原文 论文55

    Counter-GEO-Bench:现有护栏难挡 GEO 虚假信息,C-GEO Guard 将攻击成功率相对降低 47.6%

    清华大学深圳国际研究生院与香港大学的研究者提出 Counter-GEO-Bench,在受控条件下评测针对信息扭曲型生成引擎优化(GEO)的防御:247 条人工核验的查询各配信息保留与信息扭曲两种 GEO 改写,在 Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout 三个受害模型上测量攻击成功率、误报率和答案质量。Granite Guardian、Llama Guard 3 和 NeMo Self-Check 三种现成防御最多只把攻击成功率相对降低 5.7%,Granite Guardian 的降幅不具统计显著性,NeMo 在 Llama-4 上几乎拦下所有正常查询。作者认为这类护栏针对的是违规内容,而 GEO 虚假信息以流畅的信息性文本出现,能直接穿过。为说明这一威胁可以应对,作者给出轻量的片段级对比检测基线 C-GEO Guard,三个模型平均把攻击成功率相对降低 47.6%,答案质量几乎不受影响。

    推荐理由论文用配对改写设计量化了现有护栏对 GEO 虚假信息的失效程度,并给出可复现的检测基线。

10月3日周六
  1. 论文追踪 · 收录 · 原文 论文52

    ZoneClaw 用记忆分区防御 OpenClaw 式计算机使用 Agent 的持久记忆攻击

    研究者提出 ZoneClaw,通过把 OpenClaw 式计算机使用 Agent 的扁平工作区记忆改为带明确权限等级的分层信任区,切断持久化与权限之间的绑定,防御持久记忆攻击。这类攻击中,攻击者只需控制看似无害的外部内容,就能让 Agent 在正常任务中写入有利于攻击者的声明,这些声明随后会支配攻击者从未接触过的正常任务,攻击链从恶意上下文到恶意响应延伸为恶意上下文、记忆注入、恶意执行。ZoneClaw 让外部声明只停留在低信任区,只有跨过显式权限边界才能获得指导行动的权限,且提升时需与攻击者无法直接写入的信任区交叉校验,并通过非对称权限的角色专用进程保证没有进程同时摄取外部内容并对外行动。在四类攻击场景、两种注入设置和四个骨干模型上,ZoneClaw 将攻击成功率从 372/480 降至 6/480,同时在 458/480 次试验中保留实用性,并对部分具备防御感知的攻击者仍然有效。

  2. 论文追踪 · 收录 · 原文 论文39

    Persistent SAE:为语言模型特征学习特定时间尺度

    研究者提出 Persistent Sparse Autoencoders(Persistent SAEs),在标准 SAE 基础上为每个特征学习一个持久性系数,仅靠重构目标就能学到特征特定的时间尺度。实验显示,Persistent SAEs 在保持有竞争力的重构质量的同时学到一组时间尺度谱:短时间尺度(快)特征保持局部可解释性,长时间尺度(慢)特征则累积用于识别当前上下文的信息。在提示注入监控案例研究中,慢特征能保留与注入相关的信号,并在长上下文中保持因果有效性。作者认为这为通过持久稀疏特征解释和监控语言模型提供了新途径。

  3. 论文追踪 · 收录 · 原文 论文58

    研究者提出 MemGhost,对持久化个人 Agent 实现隐蔽记忆注入

    研究者提出隐蔽记忆注入攻击,利用不可信外部内容被静默写入 Agent 持久记忆并在此后作为可信状态复用。为评估该威胁,他们构建 WhisperBench,一个含 108 个案例、覆盖五类风险及事实与偏好投毒的基准,使用真实 IMAP/SMTP 邮件流程和真实邮件 Agent 技能进行全周期评测。攻击框架 MemGhost 通过环境代理模拟持久化 Agent 执行、目标代理将记忆采纳与会话隐蔽性转为密集奖励,再用监督微调和强化学习训练攻击策略,实现单封邮件的一次性载荷生成。

    推荐理由论文提出针对持久化个人 Agent 的隐蔽记忆注入攻击,并给出跨框架、跨记忆后端的成功率数据,可供部署此类 Agent 的团队评估风险。

  4. 论文追踪 · 收录 · 原文 论文57

    研究者提出上下文权限提升攻击,12 款 Agent 框架均受影响

    伊利诺伊大学厄巴纳-香槟分校研究者对 12 款主流 AI Agent 框架的上下文装配机制做了系统安全分析,提出两类新的上下文权限提升攻击:消息角色权限提升(M-CPE)让低权限来源的内容进入高权限消息角色,跨范围权限提升(X-CPE)让攻击者内容持久化到更广作用域的来源中。研究覆盖 Codex、Claude Code、OpenClaw、Gemini CLI、Qwen Code、Kimi CLI、Aider、OpenCode、Cline、Goose、Pi-mono、Hermes Agent,归纳出 16 种攻击向量,并开发自动化分析工具 CoRA,报告 282 个易受攻击的上下文来源。概念验证攻击在 GPT-5.5、GPT-5.4-mini 和 DeepSeek-V4-Flash 上端到端成功,后果包括 Agent 被完全控制、远程代码执行、拒绝服务以及工具或技能调用被操纵。

    推荐理由论文系统梳理了 12 款主流 Agent 框架的上下文装配设计,给出两类权限提升攻击与 16 种攻击向量,部署 Agent 的团队可据此检查自身的上下文来源与角色分配。

  5. 论文追踪 · 收录 · 原文 论文60

    OpenAI 发布 GPT-Red:通过自博弈训练自动化红队智能体

    OpenAI 提出 GPT-Red,一个通过自博弈强化学习训练的自动化红队智能体,用于发现针对前沿大模型的提示注入攻击。攻击者与一组同时训练的防御者智能体对抗,攻击者因诱发有效失败获得奖励,防御者因抵御攻击并完成任务获得奖励。GPT-Red 能可靠攻破 GPT-5.5 及更早模型,在 2025 Q4 间接提示注入挑战赛场景中发现的成功攻击多于人类红队,并能泛化到未见过的环境、防御模型和 harness。它还针对 OpenAI 办公室的 AI 自动售货机系统成功实现改价、下单和取消订单三个目标。OpenAI 用 GPT-Red 生成对抗训练提示来训练 GPT-5.6,称其在多项鲁棒性评测中表现提升,例如假思维链攻击上的防御成功率从 5.2% 升至 95.9%。

    推荐理由OpenAI 公开了自动化红队智能体的自博弈训练方法与攻击效果,可了解攻击面扩展和对抗训练的新路径。

  6. 论文追踪 · 收录 · 原文 论文36

    PACE:为 DeFi 中的 AI Agent 提供策略认证的合约执行框架

    研究者提出 PACE(Policy-Attested Contract Execution),一个插入在基于 LLM 的 Agent 与链上执行之间的交易级授权框架,用于应对 Agent 继承的提示注入风险以及审批无法绑定到最终上链交易的问题。PACE 引入类型化交易意图、确定性策略验证器和签名的 Policy Decision Records(PDR),将获批意图、策略与模拟报告加密绑定到确切的执行字节,并提供重放与过期保护;Solidity 智能账户在链上强制校验 PDR 签名,实测开销为 29,826-31,822 gas。作者将结论限定为可复现基准内的逻辑层安全,而非可直接部署的 DeFi 安全方案。

  7. 论文追踪 · 收录 · 原文 论文56

    研究者对 Google AP2 v0.2 做系统安全分析,识别 48 项威胁

    以色列本-古里安大学与 Intuit 的研究者对 Google 的 Agent Payments Protocol(AP2)v0.2 做了系统安全分析,将交易生命周期划分为五个阶段、归纳出五类部署架构,并用 MAESTRO 框架建模出 48 项威胁,分为五个攻击家族。作者用 AIVSS 对每项威胁按架构分别评分,其中 8 项在至少一种架构下达到 High 等级。由于当时没有公开的完整 AP2 部署,团队自建覆盖全部五类架构的测试床,开发了 5 个 PoC 演示,覆盖全部 8 项高危威胁及其缓解措施,并实现了一个部署感知扫描器,执行静态、跨角色一致性和对抗性检查。分析指出,AP2 主要保护签名后的 mandate 与收据,而塑造交易的签名前上下文(包括 A2A 消息和 MCP 工具调用)不在保护范围内,因此仅凭有效的 mandate 签名并不能保证代理交易反映用户意图。

    推荐理由论文对 AP2 v0.2 的五个部署架构做了系统威胁建模,并给出覆盖 8 个高危威胁的 PoC 与缓解措施,可供实现者对照自查。

  8. 论文追踪 · 收录 · 原文 论文50

    WebMCP-Phalanx:为浏览器内 LLM Agent 工具调用建立信任边界

    研究者提出 WebMCP-Phalanx,一种面向 W3C WebMCP 浏览器内 LLM Agent 工具调用的双层运行时架构,用于补足同源策略在工具来源与生命周期上的不足。第一层以浏览器原生信任锚,通过加密保护的能力凭证把每个工具绑定到注册主体,并在工具生命周期内传播来源标签;第二层把语义检查与特权工具使用分离,无工具调用权限的隔离 Agent(Q-LLM)检查工具元数据、输出和页面内容中的提示注入,通过验证的内容再交给特权 Agent(P-LLM)执行,Q-LLM 内部状态对页面脚本不可见。实验显示,浏览器原生归属机制把撤销与覆写攻击成功率从 100% 降到 0%;双 Agent 运行时拦截了工具描述中嵌入的全部 80 次提示注入尝试,并把工具返回攻击限制在 80 次中的 2 次成功,任务效用与无攻击基线在统计上无差异。

  9. 论文追踪 · 收录 · 原文 论文50

    SkillGuard:面向间接提示注入的 LLM Agent 能力限制机制

    研究者提出 SkillGuard,一种 harness 层的执行约束机制,用于应对 LLM Agent 在间接提示注入下把外部技能输出带入执行上下文的问题。该方法把不可信数据进入状态视为污染事件,用 Skill Impact Graph 表示安全相关状态转移,用 steerability signatures 规定技能参数的可接受控制范围,并通过内联引用监视器介入技能调用;污染发生后按二值、分数或分数流策略计算加权能力限制,且不依赖额外的语言模型推理。分数流限制在相同攻击成功率下比二值限制保留更多能力,两种设置下均不增加模型调用或 token 开销。

  10. 论文追踪 · 收录 · 原文 论文46

    UCM:为网页智能体遮蔽不可信内容以提供安全保证

    研究者提出 Untrusted Content Masking(UCM),一种为网页智能体恢复可信与不可信内容边界的防御方法,用于抵御提示注入攻击。该方法利用网页 DOM 结构足以区分可信与不可信区域这一特性,在不可信内容到达智能体前将其遮蔽,并通过带严格权限隔离的沙箱接口完成交互,使智能体在观察和操作环境的同时与对抗性内容隔离。作者称该方法简单有效,代码已公开。论文作者包括 Kristina Nikolić、Egor Zverev、Javier Rando、Matthew Jagielski、Edoardo Debenedetti、Florian Tramèr。

  11. 论文追踪 · 收录 · 原文 论文51

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    研究者用沙箱合成工作区评测基于记忆的智能体系统中的提示注入,测试 Anthropic Claude Code 和 OpenAI Codex 两款系统,覆盖 Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 和 GPT-5.5 四个模型。结果显示,用不可信外部内容让智能体改写自身记忆文件较为困难,但已植入记忆文件的载荷能成功攻击当前及后续会话。攻击成功率与载荷持久性随系统、模型、对抗目标和多会话攻击序列的不同而差异明显。作者认为持久记忆改变了提示注入的威胁模型,需要在不取消智能体自适应能力的前提下保护记忆更新。

  12. 论文追踪 · 收录 · 原文 论文52

    SkillSecurer:检测并修补 AI Agent 技能中的提示注入漏洞

    研究者提出 SkillSecurer,一个全智能体框架,用于生成、检测、定位并修复 AI Agent 技能中的安全风险。其红方智能体跨九类威胁生成上下文兼容的注入并记录具体改动,蓝方智能体分析完整技能包、给出有依据的证据并提出补丁;在受控实例上,验证器将发现与补丁同记录的注入比对,实现注入级评估。使用最佳后端 LLM 时,SkillSecurer 是唯一实现 100% 注入检测率的扫描器。作者随后分析某技能库中的热门技能,发现超过 17% 的被检技能存在潜在漏洞,并在实测部分技能时触发了真实事件。结论认为,上下文感知的 LLM 分析能提供可靠的注入定位与可操作的修复,而不止于技能层面的标记。

10月2日周五
  1. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文53

    Memetic Trojans:利用社交传染在 LLM Agent 网络中传播对抗载荷

    研究者提出 memetic trojans,一类利用 LLM Agent 转发和放大内容倾向进行传播的网络攻击,与依靠自我复制提示注入的 agent worms 不同,它把对抗载荷嵌入 Agent 有内在理由分享的社交传染内容中。作者从面向 LLM Agent 的社交平台 Moltbook 提取社交传染内容,受控传播实验显示传播力差异很大:最有效的传染内容在约 50% 的后续 Agent 发帖中被转发,获赞率为平均帖子的 2.5 倍,其 memetic trojan 版本基本继承这些特性。Monte Carlo 攻击模拟显示,memetic trojans 将预期曝光量最高放大 3.19 倍,网络结构与放大机制强烈影响传播,产生接近全网曝光的重尾结果。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文52

    A2A-TIBA:针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    研究者提出 A2A-TIBA,一种把间接提示注入与绕过规避结合的 Agent 攻击原理,利用 A2A 等智能体交互协议把远程对等方发来的任务当作合法请求这一特性,通过植入、命令、外传步骤诱导目标 Agent 部署回调交互程序,再由攻击者绕过 Agent 下发命令。为更细粒度评估防御,作者设计 GDA Measurement 红队测试方法,通过 LLM 网关做原始上下文捕获、双重数据保存和基于 Agent 的自主评判,并把单一攻击成功率扩展为语义拒答率、语义突破率、拦截率和穿透率四类结果(Class A/B/C/D)。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文20

    A-IDS:面向智能体流程的证据驱动运行时入侵检测系统

    该论文提出 Agentic-Process Intrusion Detection System(A-IDS),将智能体流程本身作为监控对象,通过比对证据支持的观测与受治理且带版本的期望基线来检测工作流状态、授权、通信及强制事件的偏差。其概念贡献在于动态到期期望、可见性与三值匹配分离、显式的未解决观测状态以及区分证据地位与操作影响的有界判定,并将监控平面自身视为攻击面——当对抗内容经合法观察路径抵达语义证据生产者时可构成威胁。该工作属概念层面,未实现原型、未提供经验检测性能,也不做因果归因或强制执行。

10月1日周四
  1. 论文追踪 · 收录 · 原文 论文50

    TraceSafe-Bench:评估 LLM 护栏在多步工具调用轨迹上的表现

    研究者提出 TraceSafe-Bench,用于评估 LLM 护栏在多步工具调用中间轨迹上的安全性,覆盖提示注入、隐私泄露、模型幻觉、接口不一致等 12 类风险,包含 1000 多个执行实例。团队评测了 13 个 LLM-as-a-guard 模型和 7 个专用护栏,得到三点结论:护栏效果更多取决于结构化数据处理能力(如 JSON 解析),与结构化到文本基准强相关(ρ=0.79,p<0.01),而与标准越狱鲁棒性无关联;轨迹检测准确率不随模型规模单调提升,通用 LLM 持续优于专用安全护栏;在原生上下文范围内检测准确率随轨迹变长而提升,但在极端长上下文场景下因过度拒答而下降。该工作已被 COLM 2026 接收。