Agent 安全 · 论文

• 一句话定位：本文研究了多模态模型中对抗输入在被从上下文中移除或掩蔽后，其攻击影响能否通过后续 token 的 KV 缓存持久存在。
• 要解决的核心问题：现有智能体安全部署假定攻击严格依赖恶意输入在提示词中的实时呈现，上下文管理或安全过滤将其移除后即可消除风险；作者质疑了该假设在保留 KV 状态机制下的有效性。
• 方法要点：提出了持久性攻击概念及 P-VMI 方法，通过结合首轮良性锚点监督与掩蔽后经由保留 KV 缓存反向传播的目标损失，使用 APGD 直接优化输入以将恶意指令隐蔽写入后续缓存。
• 核心实验结果：
  • 在 Qwen3-VL-8B-Instruct 上，P-VMI 在注意力掩蔽下仍能达成最高约 90% 的目标成功率（Figure 4 中 party 达 0.92），而未优化的原始 VMI 成功率为 0%。
  • 在上下文压缩保留摘要 KV 缓存的设定下，即使图像仅在首轮出现且后续对话被丢弃，平均成功率仍达 70% 至 89%（Figure 7）。
  • 缓存交换因果消融显示固定文本时仅对抗缓存能触发攻击，且残差流单一线性方向能以 0.91 的合并 AUC 预测攻击成败（Figure 8）。
• 作者的结论与启示：作者认为仅从提示词中移除不可信输入是不充分的，保留的 KV 状态构成了可被利用的攻击面；完全重新计算 KV 缓存虽能阻断该通道，但会牺牲保留缓存的效率收益，亟需针对保留状态安全性的新型防御机制。

• 论文定位：论文研究企业多租户 AI 智能体共享向量记忆库时，由于嵌入空间语义接近而导致的跨用户记忆非对抗性泄漏与主动利用风险。
• 要解决的问题：现有智能体记忆系统通常将用户数据混存在同一向量库中并通过软元数据过滤，作者指出这打破了多租户物理隔离，使得普通余弦相似度检索便可将他人的隐私记忆注入当前用户会话。
• 方法核心：形式化跨用户可采纳性失效，构建覆盖 4 级组织距离（T0–T3）与 4 种敏感业务场景的基准集，对比被动泄漏与基于常识角色构造的主动桥接攻击，并评估多层缓解机制。
• 核心实验结果：
  1. 在 MiniLM-L6-v2 池化检索下，同团队 T0 被动泄漏率为 70% [40%, 89%]，同部门 T1 和跨部门 T2 达 90% [60%, 98%]，而跨公司 T3 降至 10% [2%, 40%]（Table 3）。
  2. 主动构造记忆在 MiniLM 下实现 90–100% 的 top-k 命中率，平均检索分数比有机基线提高 +0.416 至 +0.511（Table 2）；在薪酬场景下仅需领域常识即达 90% 命中率，逼近逐字抄袭上限的 100%（Table 10）。
  3. 端到端检索生成导致 Gemini 2.5 Flash 回答污染度升至 5.00/5（满分 5 分，干净基准为 1.00），Claude Sonnet 4.5 达 4.67/5，且受污染回答被判定为同等或更有用（Table 5）。
  4. 后检索硬所有权门控（M3）将攻击命中率降至 0% 并将两款模型的回答污染度完全恢复至 1.00/5（Table 7、Table 8），平均检索延迟开销仅增加约 1.4 ms（Table 14）。
• 作者结论与启示：作者认为在共享向量库中仅凭语义相似度无法界定数据访问权限，当共享范围扩大至恶意成员时元数据过滤亦会失效；系统设计者必须在向量存储、嵌入及检索后实施分层防御，并联合评估检索架构与下游模型。

• 论文定位：论文提出了 StegoMemory，系统评测大语言模型智能体持久化记忆被用作跨会话隐写隐蔽通信信道的安全风险。
• 解决的核心问题：现有安全评估主要关注显式有害内容与提示词注入，忽视了攻击者利用良性交互在记忆中隐写编码并跨会话重构机密的信息流威胁。
• 方法核心要点：通过主副任务配对与两会话隔离协议，测试 7 种隐写机制在 13 个模型中的编码、记忆写入持久化及后续良性检索恢复全流程，并配合任务完成与安全合规监视。
• 主要实验发现：
  1. 在全基准 14,000 次试验中，20.1% 实现了合成机密的确切匹配恢复，且其中 71.4% 同时通过任务完成与独立安全监视（占全试验的 14.4%）。
  2. 13 个模型中有 12 个显示信息损耗集中在记忆写入持久化阶段而非检索阶段（写入阶段存活率为 29.8%，检索可恢复为 25.4%）。
  3. 模型低拒答率不等于高正确编码率，较弱模型在未拒答时大量产生格式错误编码（全模型平均格式错误率为 23.5%，拒答率为 20.6%）。
• 作者结论与防御启示：作者认为持久化记忆应被视作安全边界而非被动存储介质，单靠表面响应监视无法保证信息流安全，防御应优先部署在记忆写入接口处，实施出处追踪、规范化与跨会话信息流审计。

• 定位与核心问题：研究黑盒部署下智能体专有技能通过执行轨迹产生行为侧信道泄露的风险。
• 要解决的问题：AaaS 平台与开发者将高价值技能保留在私有后端，但人工干预与监督所需的轨迹可见性构成了行为侧信道；现有基于显式提示词的提取攻击容易被防御规则拦截，缺乏从良性交互中推断隐藏技能的方法。
• 方法要点：提出 SigLeak 框架，基于任务多样性与决策密度设计良性诊断探针，并通过对比技能启用与禁用两组配对执行轨迹分离技能签名，经过初始合成与差异引导细化两阶段重构专有技能。
• 关键实验结果：
  • 在 5 个评测场景中，SigLeak 重构技能使智能体平均成功率相对技能禁用基准提高 6.88 个百分点（据 Table 1）。
  • 在 SkillGuard5 提示防御下，对抗性基线 BBS 恢复内容为零，而 SigLeak 在细粒度 F1 和召回率上均取得最高综合表现（平均 F1 22.8%，召回率 20.1%，据 Figure 4a）。
  • 在同领域 3 个 arXiv 技能区分测试中展现出对角线占优的特异性，read-arxiv-paper 技能匹配度达 19.64% F1，对无关技能匹配度低于 4.17%（据 Figure 4b）。
  • 迭代细化在第 2 轮达到峰值，成功率升至 76.17%、细粒度 F1 升至 19.57%（据 Figure 4c）。
• 作者结论与启示：作者认为，即使隐藏技能文件并配置提示词防御，专有技能依然会通过执行行为产生侧信道泄露；未来防御需要在保障人工监督可见性与遏制行为推断之间寻求平衡。

• 研究定位：该研究针对持久状态化 AI 智能体的检查点与回滚（C/R）机制，探讨了状态还原过程中的系统安全性。
• 核心问题：随着智能体运行周期延长，C/R 成为从故障中恢复的关键手段；但现有机制仅关注状态本身的正确恢复，忽略了跨越恢复边界的安全依赖，导致恢复后的执行可能进入历史中从未合法共存的状态。
• 方法要点：作者将现有 C/R 归纳为框架、工作区和 OS/VM 三类恢复边界，提出了包含多进程与外部世界的执行模型；形式化定义了执行连续性概念，提炼出内部覆盖不全（SF1）、内部状态不一致（SF2）、外部状态不匹配（SF3）、无约束非确定性重放（SF4）和未记录外部效应（SF5）五类故障模式；并设计了集收集、分析、检查与原生验证于一体的多智能体分析管线。
• 关键实证结果：
  1. 在 TerminalBench 与 AgentBench 的 1735 次执行中，SF1 和 SF4 最普遍，出现率分别达 67.2%（1166 次）与 67.7%（1174 次）；SF5 因评估任务多为本地操作仅占 2.3%（40 次）（据 Table II）。
  2. 针对系统级沙箱的 E2B 未观察到 SF1 与 SF2；而仅恢复工作区文件的 Hermes 和 Cline 暴露出大量 SF2 故障，在两基准上分别出现 240 次与 249 次（据 Table II）。
  3. 在包含 96 个持久外部动作的微基准中，调整执行与提交顺序均无法解决恢复鸿沟，先执行后提交与先提交后执行的失败率分别为 93.8%（90 次）和 96.9%（93 次）（据 Table IV）。
  4. 构建的 3 个真实端到端攻击与 30 个基于恶意 skill 的测试用例均攻击成功，且未被现有恶意 skill 检测工具拦截。
• 作者结论与启示：作者指出正确恢复检查点内容并不等同于安全的执行恢复，回滚极易破坏支撑安全决策的上下文与依赖关系；未来的智能体恢复机制必须将恢复视为跨组件的安全边界，通过显式状态绑定、事务一致性与幂等协调机制保障恢复安全性。

• 一句话定位：提出了通过大规模自博弈强化学习训练的自主红队智能体 GPT-Red，并将其用于前沿大模型 GPT-5.6 的对抗鲁棒性训练。
• 要解决的问题：现有大模型对抗训练依赖规模受限且静态的人类或提示驱动攻击数据，容易发生过拟合并被自适应攻击绕过，亟需具备自适应搜索与持续进化能力的自动化红队生成体系。
• 方法要点：为攻击者提供 terminal 与 stateful defender_model 工具以支持推理期搜索；构建覆盖工具调用、本地文件、网页浏览和多模态渲染的现实红队强化学习环境；采用多防守者种群的自博弈强化学习训练，通过非对称奖励驱动攻防双方共同进化并防止策略坍缩。
• 核心实验结果：
  1. 在 IPI Challenge 留存间接提示词注入任务上，GPT-Red 在 100x 计算量下 ASR 超过 80%，高于人类红队与 GPT-5.5 基线（Figure 1）；
  2. 针对 OpenAI 办公室内真实 AI 自动售货机系统 Vendy，GPT-Red 达成了低价改价、高价新品下单和取消订单三项实际恶意目标（Figure 9，第 11 页）；
  3. 引入 GPT-Red 样本进行对抗训练使 GPT-5.6 在 Fake CoT 攻击下的防御鲁棒性从 GPT-5.1 的 5.2% 提升至 95.9%（Figure 13），在留存攻击、数据集和领域的鲁棒性分别达到 72.0%、56.1% 和 89.1%（Figure 11）。
• 作者结论与启示：作者认为攻防自博弈为模型安全提供了自我提升路径，但多模态、多轮对抗以及防范人类可能挖掘出的新攻击类别仍是未来持续探索的方向。

AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

• 论文定位：该论文是一项关于工具使用推理智能体的安全实证研究，阐明智能体安全是由模型与解码harness共同决定的复合属性。
• 核心问题：研究间接对抗输入能否通过篡改分词边界消除思维链推理，从而打破基于推理审查的安全监控假设，并分析下游工具调用解析器对动作执行的控制作用。
• 核心机制：攻击者在输入中注入模型自身的保留控制标记，构造一个预先闭合的空 analysis 通道，诱导分词器将其解析为已完成的推理轮次，促使模型跳过思考直接生成工具调用；同时解析器对缺失闭合标记的宽容匹配使得截断调用仍能触发。
• 关键定量结果：在 gpt-oss-20b 上，该注入使 40 个普通措辞任务的平均推理从 52.5 token 降为 0 且工具调用全部触发（Table 1）；在 48 个恶意任务上使规则和跨家族大模型监控器的检出率从 1.00 降为 0.00，并将 39.6% 的拒绝转变为成功外传（Table 3）；Gemma 模型在相同生成下仅因解析器不同而呈现 0% 与 100% 的成功率对立（Table 4）。
• 防御与规避发现：输入清洗需采用替换而非朴素删除以防拼接新触发词（Table 6）；空推理检测绊线可被单行良性诱饵自适应绕过并达成 1.00 的外传成功率（Table 7）。
• 结论与启示：作者认为不能单凭思维链监控保障智能体安全，防御者必须将推理审查与动作级参数检查相结合，并在解码harness中实施严格的输入清洗与解析器加固。

• 研究定位与核心问题：论文针对大模型智能体在执行前依据语义匹配分配技能的机制，分析了无需显式指令即可偏置技能选择的隐式攻击面，指出现有显式提示注入易被审查识别的问题。
• 核心方法设计：提出了双端协同操纵方法 ISM，通过跨请求频次与任务相关性提取任务线索以扩大覆盖面，注入罕见技术钩子拉开与同领域技能的区分度，并利用四大语义关系桥进行受限改写，使提示词自然化并规避人工与检测器审查。
• 主要实验结果：
  1. 在 8 个选择器模型与 4 个任务领域中，ISM 将宏观平均目标选择率从 Native 的 15.2% 提升至 63.5%（绝对提升 48.3 个百分点，Table 1）。
  2. 在匹配对比中，ISM 达到 73.5% 的选择率，仅比显式引导 Explicit Steering（83.3%）低 9.8 个百分点（Figure 7(a)）。
  3. 人工评审对 ISM 的拦截率仅为 2.9%（显式引导为 91.4%），5 个大模型审查器的平均通过率达 82.9%（Figure 8, Table 5）。
  4. 现有规则防御中，Prompt Guard 2 与 PIGuard 防御后 ISM 的目标选择率仍分别残留 47.8% 和 46.9%，且伴随 26.5% 和 37.5% 的良性误报率（Figure 9）。
• 结论与启示：作者认为，技能选择环节决定了哪项功能进入智能体的下游执行流，应将其视作关键的安全边界；单纯依赖文本级检测或显式指令识别无法有效防御基于语义匹配的隐式操纵，未来的智能体安全架构需从选择完整性出发设计联合防御机制。

• 研究定位：该研究针对个人大模型智能体在协作交互中的隐私保护问题，揭示了依赖提示词进行内部推理防御的结构性脆弱性，并提出了基于信息流控制的系统层防御。
• 核心问题：现有防御将隐私判断交由智能体在攻击者可控的对话上下文中进行，使得防御执行点与攻击面重合，攻击者可通过任务重构（CWL）、省略披露（SOA）和跨通道解耦（CDA）绕过检查。
• 防御机制：FLOWSEAL基于数据溯源对敏感记录打标，在工具调用边界部署独立代码拦截器执行三级格策略，并借助隔离的LLM内容检查器做语义去分类，辅以协作API引导智能体正常交互。
• 关键实验结果：在SPR基准（DeepSeek-V3.2）上，FLOWSEAL将CWL的条目泄漏率从SPR-D2的52.2%降至0.5%，SOA从75.6%降至2.3%，CDA从43.8%降至2.2%；良性任务实用率保持在72.4%；在真实Gmail与Notion的MCP测试中将SOA泄漏率降至0.0%。
• 消融与开销：工具拦截器是防御核心（禁用后CWL泄漏率回升至28.4%）；相较无防御设置，FLOWSEAL每轮仅增加0.017美元成本与37%的延迟。
• 作者结论与启示：作者认为，通过将安全执行移至对抗性重构无法触及的外部层，智能体可以获得更稳定的隐私保护，未来需推动操作系统、工具层与模型对齐的多层纵深防御。

• 核心定位：论文提出了 JailbreakSkill，这是一个将自动化红队攻击方法表示为可复用且持续演化的智能体技能的黑盒越狱框架。
• 解决的问题：传统红队方法往往将改写逻辑与具体工作流或提示词深度绑定，无法独立调用与修改，且历史攻击失败的经验难以转化为可复用的独立攻击能力。
• 方法设计：将攻击能力划分为改写、失败分析与演化三类标准化技能；Stage 1 利用基于风险类别的 UCB 算法在有限查询预算内自适应调用初始技能并早停；Stage 2 聚合未解决的失败轨迹，通过失败分析技能诊断模式，驱动细化、组合或发现生成新技能，并经残差池验证后入库。
• 关键定量结果：在 AdvBench 和 HarmBench 上，Stage 1 UCB 调度取得 72.0% 与 68.1% 的宏平均 ASR@10，平均查询次数为 4.14 与 4.63 次（Table 1, Table 2）；Stage 2 演化使五类模型的宏平均 ASR 提升至 74.2% 与 67.9%，其中对 GPT-5.4 在 AdvBench 上的 ASR@30 提升至 62.5%（Table 3）；演化出的部分技能在未见模型 DeepSeek-V4-Pro 上取得 40.6% 的平均 ASR（Table 4）。
• 作者结论与启示：作者认为自动化红队应当从重复搜索孤立的对抗提示词，转向维护和积累可跨任务与跨模型复用的模块化攻击技能库。

• 研究定位：针对基于大语言模型、需要多步工具调用的长任务智能体系统，研究兼顾高隐蔽性与执行可控性的新型提示词注入攻击机制与评测基准。
• 核心解决问题：化解现有直接注入因意图过于显式易被安全审查拦截、而分布式间接注入因长序列累积误差导致执行脱轨的固有矛盾。
• 方法关键设计：提出 ECLIPSE 框架，在离线沙盒中利用影子智能体合成并双阶段验证工具链，渲染为自然的单轮隐蔽用户请求；在工具侧通过静态工作流编码（SWE）改写描述建立状态依赖，并利用动态轨迹校正（DTC）在执行偏离时注入残差修正信号。
• 关键定量成果：在自建的 120 项长任务基准 LASE-Bench 上，ECLIPSE 对 DeepSeek 的无防御 ASR 达 96.7%、在外部安全过滤下达 69.2%（高出最强基线 27.5 个百分点，Table 2）；在 Claude 4.8 Opus 带防御下达 62.4%（最强基线仅 0.8%，Table 2）；在最新闭源模型 GPT-5.6 Luna 和 Claude Sonnet 5 带防御下分别达 52.5% 与 60.0%（Table 3）。
• 迁移性与防御表现：在原生智能体系统 OpenClaw 与 Hermes 上，带防御 ASR 分别达到 61.7% 与 55.8%（Table 6、7）；而在面对输入审查、工具边界隔离与轨迹监控防御时，仍能维持 43.3%–85.8% 的 ASR（Figure 6）。
• 作者结论与启示：作者认为单点或局部的输入与工具过滤难以防范此类将恶意意图跨输入端、工具元数据与多步执行轨迹解耦的攻击，未来的智能体安全防御必须具备跨越多个信息源联合推理的能力。

• 研究定位：针对长生命周期智能体中用户批准持久化存储带来的安全隐患，论文提出了残余权限重放（Residual-Authority Replay）攻击框架。
• 核心问题：传统权限控制存在时序盲区，用户在良性上下文中做出的单次批准被转化为长期生效的机器规则后，脱离了原有的任务背景，形成可被后续攻击无感复用的残余权限。
• 方法设计：通过逆向分析智能体授权机制与代码实现，先推导出攻击目标所需的敏感操作权限，再利用良性交互诱导用户合法批准并持久化该权限，最后在对抗性上下文下触发目标动作并重放权限绕过确认。
• 关键实验结果：在 508 个 AgentDojo 案例中，良性历史授权使受影响模型在 h=64 时的 ASR 达到 0.114–0.351（相比新鲜状态下的 0.000），其中 Gemini-3.1-Flash-Lite 增幅达 35.1 个百分点；在 55 个 Terminal-Bench 真实案例中，三款代码智能体的 ASR 平均增加 24.9 个百分点。
• 细粒度与防御表现：将授权精确至具体资源时仍存在 0.012–0.039 的 ASR，而任务感知防御 Progent 将 ASR 压制在 0.009 以下，PAuth 与禁止重放策略可将 ASR 降为 0。
• 结论与启示：作者指出持久化授权有损地编译了人类同意，单纯收紧匹配粒度无法根除授权与执行在时间上的脱节，未来的智能体授权机制需要在保留复用效率的同时对上下文环境绑定进行动态重新验证。

• 论文定位：该研究从部分可观测状态控制视角研究基于工具调用的语言模型智能体安全，提出了状态控制形式化框架 SEAD 及相应的攻击方法 DART 与预执行防御方法 SAGE。
• 面临的核心问题：在工具智能体中，攻击者可将危害拆解为看似良性的多步操作，危害最终体现为外部环境状态的持久改变；而各角色仅具有部分可观测性，缺乏环境状态证据导致无法区分合法准备操作与有害越界。
• 核心方法设计：攻击方法 DART 在已执行前缀树上展开搜索，利用工具执行的真实环境反馈指导分支扩展；防御方法 SAGE 在待执行动作生效前介入，通过有限步私有只读环境查询获取状态证据，消除状态歧义后再做放行或拦截决策。
• 关键实验结果：在 187 个恶意任务上，DART 在 4 个目标模型上的 Semantic ASR 达到 43.9%–73.3%，Hard ASR 达到 33.2%–54.7%，较对应最佳基线分别提升 18.8–35.9 和 8.1–17.9 个百分点（Table 2）；在 75 任务子集的离线评测中，SAGE 取得 95.79% 的良性通过率与 34.55% 的精确闭环拦截率，综合指标 F1 达 50.78%、F2 达 72.86%（Table 3）；在线防御中，SAGE 将 DART 对 GPT-5.6 Luna 的 Hard ASR 从 48.0% 降至 4.0%（Figure 3），并在未参与训练的 PostgreSQL 与 Web 任务中展现出跨领域防御能力（Table 5）。
• 作者结论与启示：作者认为，工具调用将智能体安全转化为围绕关键状态转移的部分可观测控制问题；单纯依赖对话语义或孤立动作难以可靠判断危害，将环境状态证据与执行反馈纳入攻防闭环是提升智能体安全评估与防御能力的关键路径。