FragFuse：通过基于记忆的查询碎片化与融合绕过大语言模型 Agent 的访问控制

核心问题：配备长期记忆的 LLM 智能体，其访问控制只检查当前查询，普通用户能否通过正常交互绕过它执行被禁止的任务。

• 场景与重要性：LLM 智能体越来越多地配备长期记忆以支持复杂任务、个性化和领域适应，同时平台为防滥用部署了访问控制（如 GuardAgent、AGrail）。作者称，记忆引入了一个时间通道，使攻击效果依赖历史交互而非当前查询。
• 现有机制的不足：作者称，现有访问控制机制只检查当前用户查询，隐含假设违规意图会显式出现在查询中，因此可被基于 LLM 或智能体的检查器发现。
• 核心观察：违规内容可以在早期交互中以良性外观写入记忆，之后通过记忆检索被取出并融合进后续攻击查询，最终查询中不显式出现违禁内容。
• 论文提出：作者提出 FragFuse，自称首个利用长期记忆时间通道绕过智能体访问控制的攻击，包含三阶段流水线和在代理模型上离线优化融合指令的方案，并评测了提示注入检测、困惑度检测等防御。
• 威胁模型：
  • 目标：(a) 绕过访问控制不触发拒绝；(b) 诱导智能体按原始违禁意图执行任务。
  • 知识：知道公开的访问控制策略；不知道其内部实现（提示词、模型参数、执行流程）；知道记忆检索一般基于查询相似度，但不知相似度度量、嵌入模型、检索条数。
  • 能力：普通用户，无特权访问；不能操纵智能体代码、执行环境或记忆库；只能通过正常交互；可观察查询是否被拒绝（被拒时无执行痕迹）。
  • 受害系统：配备通用长期记忆机制、由独立部署的访问控制模块保护的交互式 LLM 智能体；记忆库无需跨用户共享。

智能体访问控制

• GuardAgent（Xiang 等，2025）——基于知识推理的智能体护栏，例如按用户档案拦截未成年购酒请求；本文在 RAP 上将其作为被绕过的访问控制之一。
• AGrail（Luo 等，2025）——终身智能体护栏，可拦截高风险系统操作；本文在 SeeAct 和 OSAgent 上将其作为被绕过的访问控制。
• ShieldAgent（Chen 等，2025）——通过可验证安全策略推理保护智能体，含事后动作检查；本文在 InspAgent 上将其作为被绕过的访问控制。

LLM 智能体的记忆机制

• 作者将记忆形式化为查询-执行对的索引集合，含检索、记忆增强执行、写入三个操作；RAP（Kagaya 等，2024）、EHRAgent（Shi 等，2024）、SeeAct（Zheng 等，2024）等采用这种通用结构。
• 更复杂的记忆设计（如 A-Mem、Mem0）在检索时考虑记录间依赖；作者选择通用记忆设定以保证跨架构泛化性，并在消融中评测高级记忆机制。

基于记忆的攻击

• AgentPoison（Chen 等，2024）——显式触发后门攻击，向记忆库注入优化的恶意记录。
• MINJA（Dong 等，2025）——隐式触发后门攻击，普通用户通过正常交互投毒记忆，改变受害用户未来查询的执行。
• MEXTRA（Wang 等，2025）——通过智能体输出泄露记忆记录，暴露隐私风险。
• 论文指出这些攻击假设记忆库可被攻击者直接访问或全局共享，且目标是操纵未来查询或泄露记忆；本文目标是绕过访问控制并保留原始违禁意图，且不依赖这两条假设。

基线与基准：由于 AgentPoison、MINJA 目标不同，作者自建基线——在违禁查询中直接注入绕过指令（附录 G）。评测基准为 WebShop、Mind2Web-SC、Safe-OS、AgentHarm；附录 A 还在 RAP 上与提示混淆方法 CRP、ArtPrompt 对比（Table 8）。

作者将本文定位为：针对访问控制绕过这一不同目标、在更弱假设（无记忆库访问、无跨用户共享）下的首个此类攻击（作者称）。

整体思路：不直接发出违禁查询 q，而是通过两次正常交互利用记忆的时间通道——先把触发访问控制的敏感内容以良性外观写入记忆，再发另一个查询检索该记录并在执行时融合还原违禁意图。FragFuse 的三阶段流水线见 Figure 1。

阶段 1：敏感片段发现

• 用基于 LLM 的 FragExtractor 迭代提取：每轮输入当前查询和公开策略规则，输出一个候选敏感片段，用预定义标记（默认一对尖括号）在原位替换，生成掩码查询。
• 将掩码查询提交给受访问控制保护的智能体，观察接受/拒绝信号；若仍被拒则继续迭代，直到被接受或达到最大迭代次数（主实验设为 3，作者称超过三轮掩码会扭曲查询语义）。
• 输出敏感片段集合和最终掩码查询 qmask；FragExtractor 的完整提示词见附录 N。

阶段 2：载体构建与注入

• 载体查询 qcar 主体是预选的、已知能通过访问控制的良性宿主查询 qhost，便于后续攻击查询按相似度检索到该记录。
• 敏感片段按词级拆分并用同样标记封装后附在 qhost 后，即 q_car = [q_host, v₁: f₁, …, v_ℓ: f_ℓ]；词级拆分是因为部分片段单独出现仍会触发拒绝。
• qcar 通过正常交互提交，绕过访问控制后由智能体自主生成并存入记忆记录。

阶段 3：片段检索与融合

• 攻击查询由三部分组成：与载体相同的宿主查询 qhost（保证基于相似度的检索命中）、融合指令 Ifuse、掩码查询 qmask，即 q_att = {q_host, I_fuse, q_mask}。
• Ifuse 指示智能体从检索到的记忆记录中提取标记封装的片段并逐一替换回 qmask；最简单形式可手工编写，论文进一步对其优化。

融合指令的代理优化

• 由于攻击者无法访问智能体内部，作者在代理 LLM 上构造代理查询融合任务：输入含 qcar、qatt 和智能体功能描述的模板，以生成融合查询与原违禁查询 q 的语义相似度衡量融合成功。
• 优化目标为最小化检索损失与融合损失之和，约束为连贯性损失不超过阈值 ηcoh（取良性查询损失分布的第 75 百分位），以保证攻击查询对困惑度防御保持流畅；三个损失分别衡量 qatt 与 qhost 的语义距离、代理模型融合输出与 q 的语义对齐、qatt 的困惑度。
• 用遗传算法求解：种子为每域 3 条手工设计指令、经 GPT-4o 改写扩展到 10 条；候选经改写、交叉、变异生成；种群规模 20、精英 5、最多 10 代；代理模型为 GPT-4o，相似度用 all-MiniLM-L6-v2 嵌入余弦，困惑度用 GPT-2 计算；优化数据集 Q 含 50 条查询（25 良性、25 违禁），掩码用 NER 分段加随机选 2–3 个片段，全程离线、不接触目标智能体。
• 第 5.4 节进一步把标记 v 与 Ifuse 联合交替优化。

成功判定

• BSR：载体查询和攻击查询都通过访问控制的比例；TSR：在绕过成功的实例中任务执行成功的比例；E2E-SR：既绕过又完成任务的实例占全部攻击实例的比例。

实验设置

• 被测智能体与基准：RAP/WebShop（采样 200 任务，100 良性 100 违禁）、SeeAct/Mind2Web-SC（200 条指令，100 良性 100 有害）、OSAgent/Safe-OS（100 条指令，排除提示注入子集，良性扩至 100 条）、InspAgent/AgentHarm（公开测试集 176 良性/176 有害）。
• 骨干模型：GPT-4o、GPT-5.1、Gemini 2.5 Flash；访问控制与智能体使用同一骨干。
• 访问控制：每个设置两种——LLM-AC（基于公开策略规则的 LLM 检查器）和现有机制：GuardAgent（RAP）、AGrail（SeeAct、OSAgent）、ShieldAgent（InspAgent）。
• 记忆设置：初始记忆 8 条良性记录；top-1 检索；RAP/SeeAct/OSAgent 用 all-MiniLM-L6-v2 嵌入余弦相似度，InspAgent 用字符串匹配；记忆格式为查询-执行对。
• 指标与评审：BSR、TSR、E2E-SR（定义见第 3 问）；TSR 用 GPT-4o 作 LLM 裁判，作者在随机抽样子集上做人工评估验证（Table 9：RAP 92.5/92.5，SeeAct 22.1/22.1，OSAgent 75.5/77.3，InspAgent 32.0/34.5，LLM 裁判/人工）。
• 基线：在违禁查询中直接注入绕过指令（附录 G）；每个智能体×访问控制组合对数据集中每个违禁任务建一个攻击实例。

主结果

据 Table 1（BSR/TSR，%），FragFuse 与基线在三种骨干模型上的平均 BSR：

表格较宽，可左右滑动

智能体	访问控制	基线 BSR	FragFuse BSR	FragFuse TSR	无 AC 直接查询 TSR
RAP	LLM-AC	30.3	93.7	77.6	83.7
RAP	GuardAgent	35.3	79.3	82.2	83.7
SeeAct	LLM-AC	3.0	93.0	19.4	18.0
SeeAct	AGrail	9.0	82.3	20.1	18.0
OSAgent	LLM-AC	3.3	80.7	81.4	82.0
OSAgent	AGrail	19.3	92.7	77.6	82.0
InspAgent	LLM-AC	8.1	80.5	10.9	25.0
InspAgent	ShieldAgent	18.7	88.3	13.1	25.0

• 作者称 FragFuse 在全部配置上平均 BSR 86.3%，一致优于基线；平均 E2E-SR 41.1%，基线 5.7%（附录 Q，Table 18）。
• 作者称平均 TSR 仅比无访问控制直接查询低 4.4%；SeeAct 上 TSR 绝对值低，作者认为反映该域任务执行能力的影响，而非绕过失败。
• 例外：InspAgent+LLM-AC+GPT-5.1 下基线 TSR（32.4）高于 FragFuse（7.6），作者解释为基线绕过成功的实例数很少导致方差大。

查询效率与检索鲁棒性

• 测了什么：敏感片段发现所需平均查询数（Table 2）；不同初始记忆大小（8/16/32）和不同检索度量下载体查询的检索成功率（Table 3、Figure 2、Table 14）。
• 结果：发现阶段平均查询数最高 2.37（InspAgent，LLM-AC）和 2.12（SeeAct，现有访问控制）；初始记忆 8/16/32 条时四个智能体检索成功率均 100.0%（Table 3）。Figure 2 中 SeeAct、RAP、InspAgent 在 BM25、Jaccard、e5-base-v2 余弦下均 100%，OSAgent 在 BM25 下 94%、e5-base-v2 下 92%。
• 作者解读：攻击不依赖高频交互，对基于相似度的检索机制变化鲁棒；记忆更大时可注入更多载体查询补偿。

记忆机制、标记与设计消融

• 检索条数与高级记忆（Table 4，RAP，GPT-4o）：top-3 检索时 BSR 不变（93.0），TSR 从 92.5 降到 72.0（LLM-AC）；质量加权检索使 TSR 从 92.5 降到 73.1，作者称质量感知检索会在检索时降低注入记录优先级。
• 标记选择（Table 5，GPT-4o）：默认尖括号在 RAP 上 BSR/TSR 为 93.0/92.5，"$" 降到 65.0/78.5；SeeAct、OSAgent 上替代标记仍保持非平凡的 BSR。
• 设计消融（Table 6，GPT-4o）：用长度启发式替换 FragExtractor 后 BSR 从 93.0 降到 59.0（RAP）、88.0 降到 24.0（SeeAct）、82.0 降到 3.0（OSAgent）；不做代理优化的手工 Ifuse 对 BSR 影响不大，但 TSR 从 92.5 降到 78.3（RAP）、80.5 降到 74.4（OSAgent）。

防御评测

• 提示注入检测（Table 7）：PromptArmor 和 PromptGuard 对载体查询的良性判定率多为 96.0–100.0；InspAgent 上最低，PromptArmor 对攻击查询良性判定率 44.1%、PromptGuard 22.7%；作者称 PromptArmor 本身会把相当比例的真正良性 AgentHarm 查询误判，单独作为防御不充分。
• 困惑度检测（Figure 3，GPT-2 计算）：RAP、SeeAct、OSAgent 上良性、载体、攻击查询的困惑度分布大面积重叠；InspAgent 上重叠较小，作者归因于该数据集异质性和复杂度更高，并认为实际任务域中这种异常可能被缓解。
• 速率限制与事后检查：作者称攻击查询量少、优化离线完成，对速率限制不敏感；事后动作检查可能拦截已绕过的执行，但作者认为其成本高、任务特定，作为主要安全机制的合理性存疑。

其他消融与分析

• 高级记忆写入阈值 0.0→1.0：TSR 从 92.5 降到 39.8（LLM-AC），BSR 不变（Table 10，RAP）。
• 奖励加权检索权重 0.0→1.0：TSR 从 92.5 降到 53.8（LLM-AC），BSR 不变（Table 11，RAP）。
• 标记-指令联合优化：代理分数从约 0.84 升至 0.90（尖括号初始化）、约 0.80 升至 0.92（"$"初始化）（第 5.4 节、Figure 4）。
• 附录 A：RAP 上 FragFuse 平均绕过率 93.7（LLM-AC）/79.3（GuardAgent），高于 CRP（25.0/17.7）和 ArtPrompt（49.0/67.2）（Table 8）。
• 失败案例（附录 L）：OSAgent 上 LLM-AC 误拒良性载体成分（如 /user_ok 目录）导致失败；迭代超过三轮后查询语义残缺也会被拒（附录 M）。

作者指出的局限与后续方向

• 任务领域局限（第 7 节）：作者称不保证 FragFuse 泛化到评测之外的领域（如医疗、科学发现），主要挑战是这些领域缺乏定义良好的访问控制机制或可部署策略。
• 依赖模型能力（第 7 节）：作者称融合成功可能需要智能体核心 LLM 有足够能力正确理解和执行融合指令；该局限在评测中未显现，但骨干模型推理或指令跟随能力不足时可能出现。
• 事后防御（第 7 节）：作者称 FragFuse 面对事后防御可能失败，尽管其成本高、泛化性有限。
• 失败案例（第 7 节）：作者称 FragFuse 未达到完美的 BSR，TSR 相比无访问控制设置仍有下降，附录 L 给出失败案例分析。
• 标记联合优化（第 5.3 节）：作者称将作为未来工作探索标记与融合指令的联合优化以进一步提升攻击效果（第 5.4 节已给出初步实现）。

实验覆盖范围

• 被测智能体设置为 RAP/WebShop、SeeAct/Mind2Web-SC、OSAgent/Safe-OS、InspAgent/AgentHarm 共四种；骨干模型为 GPT-4o、GPT-5.1、Gemini 2.5 Flash 共三种。
• 被绕过的访问控制为 LLM-AC、GuardAgent、AGrail、ShieldAgent；防御评测包括 PromptArmor、PromptGuard、困惑度检测，速率限制和事后检查为定性讨论。
• 主实验记忆设置为初始 8 条记录、top-1 检索；消融覆盖初始记忆 8/16/32 条、top-2/top-3 检索、四种检索度量、高级记忆格式/写入/检索（后三者仅在 RAP 上）。
• 敏感片段发现最大迭代 3 次；代理优化用 GPT-4o 作代理模型、50 条查询、最多 10 代；论文未报告攻击的重复运行次数。
• TSR 由 GPT-4o 作 LLM 裁判，作者在随机抽样子集上与人工评估对比（Table 9），论文未写明该子集的样本量。

一篇针对 LLM 智能体访问控制的攻击论文，作者自称首个利用长期记忆时间通道绕过访问控制的工作。

• 问题：现有智能体访问控制只检查当前查询；作者认为长期记忆让攻击者可以把违规内容以良性外观写入记忆、之后检索融合，使有效攻击依赖历史交互。
• 方法：FragFuse 三阶段——黑盒迭代查询发现触发拒绝的敏感片段并掩码；片段词级拆分、标记封装后嵌入良性宿主查询注入记忆；攻击查询携带同一宿主查询、掩码查询和融合指令，检索记忆后还原违禁意图。融合指令在代理模型（GPT-4o）上以遗传算法离线优化，约束攻击查询困惑度。
• 威胁模型：普通用户、无特权、不能访问记忆库或智能体内部，只知公开策略，纯正常交互。
• 结果：在 RAP、SeeAct、OSAgent、InspAgent 四种设置，LLM-AC、GuardAgent、AGrail、ShieldAgent 四种访问控制和三种骨干模型上，平均 BSR 86.3%、E2E-SR 41.1%（基线 5.7%），TSR 平均仅比无访问控制直接查询低 4.4%（Table 1）。
• 效率与鲁棒性：敏感片段发现平均最多 2.37 次查询（Table 2）；初始记忆 8–32 条、四种检索度量下载体检索成功率大多 100%（Table 3、Figure 2）。
• 防御：PromptArmor、PromptGuard 对载体查询良性判定率多在 96% 以上；困惑度分布在三种设置上与良性查询大面积重叠（Figure 3）；作者称速率限制和事后检查难以作为主要防御。
• 作者的结论：只看当前查询、不考虑记忆时间组合的访问控制存在根本性局限；作者称需要针对该攻击面的专门防御和更鲁棒的记忆机制，并已向受影响的四个智能体设置和三个访问控制机制的维护者披露。