跳到正文
原文
arXiv：越狱、提示注入、投毒与防御· arXiv:2609.14003· Minsun Shim·本站收录· 原文发表精选关注度56

FlowSeal：用信息流控制阻断 LLM Agent 的隐私泄露

Confuse the Model, Control the Flow: Understanding and Mitigating Privacy Leakage from LLM Agents with Information Flow Control

论文速读

防御

据论文 PDF 整理（Gemini 生成），以原文为准

作者针对智能体隐私泄漏提出FLOWSEAL防御，在SPR基准上将CWL攻击的条目泄漏率从52.2%降至0.5%。

威胁模型数据接收方为恶意攻击者，试图通过多轮自然语言交互诱导智能体披露数据主体的敏感信息；攻击者无法直接访问敏感数据、智能体系统提示词或记忆，无法修改智能体或环境；智能体与调用工具均可信；工具实现被破坏、工具元数据投毒与PIA不在考虑范围内。

问题
现有大模型智能体防御让后端模型在对手可控的对话上下文中做隐私判定，使防御机制与攻击面重合，易被任务重构等策略绕过。
方法
FLOWSEAL将隐私执行移至模型上下文之外的工具拦截器，基于数据来源实施信息流控制晶格策略，并用隔离的判定模块进行内容检查。
实验与结果
在SPR基准上，FLOWSEAL将CWL、SOA攻击的条目泄漏率分别降至0.5%和2.3%，良性任务实用率为72.4%；真实MCP测试中泄漏率为0%。
局限与可以继续做的
内容检查器对改写表达易漏检，对引用名称易过度拦截；未登记的敏感数据无法追踪；授权场景下发起同意请求的倾向偏低。
实验设置DeepSeek-V3.2、GPT-4.1-mini 等 · SPR、PrivacyLens 等 · LRI、LRB 等
被测模型
DeepSeek-V3.2GPT-4.1-miniGemini-Flash-2.5
基准
SPRPrivacyLensConVersePrivacyLens-Live
指标
LRILRBLVUtilityADRIADRBNconsentNturns
AI 导读和推荐理由论文指出，个人 AI 智能体现有的隐私防御靠后端 LLM 在攻击者可控的同一对话上下文中自行判断是否披露敏感信息，使防御机制与攻击面重合。作者提出三种无需提示注入、仅靠普通交互即可实施的攻击：把信息提取包装成协作任务（Collaborative Workspace Lure）、通过省略而非智能体写出的内容诱导披露（Semantic Obfuscation Attack）、把提取请求与披露拆到相互独立的通道（Channel Decoupling Attack），三者的泄露率都明显高于这些防御原本针对的攻击。据此作者提出 FLOWSEAL，在 LLM 上下文之外的工具层拦截器中，依据数据来源和带受控降密的信息流控制格执行保密。在三个基准、五种基于提示的基线和八种攻击（包括通过 MCP 执行真实工具调用的智能体）上，FLOWSEAL 把泄露率降到接近零（如 Collaborative Workspace Lure 从 52.2% 降到 0.5%），同时保持任务效用，且不依赖底层 LLM。

论文指出，个人 AI 智能体现有的隐私防御靠后端 LLM 在攻击者可控的同一对话上下文中自行判断是否披露敏感信息，使防御机制与攻击面重合。作者提出三种无需提示注入、仅靠普通交互即可实施的攻击：把信息提取包装成协作任务（Collaborative Workspace Lure）、通过省略而非智能体写出的内容诱导披露（Semantic Obfuscation Attack）、把提取请求与披露拆到相互独立的通道（Channel Decoupling Attack），三者的泄露率都明显高于这些防御原本针对的攻击。据此作者提出 FLOWSEAL，在 LLM 上下文之外的工具层拦截器中，依据数据来源和带受控降密的信息流控制格执行保密。在三个基准、五种基于提示的基线和八种攻击（包括通过 MCP 执行真实工具调用的智能体）上，FLOWSEAL 把泄露率降到接近零（如 Collaborative Workspace Lure 从 52.2% 降到 0.5%），同时保持任务效用，且不依赖底层 LLM。

推荐理由论文给出三种无需提示注入即可绕过现有隐私防御的交互式攻击，并附各防御下的泄露率对比，便于评估 Agent 隐私防护的实际边界。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    解决现有提示词防御在对手控制的上下文中做隐私判定导致机制与攻击面重合的问题。

    大模型智能体在处理外部交互时，隐私防御机制与攻击面在自然语言上下文中重合导致隐私泄漏。

    • 应用场景与重要性：作者称个人AI智能体获权访问用户邮件、日历和文档等私有数据，如何在动态交互中判定特定信息是否应向特定接收方披露构成持续的隐私风险。
    • 现有方法不足：作者称现有防御主要依赖增强提示词、微调或状态机让LLM自行做隐私决策，但判定依赖攻击者可操控的上下文，一旦攻击者重构请求使模型未识别为信息索取，检查机制即被绕过。
    • 核心观察：当隐私执行依赖模型对攻击者所控制上下文的主观判断时，执行机制与攻击面重合；必须将安全关键执行从模型自然语言推理中解耦。
    • 论文工作：作者提出三种无需提示注入的新攻击（CWL、SOA、CDA），并设计了在模型上下文之外通过工具级拦截器执行信息流控制的防御系统FLOWSEAL。
    • 威胁模型：
      • 攻击目标：数据接收方作为攻击者，试图在未经授权的情况下获取数据主体的敏感信息。
      • 攻击者知识与能力：攻击者无法直接访问敏感数据、系统提示词或记忆，无法修改智能体及环境；可进行多轮自适应交互，通过查询或请求操纵智能体判断。
      • 受害系统：受害智能体本身可信且不会蓄意泄密，调用的工具可信且正确实现预期功能。
      • 范围限制：工具实现被破坏、工具元数据投毒、流量指纹分析及提示词注入攻击不在本文防御范围内。

  2. 有哪些相关研究？

    梳理智能体隐私基准、基于模型的隐私防御及信息流控制，指出本文将强制执行移至上下文外。

    智能体隐私评测、提示词防御机制与信息流控制相关研究。

    • 智能体隐私基准与攻击研究：
      • 常规任务过度共享评估：PrivacyLens（Shao等，2024）、AgentDAM（Zharmagambetov等，2025）与CIMemories（Mireshghallah等，2025）评测执行任务时的非预期隐私泄露；SPILLAGE（Roh等，2026）揭示通过点击、滚动等操作间接透露信息。
      • 对抗性与多智能体提取：SPR（Zhang与Yang，2026）、ConVerse（Gomaa等，2026）与MAGPIE（Juneja等，2025）评测多轮对话下的隐私提取；TRAP（Moon等，2026）测量模型在授权工具调用中使用私有字段同时在自然语言中拒绝透露的能力。
      • 环境提示注入攻击：EIA（Liao等，2025）与VORTEX PIA（Cui等，2026）研究网页间接注入迫使智能体窃密；作者称此类攻击破坏的是指令遵循，并非本文关注的非注入交互。
    • 智能体隐私防御机制：
      • 模型内部推理增强：PrivAct（Cheng等，2026）通过偏好训练等方式增强隐私推理，但作者指出其执行仍具概率性，依赖模型自主识别风险上下文。
      • 边界介导与运行时监控：AirGapAgent（Bagdasarian等，2024）通过脱敏减少外部暴露；PrivacyChecker（Wang等，2025）在运行时利用LLM判定上下文完整性但仅提供建议性阻止；FAN（Abdelnabi等，2025）使用输入输出防火墙过滤，作者称其粗粒度检查未追踪数据来源与使用关系。
    • 信息流控制（IFC）在智能体中的应用：
      • 架构隔离与执行完整性：f-Secure（Wu等，2024）、ACE（Li等，2026）与PFI（Kim等，2025）利用IFC防止非可信数据篡改规划以防御提示注入；作者指出其策略并非针对不篡改执行完整性的数据窃取。
      • 动态污点追踪与标签传播：Siddiqui等（2024）提出宽松IFC推导上下文标签但未强制执行检查；FIDES（Costa等，2025）针对间接提示注入提供动态污点追踪，但策略执行仍依赖LLM后端，作者称其易受本文语义混淆攻击。
    • 对比基线与基准：防御对比基线包括SPR-D1、SPR-D2、SPR-D3、PrivacyLens-Defense与FAN-LCF；评测基准采用SPR、PrivacyLens、ConVerse以及真实环境的PrivacyLens-Live。
    • 本文定位：作者称与将隐私判定完全交由LLM或仅保护执行完整性的现有工作不同，FLOWSEAL基于数据溯源在工具调用边界建立外部确定性拦截，将安全关键执行从概率性语义推理中彻底剥离。

  3. 论文如何解决这个问题？

    FLOWSEAL在工具边界设立代码拦截器，结合数据溯源、三级格策略与独立内容检查实现信息流控制。

    FLOWSEAL通过将安全关键的执行逻辑移至智能体上下文之外的代码层，结合数据来源标签、信息流控制晶格与独立的内容去分类检查，实现对敏感数据的强制访问控制。

    信息流安全晶格形式化

    • 安全级别定义：定义三级有界安全格 L = {⊥, agent, ⊤}，其偏序关系满足 $\bot \sqsubseteq \text{agent} \sqsubseteq \top$，其中 ⊤ 代表数据主体的敏感记录，agent 代表智能体读取敏感数据后的工作记忆，⊥ 代表外部未授权终点。
    • 主体分类：将主体集合划分为受信任主体 PT（初始仅包含数据主体）、不受信任主体 PU（黑名单）和未知主体 P?；向 PU 的写入直接无条件拦截。
    • 污点传播机制：当智能体读取带标签对象时，上下文安全级按最小上界更新；衍生内容继承所有源对象标签的最小上界。
    • 发布边界检查：向目的地 d 写入内容 c 必须满足 $\ell(c) \sqsubseteq \ell(d) \lor \text{declassify}(c, d) = \text{SAFE}$，说明仅当内容安全级不高于目的地级别或通过语义去分类验证时才允许放行，从而在形式上满足类似Bell-LaPadula的不下写性质。

    双层防御架构设计

    • 协作层（提示词与API）：在智能体端部署系统提示词与四个专用隐私工具API，引导智能体在首轮通过元数据发现受保护记录，并在需要共享时主动发起授权，避免因智能体被欺骗而盲目重试。
    • 强制层（工具调用拦截器）：在工具调用边界部署独立代码拦截器，独立于智能体主循环介导所有写和共享操作，即使智能体被对抗性诱导或未调用隐私API，拦截器仍执行强制检查。

    核心组件实现

    • 私有数据存储：敏感记录在工作流开始前注册来源标签（数据所有者、类别、原始文本和已授权主体），并在智能体首轮通过元数据注入工作记忆而非系统提示词，防止提示词提取攻击。
    • 污点追踪器：初始化时将私有记录全部标记为污点；拦截读取函数（如GetEmail、GetDocument）执行后扫描响应，动态更新会话污点集合并记录衍生对象的复合标签。
    • 发布边界与内容检查器：拦截所有外发写操作；若目的地为未知主体且涉及污点记录，调用独立的LLM内容检查器输入全部相关污点记录和拟输出内容，仅返回SAFE或BLOCKED二值结果，不输出任何解释以防泄密。

    协作隐私API与恢复机制

    • 四项专用隐私API：提供RequestAccess（向数据所有者申请授权并在批准后提升目的地权限）、ListRecords（枚举记录ID和类别而不暴露原始内容）、CheckDataOwners（在写前检查输出是否合规）与Declassify（提交内容由隔离LLM执行检查并可返回脱敏版本）。
    • 失败引导与恢复：当外发写被拦截器阻止时，拦截器在返回错误中附带可操作指引，指导智能体调用适当的隐私API（如RequestAccess）而非原地重试。

  4. 论文做了哪些实验？

    在三项基准、多种模型与真实MCP测试中，FLOWSEAL将新型攻击泄漏率压至2.3%以下并保持72.4%实用率。

    实验设置

    • 被测模型：智能体默认后端为DeepSeek-V3.2，消融测试包含GPT-4.1-mini与Gemini-Flash-2.5；评测裁判默认使用DeepSeek-R1，消融测试对比GPT-4.1-mini与Gemini-Flash-2.5。
    • 评测基准与规模：SPR基准含105个攻击种子场景（支持10个FastAPI模拟应用），每种子运行3次；PrivacyLens适配后含378个攻击种子，每种子运行1次；ConVerse适配后含571个攻击种子，每种子运行1次；另构建105个良性SPR种子，每种子运行3次；真实测试采用PrivacyLens-Live连接真实Gmail和Notion。
    • 攻击策略：基线攻击包括SPR生成的A1、A2、A3；新提出的三项攻击为协作工作空间诱导（CWL）、语义混淆攻击（SOA）与通道解耦攻击（CDA）。
    • 对比防御基线：包括SPR迭代搜索生成的SPR-D1、SPR-D2、SPR-D3，基于上下文完整性提示的PrivacyLens-Defense，以及输出端防火墙FAN-LCF；真实测试对比PrivacyChecker。
    • 评测指标：条目级泄漏率（LRI）、二值级泄漏率（LRB）、泄漏速度（LV）、良性任务实用率（Utility），以及授权场景下的授权披露率（ADRI、ADRB）、同意请求数（Nconsent）和完成轮数（Nturns）。
    • 判定方式：采用LLM裁判模型对多轮交互或输出内容进行判定；SPR和PrivacyLens由裁判打分，ConVerse使用其原版裁判；真实测试中若敏感事实原文出现在真实Notion写操作中即判定为泄漏。

    主结果

    据 Table II、Table III 与 Table IV，在SPR基准（DeepSeek-V3.2后端）下，不同防御面对三项新型攻击的条目级泄漏率（LRI）与良性任务实用率如下：

    表格较宽，可左右滑动

    防御方法CWL LRI (%)SOA LRI (%)CDA LRI (%)良性任务实用率 (%)
    SPR-D131.854.713.375.9
    SPR-D252.275.643.844.7
    SPR-D351.869.739.760.7
    PrivacyLens-Defense89.967.743.856.8
    FAN-LCF62.254.263.925.1
    FLOWSEAL0.52.32.272.4
    • 提示词防御在新型攻击下失效：作者称SPR虽然通过迭代对抗提升了针对已知攻击的防御能力，但在CWL、SOA和CDA攻击下，SPR-D2的LRI分别升至52.2%、75.6%和43.8%，表明状态机前置条件易受语义混淆绕过。
    • SOA在基线防御中泄漏率最高：SOA通过删除错误条目、保留正确条目实现隐蔽外传，在SPR-D2上达到75.6%的LRI，因其不直接写出敏感内容，导致仅检查输出文本的防御机制无法触发。
    • FLOWSEAL兼顾低泄漏与高实用：FLOWSEAL将三项新攻击的LRI分别降至0.5%、2.3%和2.2%，同时在良性任务上保持72.4%的实用率，接近SPR-D1的75.9%，作者称这表明系统层防御有效平衡了隐私与效用。

    工具泛化性与防御组件消融

    • 协作工具泛化测试：据Figure 8，在Google Slides和Slack工具替代Notion的测试中，CWL在SPR-D2下的LRI仍有34.7%（Slides），FAN在Slides上LRI升至73.0%，而FLOWSEAL在所有三种工具下的LRI保持在0.0%–1.3%之间，作者称证明CWL利用的是协作框架本身而非特定工具。
    • 拦截器与检查器贡献：据Table V，禁用拦截器后CWL的LRI从0.5%升至28.4%；检查器若采用全闭策略（fail-closed）虽然LRI为1.3%但实用率降为0.0%，若采用全开策略（fail-open）则实用率为79.4%但LRI升至24.9%。
    • 提示词层作用：据Table V，移除协作系统提示词后LRI从0.5%升至8.8%，实用率从72.4%微调为74.4%，作者称系统提示词有助于智能体识别隐私规则和调用API。

    模型替换与开销评估

    • 智能体后端影响：据Figure 9，当智能体LLM更换为GPT-4.1-mini和Gemini-Flash-2.5时，SPR-D2在CWL下的LRI分别为59.2%和61.9%，FLOWSEAL的LRI分别为1.9%和0.6%，作者称后端模型更换对攻击和防御影响有限。
    • 运行开销与延迟：据Table VII，在CWL测试中FLOWSEAL每轮成本为0.109美元，较无防御的0.092美元增加0.017美元；每轮平均耗时7.45秒，较无防御的5.44秒增加37%，平均调用57.1次LLM，作者称多出的调用主要源于写操作被拦截后智能体的重试。

    真实环境MCP部署验证

    • 测试环境构建：在PrivacyLens-Live基准上使用真实Gmail与Notion账户通过MCP运行，攻击预先写入真实邮件与页面，在真实Notion写操作中出现敏感事实即判定泄漏。
    • 对抗PrivacyChecker表现：据第VIII节，面对SOA攻击，PrivacyChecker的LRI为34.7%、LRB为48.0%、LV为34.7%，作者称其被攻击者页面伪造的HIPAA医疗协作标签误导而批准放行。
    • FLOWSEAL拦截效果：在相同SOA攻击下，部署于MCP分发钩子处的FLOWSEAL将LRI、LRB和LV全部降至0.0%，每轮成本为0.052美元（对比PrivacyChecker的0.042美元）。

    其他消融与分析

    • 裁判模型消融：裁判模型替换为GPT-4.1-mini与Gemini-Flash-2.5时，SPR-D2在CWL下的LRI从52.2%变为50.5%和50.7%，FLOWSEAL从0.5%变为1.0%和0.8%（第VII节）。
    • 授权场景披露测量：据Table VI，在数据主体同意授权的良性场景下，FLOWSEAL的ADRI为32.7%，低于SPR-D1（63.2%）和SPR-D2（66.6%），同意请求数Nconsent为0.71（基线为0.92–1.01），作者称其源于智能体更保守的请求发起倾向。
    • 其他基准迁移结果：据Table III，FLOWSEAL在PrivacyLens种子上的LRI为0.5%，在ConVerse种子上的LRI为3.3%，在SPR基线攻击A1/A2下为0.0%，A3下为0.3%。

  5. 有什么可以进一步探索的点？

    作者指出检查器存在改写漏检与误拒局限，未登记数据存在盲区，未来可探索系统层多层防御。

    作者指出的局限与后续方向

    • 检查器改写漏检与过度拦截：内容检查器的主要失效模式是改写，重述或嵌入复合句的敏感值可能逃避检测；良性写操作若仅提及受保护记录名称而不披露内容可能被过度拦截（第IX节）。
    • 未登记记录无法追踪：若敏感事实未在私有数据存储中登记来源标签（如ConVerse案例中未登记的高血压信息），污点追踪机制无法将其标记，内容检查器会将其作为安全信息放行（第VI-C节、附录H-B）。
    • 混合去分类快路径设计：作者提出未来可在调用LLM前采用轻量级PII模式匹配器构建混合去分类快路径，以降低检查延迟并减少直接用例中的分类错误（第IX节）。
    • 分割聚合攻击威胁：作者指出攻击者可能将单个受保护事实分散到多次独立的无害写操作中分别通过检查，攻击面尚未穷尽，需进一步探索防御机制（第IX节）。
    • 跨系统层多层防御整合：作者提出当前防御位于工具调用边界，未来可探索与操作系统内核层（如Linux安全模块、eBPF探针）及移动端权限隔离相结合，构建跨层防御栈（第IX节）。
    • 授权场景请求倾向偏保守：在授权披露评估中，FLOWSEAL发起同意请求的倾向偏低导致授权披露率低于基准防御，需进一步平衡授权可用性与交互开销（第VII节、Table VI）。

    实验覆盖范围

    • 模型覆盖：被测智能体模型为DeepSeek-V3.2、GPT-4.1-mini与Gemini-Flash-2.5共3个模型，评测裁判模型为DeepSeek-R1、GPT-4.1-mini与Gemini-Flash-2.5（第VI-A3节、第VII节）。
    • 基准与工具覆盖：模拟实验覆盖SPR、PrivacyLens与ConVerse共3个基准，协作工具测试覆盖Notion、Google Slides与Slack（第VI-A1节、第VII节）。
    • 真实环境范围：真实测试在PrivacyLens-Live上针对Gmail与Notion两个MCP端点进行，仅评测了SOA攻击（第VIII节）。
    • 未覆盖的攻击威胁：论文未测试针对提示词注入攻击（PIA）、工具实现损坏或工具元数据投毒的防御表现，并说明此类威胁超出本文范围（第III节）。
    • 规模与协议限制：论文未在真实MCP环境中开展大规模端到端测试，作者说明系因真实端点需手动清理数据而受限（第VIII节）。

  6. 总结一下论文的主要内容

    作者分析大模型智能体隐私检查与攻击面重合问题，提出外部拦截防御FLOWSEAL并验证有效性。
    • 研究定位：该研究针对个人大模型智能体在协作交互中的隐私保护问题，揭示了依赖提示词进行内部推理防御的结构性脆弱性，并提出了基于信息流控制的系统层防御。
    • 核心问题：现有防御将隐私判断交由智能体在攻击者可控的对话上下文中进行，使得防御执行点与攻击面重合，攻击者可通过任务重构（CWL）、省略披露（SOA）和跨通道解耦（CDA）绕过检查。
    • 防御机制：FLOWSEAL基于数据溯源对敏感记录打标，在工具调用边界部署独立代码拦截器执行三级格策略，并借助隔离的LLM内容检查器做语义去分类，辅以协作API引导智能体正常交互。
    • 关键实验结果：在SPR基准（DeepSeek-V3.2）上，FLOWSEAL将CWL的条目泄漏率从SPR-D2的52.2%降至0.5%，SOA从75.6%降至2.3%，CDA从43.8%降至2.2%；良性任务实用率保持在72.4%；在真实Gmail与Notion的MCP测试中将SOA泄漏率降至0.0%。
    • 消融与开销：工具拦截器是防御核心（禁用后CWL泄漏率回升至28.4%）；相较无防御设置，FLOWSEAL每轮仅增加0.017美元成本与37%的延迟。
    • 作者结论与启示：作者认为，通过将安全执行移至对抗性重构无法触及的外部层，智能体可以获得更稳定的隐私保护，未来需推动操作系统、工具层与模型对齐的多层纵深防御。
阅读原文arxiv.org
#Agent 安全