SPILLage：Web 智能体的过度分享

核心问题：web agent 在 live 网站上执行用户任务时，是否会通过可观察的动作轨迹把任务无关的用户信息（Sirrelevant）披露给第三方，作者称之为 Natural Agentic Oversharing。

• 场景与重要性：用户把邮箱、日历、聊天记录等资源授权给 web agent，并抱有隐式隐私期望——agent 只用完成任务所需的信息。与聊天机器人不同，web agent 在开放网络上行动并留下动作痕迹，每次点击、滚动、导航都可被网站观察。
• 现有工作的不足：作者称此前工作（Zharmagambetov et al., 2025; Shao et al., 2025; Liao et al., 2025）研究的是对抗场景（提示注入、恶意网站）下的"泄露"，且只把逐字文本泄露当作二元"检出与否"问题，忽略行为通道、隐式披露和程度刻画。
• 核心观察：即使在非对抗设定下，agent 也可能通过四条途径过度分享：显式/隐式的文本输入，以及显式/隐式的行为动作（Figure 1）；文本过滤只能覆盖其中一个象限。
• 论文的贡献：提出 SPILL AGE 框架（2×2 分类）、Amazon 与 eBay 上 180 个任务的基准、基于 LLM-Judge 的逐步审计方法，并报告 1,080 次运行的测量结果。
• 威胁模型（非对抗，non-adversarial）：
  • 目标：被动观察者从 agent 的动作轨迹 A 中推断任务无关属性 Sirrelevant。
  • 知识：观察者只能记录可观察动作，看不到用户原始请求和 agent 内部推理。
  • 能力：严格被动，不能修改网站内容或操纵 agent；网站运营方、分析脚本可扮演观察者。
  • 受害系统：使用 Browser-Use 或 AutoGen 框架、由 gpt-4o/o3/o4-mini 驱动的 web agent。

Web Agent

• WebArena、VisualWebArena、Mind2Web 等（Zhou et al., 2024; Koh et al., 2024; Deng et al., 2023; Gou et al., 2025）——构建真实或仿真的 web 任务环境评测 agent 的任务完成能力。论文指出这些基准只测任务成功率，没有隐私标注。
• Web agent 综述与系统（Yang et al., 2025a;b; Sapkota et al., 2026; Liang et al., 2023）——描述 web agent 在真实动态网页中解析 DOM、操作界面完成任务的能力。

Web agent 的隐私风险（按论文分组）

• 对抗式信息抽取：EIA（Liao et al., 2025）与 WASP（Evtimov et al., 2025）研究网页中嵌入的提示注入劫持 agent 外泄数据；Bagdasarian et al. (2024) 的 context-hijacking 重定向 agent 目标；Green et al. (2025) 称推理链痕迹可泄露敏感信息。论文指出这些都假设攻击者修改网页或截获模型内部，与本文设定不同。
• 隐私知识—行动差距：AgentDAM（Zharmagambetov et al., 2025）与 PrivacyLens（Shao et al., 2025）称 agent 能正确回答隐私问题却在行动中泄露。论文指出它们在纯文本环境评测或把过度分享当作二元判定，漏掉行为通道与显式/隐式区分；这两条是论文明确点名的最接近工作。
• 平台级与网络级泄露：Ukani et al. (2025) 称 agent 框架可能关闭浏览器级隐私保护；Jeong et al. (2026) 称被动网络观察者能从访问域名的序列与时序推断用户特质。论文称前者属框架配置问题、后者是网络层元数据泄露，均与本文关注的页面内动作正交。

上下文完整性

• Nissenbaum (2004; 2009)——提出 contextual integrity，按参与者、信息类型、传输原则判断信息流是否合乎场景规范；本文用它作为隐私期望的理论基础。

基线与对比

• 论文没有对比基线方法；Table 5 将本文与 EIA、PrivacyLens、AgentDAM、WASP、DECEPTICON、Privacy Practice、Network-Level 在威胁模型、通道、直接性、环境四列上对照，只有 SPILL AGE 同时覆盖 Both/Both 且用 live web。

作者将本文定位为：此前工作只覆盖内容或行为之一、显式或隐式之一、且多在模拟环境，SPILL AGE 在非对抗 live 网站上同时刻画四类过度分享。

整体思路：把"过度分享"从个人在线行为的概念转译到 web agent，按通道（内容 vs. 行为）和直接性（显式 vs. 隐式）两个维度形式化为四类，再在真实电商网站上构造混合任务相关/无关属性的任务，逐步审计 agent 动作轨迹。

问题设定与三方模型

• 三方：用户 U 提供提示词 P（任务请求 + 资源访问 R，R 编码用户属性集 S）；web agent W 执行任务并产生动作轨迹 A = {a1, ..., an}；被动观察者 O 记录 A 并试图推断 Sirrelevant。
• 属性划分：属性 s 为完成任务所必需则属 Srelevant，否则属 Sirrelevant；用户期望 agent 只依赖 Srelevant、不通过任何可观察动作披露 Sirrelevant。
• 动作两类：文本输入动作（Type）与行为导航动作（Click、Scroll）。

2×2 过度分享分类

• 四类：C = {CE, CI, BE, BI}，C/B 为内容/行为通道，下标 E/I 为显式/隐式（Figure 3）。显式指 Sirrelevant 逐字出现在动作中，隐式指可被观察者推断但未明言。
• 过度分享事件：定义为元组 (a, s, c)，即动作 a 通过类别 c 泄露了属性 s；审计函数 F(a, Sirrelevant) 把每个动作映射到检出的事件集合。
• 作者给出的分维理由：决定可用防御（文本过滤只管内容、字符串匹配只管显式）、决定谁能观察（搜索框内容对目标站可见、导航动作可能被中间追踪者记录）、可诊断 agent 的失败方式。

审计方法

• 显式（CE、BE）：用字符串匹配检测。
• 隐式（CI、BI）：评估器对"观察者能合理推断什么"做语义推理。
• LLM-Judge 输入输出：每步给评估器（gpt-4o-mini）三项输入——带 Srelevant/Sirrelevant 标注的用户原始提示词、执行的动作 a、agent 声明的下一目标；输出结构化 JSON，含类别 c、涉及属性 s、证据与推理（附录 B.4 的 Figure 6 给出完整评估提示词）。

基准构建

• 选 live 电商（Amazon、eBay）的理由：购物任务天然混合 Srelevant 与 Sirrelevant；平台同时提供文本输入与行为导航两种交互面；电商站记录细粒度用户行为，是现实的被动观察者。
• 三阶段数据生成：先定义购物任务并生成 10 个用户属性；再人工把属性划分为 Srelevant/Sirrelevant；最后用 claude-3.7-sonnet 把每个 persona 渲染成 chat、email、generic 三种提示词风格（附录 B.6 给出示例）。
• 质量控制：每条生成的提示词经人工验证，检查属性划分正确、任务在目标网站可完成、风格自然。
• 规模：每站每种风格 30 个 persona，共每站 90 任务、两站 180 任务。

指标

• Occurrences (Occ.)：某类别的过度分享事件总数。
• Oversharing Rate (OR)：事件数除以总动作数；单个动作泄露多个属性时可超过 1.0。
• Task Success：Browser-Use 由 backbone LLM 经 done 动作自带的成功标志判定；AutoGen 用 LLM 评审（Figure 7，附录 C.1）。

实验设置

• 被测组合：框架 Browser-Use 与 AutoGen（MultimodalWebSurfer），backbone 模型 gpt-4o、o3、o4-mini，共 2×3 种组合。
• 基准：自建 180 任务，Amazon 与 eBay 各 90（每站 chat/email/generic 三种风格各 30 个 persona），带 Srelevant/Sirrelevant 人工标注。
• 运行规模：180 任务 × 2 框架 × 3 模型 = 1,080 次运行（约 10^5 次 API 调用）；每次运行 50 步上限、5 分钟超时，任务间重置浏览器会话。
• 指标：Occurrences、Oversharing Rate（OR，可超 1.0）、Task Success；置信区间为 95% bootstrap CI（percentile 法，10,000 次重采样）。
• 评审方式：过度分享审计用 gpt-4o-mini 作 LLM-Judge；AutoGen 的任务成功用 LLM 评审，Browser-Use 用其内置完成检测。
• 主表覆盖：显式结果主文报告 gpt-4o（Table 1、2），o3/o4-mini 在附录 Table 9、10；隐式只报告 Browser-Use（Table 3、11）。

主结果

显式过度分享，gpt-4o（据 Table 1、2）：

表格较宽，可左右滑动

网站	框架	内容 Occ.	内容 OR	行为 Occ.	行为 OR
Amazon	AutoGen	4	.013	223	.610
Amazon	Browser-Use	182	.117	905	.326
eBay	AutoGen	46	.018	342	.136
eBay	Browser-Use	58	.035	28	.016

• 行为型占主导：作者报告 Amazon + Browser-Use 上行为型与内容型事件数之比约 5×（905 vs. 182），eBay + AutoGen 上约 7×（342 vs. 46），并称该模式在所有模型与提示词类型上成立。
• 框架重新分配而非消除风险：Browser-Use 轨迹长、事件多；AutoGen 步数少但每步率高——Amazon generic 下 AutoGen 行为型 OR 达 1.027，作者称这意味着典型动作至少泄露一个 Sirrelevant 属性。
• 提示词风格调节严重程度：generic 风格一致产生最高过度分享率（Amazon + AutoGen 行为型 OR：generic 1.03 vs. chat 0.37）。

隐式过度分享

• 频率较低但非零：Amazon 上 gpt-4o（Browser-Use）产生 325 次隐式内容与 45 次隐式行为事件（Table 3）；eBay 为 62 与 58。
• 模型差异：作者报告 gpt-4o 的隐式过度分享比 o3 高一个数量级（Amazon 内容 325 vs. 12、行为 45 vs. 8，Table 3 vs. Table 11），并将其归因于更强模型会推断 Sirrelevant 相关概念并在多步间传播。
• 平台与风格效应：Amazon 的隐式内容事件约为 eBay 的 5×（325 vs. 62）；generic 风格隐式率最高（Amazon 内容 OR 0.171 vs. chat 0.127、email 0.046）。

防御与效用实验

• 提示词级缓解（负面结果）：在系统提示词中加入避免使用无关信息的指令，用 Browser-Use + gpt-4o 在 Amazon 上测 13 个 persona（chat 风格），行为型过度分享率从 58.9% 升至 86.0%。作者称（初步地）强调"任务无关"可能提高其在模型推理中的显著性，并警示朴素护栏的风险。
• 执行前删除 Sirrelevant：用 claude-3.7-sonnet 自动删除并经人工核验后，任务成功率最高提升 17.9%（Table 4），Browser-Use 整体准确率从 73.4% 升至 99.4%；Table 4 中多数格子达 100.0%，例外是 eBay generic 上 Browser-Use 96.7%（-3.3）、AutoGen 96.7%（+0.7）。
• 商业 agent 定性研究（附录 D）：用 10 个 persona 购物提示词人工监测三个商业 agent；作者报告 Brave AI Browsing 与 ChatGPT Atlas 未检出过度分享，Perplexity Comet 多次把用户对话大段粘贴进第三方搜索框，泄露敏感个人信息。

其他消融与分析

• 任务成功率（Table 8）：AutoGen 整体 0.813（gpt-4o）至 0.994（o3），Browser-Use 0.742（gpt-4o）至 0.929（o3）。
• o3/o4-mini 显式结果（Table 9、10）：o3 行为型事件更少、内容型更多；o4-mini 居中，Amazon + Browser-Use generic 下行为型 402 次、内容型 241 次。
• 模型行为画像（Table 6，附录 A.2）：作者称 gpt-4o 把多个偏好嵌入单条查询，o3 把偏好直接写进动作，o4-mini 查询最干净但生成持续记录用户意图的 todo.md 规划文件。
• 论文未报告 LLM-Judge 审计结果与人工判定的一致性。

作者指出的局限与后续方向

• 只测 OpenAI 模型（6.2 节）：评测聚焦 OpenAI 模型，扩展到其他模型家族可能呈现不同的过度分享模式；作者用一个商业 web agent 定性研究作补充。
• 任务限于电商域（6.2 节）：180 个任务针对电商；作者称该分类法可推广到医疗、法律、旅行、金融等 agent 代用户浏览外部网站的领域。
• 仅限单网站会话（6.2 节）：agent 被约束在单一网站内，而生产部署常跨多域；跨站动作轨迹会让第三方追踪者做更丰富的行为推断。
• 防御方向只做了第一种（6.1 节）：作者提出输入端清洗、动作级监控、模型感知护栏三个方向，本文只探索了输入端清洗，后两者留作未来工作。
• 商业 agent 行为成因待查（附录 D）：作者称未来工作应调查 Perplexity Comet 过度分享的成因（信息选择能力、效用优先、缺少护栏或架构差异）。

实验覆盖范围

• 被测 backbone 模型为 gpt-4o、o3、o4-mini 共 3 个，框架为 Browser-Use 与 AutoGen 共 2 个，站点为 Amazon 与 eBay（第 5 节 Setup）。
• 隐式过度分享只在 Browser-Use 框架上评测（Table 3、11），AutoGen 的隐式结果未报告。
• 提示词级缓解实验仅在 13 个 persona、Browser-Use + gpt-4o、Amazon、chat 风格下进行（5.4 节）。
• 商业 agent 研究为 10 个提示词的人工监测，无公开 API（附录 D）。
• 论文未报告 LLM-Judge（gpt-4o-mini）审计与人工判定的一致性，也未报告审计的准确率或错误率。

一篇关于 web agent 隐私的评测/基准论文，关注非对抗设定下 agent 在真实网站上替用户办事时无意泄露任务无关信息的问题。

• 问题：用户授权 agent 访问邮箱、日历等资源时抱有隐式隐私期望；作者称此前工作只关注对抗场景下的逐字文本泄露，忽略了点击、滚动等行为通道和隐式披露。
• 方法：SPILL AGE 按通道（内容/行为）×直接性（显式/隐式）把过度分享分为四类；构建 Amazon 与 eBay 上 180 个带 Srelevant/Sirrelevant 人工标注的任务（chat/email/generic 三种风格）；用 gpt-4o-mini 作 LLM-Judge 逐步审计动作轨迹，显式用字符串匹配、隐式用语义推理。
• 规模：Browser-Use 与 AutoGen 两种框架 × gpt-4o/o3/o4-mini 三个 backbone，共 1,080 次运行。
• 主要结果：过度分享在所有配置下出现；作者报告行为型事件数约为内容型的 5 倍（Amazon + Browser-Use + gpt-4o：905 vs. 182）；AutoGen 步数少但每步率高，Amazon generic 下行为型 OR 达 1.027；gpt-4o 的隐式过度分享比 o3 高一个数量级（Amazon 内容 325 vs. 12）。
• 防御与效用：提示词级缓解反而使行为型过度分享率从 58.9% 升至 86.0%（13 个 persona 的初步实验）；执行前删除任务无关信息使任务成功率最高提升 17.9%，Browser-Use 整体准确率从 73.4% 升至 99.4%。
• 作者结论：保护 web agent 隐私需要把"输出"的定义从文本扩展到 agent 在网上的行为；作者称隐私与效用可对齐，并计划公开数据集与代码。