可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认

智能体浏览器在执行敏感操作时，现有人在回路确认弹窗容易被攻击者篡改或伪造，导致防御机制形同虚设。

• 场景与重要性：智能体浏览器（agentic browser）被广泛赋予登录账户、转账付款等自主执行权限；然而网页文本和 DOM 属性均可能成为间接提示注入载荷，诱发混淆代理（confused deputy）风险。
• 现有防御的不足：业界普遍推荐在不可逆操作前引入人在回路（HITL）确认，但 2026 年出现的 Lies-in-the-Loop（LITL）攻击表明，确认弹窗常直接采用大模型生成的摘要或页面标签，攻击者可通过填充良性文本或隐藏攻击载荷诱骗用户误批。
• 核心观察：HITL 失败的症结并非人类参与本身，而在于展示给人类的证据不可信；真正不可逆操作的参数（目标域名、收款人、金额等）存在于执行器即将操作的底层 DOM 结构中，攻击者在分发前无法改写。
• 威胁模型：
  • 受害系统：运行在受信任主机上的单个用户与单个 DOM-first 智能体浏览器，受保护资产为已认证会话和不可逆操作（send、pay、post、delete、transfer、subscribe、exfiltrate）的完整性。
  • 攻击者知识与能力：攻击者控制智能体读取的页面可见文本及 DOM 属性（aria-label、title、placeholder 等），或诱导访问恶意页面；但无法修改用户指令、智能体代码、执行器、浏览器 chrome 或宿主操作系统。
  • 模型信任边界：LLM 位于不可信边界内，其推理与输出文本被视为潜在受损，不可作为确认证据。
  • 攻击者目标：促成未预期的 commit 操作，使受害者误以为批准了良性操作。
• 本文方案：提出可验证操作卡（Verifiable Action Card, VAC），从底层 DOM 真实待执行操作和输入来源重构确认信息，并在受信任的浏览器 chrome 中以默认拒绝机制呈现。

• 网页智能体与执行框架
  • 早期探索与能力评测：World of Bits（2017）与 MiniWoB（2018）将网页定义为观测空间与动作；WebArena（2024）、Mind2Web（2023）、WebVoyager（2024）、SeeAct（2024）及 BrowserGym（2025）等推动了通用任务评估与基准标准化。作者指出此类工作主要优化与评测智能体能力，而非对抗环境下的安全性。
  • DOM 优先控制：Agent-E（2024）提出 DOM 蒸馏与分层控制，本文以此类 DOM-first 智能体作为研究基底，利用其结构化动作空间提取真实操作参数。
• 提示注入攻击与人在回路漏洞
  • 间接提示注入：Perez 与 Ribeiro（2022）及 Willison（2022）刻画了提示注入；Greshake 等人（2023）引入间接提示注入；InjecAgent（2024）与 AgentDojo（2024）评测了工具型智能体的脆弱性；Shapira 等人（2025）针对浏览器智能体提出任务对齐型注入。
  • 确认伪造攻击（Lies-in-the-Loop）：OWASP（2026）归纳的 LITL 攻击直接针对人在回路环节，攻击者利用良性页面文本或误导性摘要诱使用户误判并批准恶意操作。
• 架构级防御与知情同意完整性
  • 数据与指令分离及信息流控制：Spotlighting（2024）、StruQ（2025）与 instruction hierarchy（2024）隔离未信任数据；CaMeL（2025）等实施能力标记与信息流管控。作者指出此类防御关注模型推理层，但在使用人工确认时均默认假定弹窗诚实，无法抵御 LITL，与本文形成互补。
  • 知情同意完整性（Consent Integrity）：Weng（2026）将硬件钱包的所见即所签（WYSIWYS）理念引入操作系统层代码智能体，但作者指出该工作属于概念验证，其可信路径与完全调解属于假设且未实现，缺乏真实智能体与跨模型测试。
• 基线方法与基准
  • 对比基线：包括无防护直接执行的无门控基线（No-gate）、从页面提供标签生成摘要的朴素人在回路（Naive HITL，参考 Shapira 等人 [5] 与 OWASP [10]）、以及移除来源标记的 VAC 消融变体（VAC without provenance）。
  • 测试基准：由 24 个自建本地网页场景组成的评测集，涵盖混淆代理表单、LITL 对话伪造、间接提示注入、自适应操作替换及良性任务。
• 本文定位：作者将 VAC 定位为同意完整性在浏览器环境中的具体实现，通过从 DOM 重构真实操作并在派发时二次校验执行绑定，解决网页端动态篡改与确认信道失真问题。

针对确认信道易被篡改的缺陷，论文提出可验证操作卡（Verifiable Action Card, VAC）架构，核心设计目标是将用户确认映射形式化为 σ = g(θ(a), I)，即确认内容仅由动作真实参数 θ(a) 与受信任意图 I 决定，且在独立可信信道呈现。

意图来源标记与真实操作描述（C1、C2）

• 意图来源隔离（C1）：系统将模型接收的文本标记为用户来源或页面来源，把来自 DOM 的观测内容与提取文本包裹在固定的不可信围栏中（如 <UNTRUSTED-PAGE-CONTENT>），为门控提供确定性的来源分析信号。
• 提取底层真实描述符（C2）：在执行潜在不可逆操作前，执行器直接解析 DOM 元素及所在表单（Algorithm 1），读取真实目标域名、收件人（如 to、email、iban、payee 字段）、金额（如 amount、price 字段）与文件路径，不依赖页面可视文本或模型摘要。

外置卡片与来源感知风险门控（C3、C4）

• 浏览器外置默认拒绝卡片（C3）：确认卡片在浏览器 chrome 渲染进程中独立绘制，页面脚本无法修改样式、注入标签或遮挡内容；字段均进行 HTML 转义，默认聚焦于 Deny（拒绝），并对高风险操作展示警示横幅。
• 结构化提交识别（C4）：门控模块（Algorithm 2）依据结构信号判定动作是否为 commit（包括 POST 表单提交、提交控件点击、ctrl+enter 等快捷键），而非盲信控件显示文字。
• 风险等级评定（Algorithm 3）：若收件人属于外部实体且未在用户初始指令中被提及，或金额未被提及，或用户指令为纯只读而智能体触发提交，系统将其标记为页面来源并判定为 elevated（高风险）；对完全由用户指定的提交则采用轻量化确认。

执行绑定与 TOCTOU 防御（C5）

• 参数瞬时二次比对：为防止页面在用户点击批准后通过 onsubmit 等钩子篡改参数（TOCTOU 竞态攻击），执行器在批准时记录关键参数，并在网络请求真正分发前重新检查待发送参数。
• 异常拦截机制：比对时忽略收件人大小写和空白字符等非实质形式，一旦检测到收款人或金额等关键参数发生实质性偏离，立即中止操作并重新弹出警告卡片。

实验设置

• 被测模型：测试了 5 个开源模型（gpt-oss-120b、Gemini-2.5-Flash、Llama-4-Scout、Qwen3-32B、Qwen3.6-27B，其中 Qwen 系列与 Llama 分别包含 17B/27B/32B 版本），并单独对专有模型 GPT-4.1 进行了对照测试。
• 数据集与规模：构建了包含 24 个自包含本地网页场景的测试基准，涵盖 13 个攻击场景（混淆代理表单、LITL 对话伪造、间接注入、自适应替换与来源逃逸）及 11 个良性提交任务。
• 对比基线：分为四组条件：A 组无门控直接执行（No-gate）、B 组依赖页面标签生成摘要的朴素确认（Naive HITL）、C 组可验证操作卡（VAC）及 C-p 组无来源标记的 VAC 消融变体。
• 评估指标：主要包括攻击成功率 ASR、良性任务完成率 TCR、每次良性任务确认负担 Conf、误报拦截率 FB 以及攻击尝试率 Attempt rate。
• 评审方式：基于服务端实际记录的提交结果（server-recorded submissions）进行客观判定；人类交互采用透明规则预言机模拟（Algorithm 4），Naive 组仅在弹窗包含 delete/transfer 等未在指令中出现的敏感动词时拒绝，VAC 组在高风险标记下拒绝。
• 样本量与重复次数：主评测累计执行 293 次有效试验（gpt-oss-120b 与 Gemini-2.5-Flash 在全套 24 场景下采用 3 个随机种子；Qwen3-32B、Qwen3.6-27B、Llama-4-Scout 为单种子子集测试），另包含 GPT-4.1 的 40 次单种子试验。

主结果

Swipe horizontally to read the table

（数据源自 Table 8。† GPT-4.1 为专有模型单种子对照测试；Qwen3.6-27B 的 TCR 论文未报告。）

• 跨模型防御一致性：作者称 VAC 的防御效果在所有被测模型上均保持一致，无门控时攻击成功率为 68% 至 100%（平均 78%），加入 VAC 后所有模型 ASR 均降至 0%，作者认为防护能力来自系统架构而非特定模型的鲁棒性。
• 实用性与开销：在所有开源模型试验中，VAC 在实现 0% ASR 的同时保持了 78% 的平均良性任务完成率（TCR），误报拦截率（FB）为 0%，每次良性任务平均确认次数为 0.94（Table 10）。
• 混淆代理普遍存在：作者指出无门控下各模型均沦为混淆代理，主要执行攻击者网页上的任务；模型间差异体现为对显式注入的拒绝能力不同，但对伪装型与自适应攻击均全面失守。

朴素人在回路与同意信道伪造实验

• 测了什么：对比 Arm B（Naive HITL，使用页面标签生成摘要）与 Arm C（VAC）在抵御攻击时的差异（Table 10）。
• 实验结果：在包含 293 次试验的聚合评测中，Naive HITL 的 ASR 仍高达 72%，仅略低于无门控的 78%；而在 Lies-in-the-Loop 转账场景中，Naive HITL 被欺骗率为 100%，VAC 则实现了 0% ASR（第 8.1 节）。
• 作者解读：作者认为 Naive 组与 VAC 组面对完全相同的人类预言机与输入来源，差异仅在于呈现给人类的证据，说明人在回路失效归因于证据失真而非人类缺位。

针对自适应攻击的防御评测

• 测了什么：评估攻击者知晓 VAC 存在时实施的两种自适应攻击：提交瞬间替换收件人的 TOCTOU 攻击，以及复用任务名字的虚假归因攻击（Table 9、第 8.1 节）。
• 实验结果：在无门控和 Naive HITL 下，TOCTOU 替换攻击和虚假归因攻击在测试模型上全部成功；而在 VAC 保护下，C5 的执行绑定与 C4 的域名级归因检查使两类自适应攻击在所有被测模型上的 ASR 均为 0%（Table 9）。
• 作者解读：作者指出执行绑定通过在网络分发瞬间二次检验参数，消除了前端 DOM 动态篡改的攻击窗口。

其他消融与分析

• 来源标记消融（Arm C-p）：禁用 C1 来源围栏后，ASR 仍保持 0%，TCR 为 77%，确认负担为每任务 0.95 次，尝试率为 79%（Table 10）。
• 攻击尝试率对比：无门控 Arm A 为 83%，Naive HITL 为 74%，VAC 为 76%，C-p 消融为 79%（Table 10）。
• 显式删除注入测试：在无门控条件下，Gemini-2.5-Flash 抵御了 Delete injection（攻击未成功），而 GPT-4.1 与 gpt-oss-120b 均被攻击成功（Table 9）。
• 联系人信息窃取测试：在无门控条件下，Gemini-2.5-Flash 抵御了 Contact exfiltration，而 GPT-4.1 与 gpt-oss-120b 攻击成功（Table 9）。

作者指出的局限与后续方向

• 未进行真人受试者实验：论文当前采用确定性规则预言机模拟人类决策，仅论证了界面呈现真实信息与风险的属性，作者指出需在后续工作中开展受试者实验，以测定真实人类捕获率与确认疲劳（第 9 节、第 13 节）。
• 来源属性推断依赖启发式规则：参数与意图的关联采用字符串匹配等启发式算法，可能遗漏意译收件人或误标隐含合法收件人，作者计划引入污点追踪等更严格的来源追踪技术（第 9 节、第 13 节）。
• 真实性受限于执行器视角：操作描述符的忠实性受限于执行器对 DOM 的观测视野（TOCTOU 边界），作者计划设计更鲁棒的防 TOCTOU 分发路径（第 9 节、第 13 节）。
• 无法防范非提交类威胁：VAC 仅管控提交（commit）决策，无法防御只读类误导（如对投毒页面的错误总结）、通过访问特定 URL 的导航侧信道泄露，以及针对用户初始指令的社会工程攻击（第 9 节）。
• 智能体范式与工具生态拓展：当前设计针对 DOM-first 网页智能体，作者指出未来可向基于视觉的智能体、计算机操作智能体及文件系统、支付 API 等非浏览器工具推广（第 13 节）。

实验覆盖范围

• 被测模型范围：实验覆盖了 5 个开源模型（gpt-oss-120b、Gemini-2.5-Flash、Llama-4-Scout、Qwen3-32B、Qwen3.6-27B）以及专有模型 GPT-4.1，评测基于 OpenAI 兼容接口在低温度下进行。
• 场景规模与类型：评测基于自建的 24 个本地独立网页场景，包含 13 个攻击场景与 11 个良性提交任务，未在真实在线生产网站上进行实测。
• 试验样本量与种子：全套场景测试仅在 gpt-oss-120b 和 Gemini-2.5-Flash 上执行了 3 个随机种子（共计 248 次），其余 3 个开源模型仅基于单种子在子集场景上完成，总有效试验为 293 次（另含 GPT-4.1 的 40 次试验）。
• 人类行为假设：实验中确认决策由固定规则的透明预言机（Algorithm 4）执行，论文未报告实际人类面对不同弹窗时的注意力和操作数据。

• 定位与核心问题：论文针对智能体浏览器在处理网页时容易遭遇提示注入并被操纵为混淆代理的问题，指出当前主流的“人在回路”确认弹窗因依赖模型生成摘要或页面可控标签，易受 Lies-in-the-Loop 伪造，无法提供安全保证。
• 架构方案设计：提出了可验证操作卡（Verifiable Action Card, VAC），将安全根基从模型叙述转移至底层动作本身。核心包括：从 DOM 待执行表单中提取真实的收件人、金额与目标域名的操作描述符（C2）；在浏览器可信 chrome 中渲染默认拒绝的独立卡片（C3）；通过结构特征与意图来源进行风险分级（C4）；并在动作分发瞬间重新校验参数以防范 TOCTOU 篡改（C5）。
• 主要实验结果：
  1. 在跨 5 个开源模型的评测中，无门控时攻击成功率平均为 78%（各模型介于 68% 至 100%），VAC 将所有模型的攻击成功率降至 0%（Table 8、10）。
  2. 朴素人在回路（Naive HITL）面对伪造标签时攻击成功率仍高达 72%，在转账伪造场景下被骗率达 100%，而 VAC 在相同条件下将 ASR 降至 0%（Table 10、第 8.1 节）。
  3. VAC 在 293 次评测中保持了 78% 的良性任务完成率，误报拦截率为 0%，平均每个良性任务仅需 0.94 次确认（Table 10）。
  4. 面对提交时篡改参数的自适应 TOCTOU 攻击与虚假归因攻击，无门控与 Naive HITL 均告失守，VAC 借助执行绑定与域名级归因实现了拦截（Table 9）。
• 作者结论与启示：作者认为，人机协同防御的有效性完全取决于呈现给人类的证据质量；将确认逻辑绑定至真实动作并脱离模型与页面渲染信道，为自主智能体提供了不受模型鲁棒性波动影响的系统级安全防线。