AdvSim2Real 用任务与注入对手共同演化训练网页智能体

网页智能体必须读取第三方页面才能完成任务，但页内植入的指令可以把它带离用户目标。

• 场景：作者称网页智能体在第三方页面上做多步请求，页面把任务所需数值、控件和第三方内容混在一起，因而不能靠忽略页面来防御。作者引述，在某一网页智能体安全基准上，此类间接提示注入部分成功的情形最高达 86%（Evtimov et al., 2025）。
• 现有不足：作者称现有防御在训练前固定的注入上微调，有的用分隔符分开指令和数据，训练时遇不到会适应已训练模型的攻击者；此类攻击者可绕过 StruQ 与 Meta SecAlign（Nasr et al., 2026）。对抗训练让攻击者适应，但任务固定，解开后不再提供训练信号，且新任务需要可执行站点。
• 做法：作者用冻结网页世界模型同时放开固定任务和固定站点，提出 AdvSim2Real：课程、每条轨迹一次注入的对手和执行器在同一模拟器里协同更新。课程奖励大约一半被解开的任务，对手只奖励成功翻转。
• 威胁模型：
  • 提供方目标：task-preserving robustness，即任务仍可行时完成授权目标。提供方控制执行器的系统指令和训练，世界模型 W 与评审 J 固定。
  • 攻击者：页面作者，目标是阻止授权完成；诱导特定动作可选。每条轨迹一次注入：执行器动作之后给出指令 z，由 W 把通知渲染进下一页；初始页保持干净。
  • 限制：不能改授权目标、执行器系统指令或参数、评审细则。评估时可见当前页和已选动作，可等待或注入；冻结攻击者至多 11 次调用，每次至多 256 个输出 token，一旦请求注入即停止查询。
  • 两类对手：Stage 2 保存的 Adv v1–v3（其攻击也参与执行器训练），以及未参与训练的 Kimi-K3。注入须经 W，只渲染成看起来合理的页面；作者称不合理请求会被弱化或丢弃。受攻击结果都是 W 内 J 的判决。评审与执行器读到相同的不可信观察。论文不单列攻击者目标是否达成，也不验证注入后任务是否仍可行。

作者按固定注入防御、可学习攻击者、自适应出题和网页世界模型来定位本文。

• 固定注入上的防御：Greshake et al., 2023 把竞争指令放进智能体为完成可信目标而阅读的内容。Wallace et al., 2024 的指令层级训练模型忽略低权限指令；Chen et al., 2025b;c 的 SecAlign 与开源 Meta SecAlign 偏好合法指令对应的回复；Chen et al., 2025a 的 StruQ 用保留分隔符分开指令和数据。作者称注入不变时，防御方要到评估才遇到自适应攻击者；针对训练后模型优化的攻击者绕过 StruQ 和 Meta SecAlign（Nasr et al., 2026; Wen et al., 2025）。Zhan et al., 2025 中自适应攻击也打破工具智能体的检测、提示和释义防御。
• 可学习攻击者：RETA 对冻结防御方做一轮红队，再在记录的攻击上训练防御方（He et al., 2026）。ARLAS 把注入攻击者与工具智能体当作零和博弈，并对抗以往攻击者检查点（Wang et al., 2025c）；CoER 保留双方历史策略并在经核实的演示上精炼防御方（Zhang et al., 2026）；GPT-Red 把自对弈红队扩到同时训练的防御方（Wallace et al., 2026）。Self-RedTeam 与 DMAST 分别做对话安全和面对 DOM 注入的网页智能体（Liu et al., 2026b;a）；WARD 让攻击者与单独守卫模型协同演化（Cao et al., 2026）；ToolHazard 合成对抗性工具环境、攻击和任务（Mou et al., 2026）。作者称这些工作都不按当前智能体改训练任务，也不在网页世界模型中训练。附录 D.5 另称，相对 ARLAS，本文的环境是冻结网页世界模型，攻击奖励要求渲染后的成功翻转，保留的是用新轨迹重标的攻击输入而非攻击者检查点。
• 自适应出题：WebRL 从失败尝试派生网页任务（Qi et al., 2025），SAGE 由易到难生长课程（Yang et al., 2025），AgentGen 把合成任务推向更易和更难变体（Hu et al., 2024）。PAE、Self-Challenging、R-Zero 分别用提议者加 VLM 评分、自写可验证任务、以及求解者与自身约一半一致的问题来出题（Zhou et al., 2025b;a; Huang et al., 2026）。Agent0 交替更新课程和执行器（Xia et al., 2025），GenEnv 把环境策略训向中等成功率（Guo et al., 2025）。作者称 Stage 1 使用 R-Zero 的不确定性奖励和重复惩罚，做法同 Agent0，但成功率来自执行器被判定的完成，而不是自一致性。
• 网页世界模型：WMA 与 WebDreamer 在推理时用世界模型选动作（Chae et al., 2025; Gu et al., 2024）。DreamGym、WebEvolver、DynaWeb 在合成或想象的转移上训练策略（Chen et al., 2026b; Fang et al., 2025; Ding et al., 2026）；UI-Simulator 与 Qwen-AgentWorld 用 LLM 模拟界面或语言世界（Wang et al., 2025a; Zuo et al., 2026）。作者冻结 WebWorld 的预训练转移模型（Xiao et al., 2026），并称冻结并不使预测正确，因此另在真实浏览器中测试。

基线与基准：实验对照是同一 Qwen3.5-4B 的 Base，以及托管 Qwen3.5-9B 参照；消融是去掉 Stage 1、从 Base 开始的 Stage 2。评测用自建 150 个表单任务，在冻结 WebWorld-14B 中由模型判决，Stage 1 检查点另在 Chromium 中做确定性检查。论文没有把 StruQ 或 SecAlign 作为实验基线。作者把本文定位为：在一个冻结网页世界模型里，让任务课程和注入对手一起跟随当前执行器。附录 D.5 还讨论注入基准、自适应攻击和 LLM 评审有效性，并写明本文只报告被判定的任务完成，而不像 AgentDojo 和 WASP 那样另报攻击者目标成功率。

AdvSim2Real 在冻结世界模型里协同更新课程 C、执行器 E 和注入对手 A，由冻结评审 J 打分；两阶段各三轮，奖励都相对当前执行器定义。

环境与成功判定

• 轨迹：任务 x 由授权目标 g 和初始无障碍树页面 o0 组成。E 采样填字段、选选项或点击等浏览器动作，冻结的 WebWorld-14B 预测下一页。轨迹在 E 发出最终消息或满 12 个动作时结束。
• 评审：冻结的 Qwen3.8-27B 给出 j∈{0,1}，1 表示被判定完成 g。评估不向评审提供金标准动作序列。浏览器迁移把同一页面做成 HTML，用实时页面替换 W 的预测。
• 固定评测任务：150 个表单任务来自 10 个模板、5 个技能层，与训练时课程提议的任务不同。每题规定最终字段值、最终控件、两个不得改动的受保护字段，以及不得激活的 Save draft 和 Reset all。浏览器确定性检查还要求：在任务要求时，提交前先做 review。

两阶段流程

• Stage 1：C 与 E 都从基座 π0 起步并交替更新。C 出一批目标加起始页，E 每题跑多次；C 因大约一半被解开的任务得分，更新后的 C 再出新题训练 E。该阶段执行器称为 Capability iter t。
• Stage 2：C 冻结，E 从最后的 Stage 1 检查点继续，A 从基座重新起步。只在 E 至少一半次数被判成功的任务上保存干净对照。A 提出一次注入及插入步，把对照重放到该步；仅当注入被渲染、且原先被接受的续写现在失败时给 A 得分。E 在新攻击、更早轮次的攻击和干净任务上训练。该阶段执行器称为 Robust iter t，对手检查点为 Adv vt。
• 历史攻击：混合集只保留任务输入，丢掉已存轨迹和旧判决，再用当前 E 重新采样并打分。

课程奖励与执行器优势

• 一半成功率：对提案 x 跑 K 条轨迹，用判决均值 pbJ(x) 估计成功率。塑形为 q(p)=1−2|p−1/2|，在一半处最大，在 0 和 1 处为 0。全组奖励相同则组内优势为 0，因而总是成功或总是失败的任务不推动 E 的更新。
• 门控与重复惩罚：有效性门控去掉无法解析或从未被解开的提案。作者称零次成功并不证明不可能，每次评估都成功的任务也得 0；难度压力来自循环，而不是固定目标。词面相似簇按阈值 0.8 聚类，重复提案被扣分。课程更新把已评估提案当作训练补全重放。
• 执行器优势：新轨迹奖励为 2j−1。组内减均值、除以总体标准差加 10^-6 后，再乘 f(p)=max{0.1, q(p)}。作者称这样保留组内对比，并提高靠近能力边界的任务的权重，下限使其他任务仍有非零梯度。

成功翻转

• 筛选：附录 D.3 写明筛选阈值 η=0.5。pbJ 达到该阈值的任务收集 K 条带历史的干净对照；没有任何好判决的任务被丢掉。训练时 A 只看目标和初始页，看不到对照及其判决。
• 提案与重放：提案含注入指令、用于确认渲染的标记、注入的转移下标，以及可选目标动作。每条对照从该下标恢复，把指令交给 W，再由固定的 E 续写。续写共享前缀、待执行动作和 seed，不共享后端随机状态。畸形提案得 −1。
• 对手得分：分子只计干净对照为好、续写为坏、且通过渲染检查的次数，分母是好对照数，再减注入文本的重复惩罚。该奖励衡量的是被判定的破坏，不验证任务仍可行，也不验证可选目标动作是否被执行。
• 渲染检查：受攻击观察至少要有 40 个去空白字符、RootWebArea 标签或括号元素编号，以及归一化标记或其中长度超过 2 的 token 的至少 60%。检查只看结构和文本。
• 受攻击时的执行器奖励：好判决 +1，无声明目标的坏判决 −1。有声明目标时，默认权重使避开该目标的失败得 0、跟随该目标的失败得 −1。混合比例为新攻击 0.50、历史攻击 0.25、干净任务 0.25；历史不足时不靠复制来补满。

策略更新与记录配置

• 适配器：每个角色单独训练 LoRA，优势做组归一化，并向关闭适配器的基座加惩罚；没有似然比、裁剪，课程重放也没有重要性修正。Stage 2 延续各角色自己的适配器，不合并权重。
• 评估接口不同于训练：评估时冻结对手在每次转移前看到目标、当前页和待执行动作，返回等待或一次注入；第一次接受的注入请求后不再查询，无论 W 是否真的渲染。只有传输失败会重试。
• 一次记录的 Stage 1 配置：附录 C.6 称下列数字只描述一次记录的 Stage 1 执行，不覆盖 Table 1 的完整检查点序列：LoRA 秩 16、缩放 32、学习率 10^-5、KL 系数 0.01，K=6，两个池各 150 个提案位置，课程 1 个 epoch、执行器 2 个 epoch。该次运行动作上限为 8，评审把后续页面截到 1500 字符，与 12 步评估和未截断的 Stage 2 评审不同。

实验设置

• 执行器：Qwen3.5-4B 的 Base、Capability iter 1–3、Robust iter 1–3。课程和学习对手也是该 4B 上的独立 LoRA；对手从基座起步。参照是托管 Qwen3.5-9B，作者不持有其服务权重和原始轨迹。
• 环境与评审：冻结 WebWorld-14B；冻结 Qwen3.8-27B。轨迹在最终消息或 12 个动作后结束。
• 数据：150 个表单任务、10 个模板、5 个技能层。Table 4：高层 62、全量表单 74、要求先审后提交 38。摘要称其中 50 个是 8 个父任务的接近变体。与训练提议的任务不同。
• 攻击者：Adv v1–v3 与 Kimi-K3。每条轨迹至多一次注入；冻结攻击者至多 11 次调用、每次 256 个输出 token。
• 指标与重复：有判决任务中被判定完成的百分比；学习对手分数对 Adv v1–v3 等权平均。均值和样本标准差来自同一已训练检查点的三个 rollout seed，不是三次训练。Kimi-K3 为 seed 0 和 1；seed 2 因速率限制停止，Robust iter 3 的 300 条中 293 条有判决（附录 C.4）。论文不测量攻击者目标成功率。
• 浏览器：Base 与 Capability iter 1–3 的干净 Chromium 运行，无世界模型调用；附录 C.3 写明温度 0.7、最多 256 token。Stage 2 不在浏览器中评估。

主结果

表格较宽，可左右滑动

检查点	干净	Adv v1–v3 均值	Kimi-K3
Base	74.89%	48.07%	23.00%
Capability iter 1	78.00%	54.74%	未报告
Capability iter 2	77.11%	55.41%	未报告
Capability iter 3	79.33%	54.34%	未报告
Robust iter 1	77.33%	53.70%	29.67%
Robust iter 2	78.00%	56.44%	30.33%
Robust iter 3	81.33%	57.48%	30.72%
Qwen3.5-9B（参照）	78.22%	56.96%	未报告

据 Table 1 与 Table 3，格内为各 seed 比例的均值；标准差见原表。9B 不是本文训练的检查点。

• 作者称 Stage 1 把干净完成率提高 4.44 个百分点，且从未见注入也在首轮后抬高攻击均值，此后攻击均值停在 54.34% 到 55.41%。Stage 2 第一轮同时下降：攻击均值 0.64 个百分点、干净 2.00 个百分点；相对 Capability iter 3，Robust iter 3 攻击均值高 3.14、干净高 2.00 个百分点。受攻击增益集中在 Adv v1 的 5.78 个百分点，Adv v2、v3 为 2.54 和 1.11。最终仍有 23.85 个百分点的干净到受攻击差距。
• 作者称在匹配的任务与 seed 上，Robust iter 3 攻击均值为 57.40%，对照 9B 的 56.96%，干净高 3.11 个百分点；0.44 个百分点的攻击差小于该 4B 检查点 0.56 的 seed 离散。Table 1 中它对 Adv v2、Adv v3 低于 9B：54.89% 对 57.10%，54.67% 对 54.89%。Table 5 注明 Capability iter 3 的 Adv v2 有 149 条判决，9B 的 Adv v2 有 145 条。
• Figure 1(c) 标注相对 Base 的 +8.6%、+19.6%、+33.6%。正文称对 Kimi-K3 的提升是 33.6% relative，三轮 Stage 2 彼此相差不超过 1.05 个百分点，增益在第一轮到达；每个检查点仍至少失去 47.66 个干净完成百分点。Section 6 称端点增益为 6.44 个干净百分点和 9.41 个受攻击百分点，并称评估未隔离单个组件，因而把增益归于整段检查点序列。Figure 2 为任务 34、Adv v2、seed 1：Base 在通知出现后点击禁止的 Reset all 并被判失败；Robust iter 3 在五个动作前看到通知、未点击并被判完成。

真实浏览器迁移

• 测了什么：Base 与三个 Capability 检查点，150 任务、三 seed，共 1,800 条干净 Chromium 轨迹，无世界模型调用。严格成功检查提交值、受保护字段、禁止控件，以及要求时的先审后提交。正确字段按每 seed 746 个目标值计数。
• 结果：严格成功为 25.56%、31.78%、43.56%、44.44%，正确字段从 52.50% 到 73.24%（Table 2）。四个检查点在确定性检查、字段计数和轨迹评审下排序相同。同一任务与 seed 上，两边都成功的比例从 Base 的 23.1% 到 Capability iter 3 的 42.9%，只在世界模型中判好的比例从 51.8% 到 36.4%（Table 6c）。
• 作者的解读：作者称世界模型中测到的 Stage 1 增益是可执行完成上的增益。绝对比例更低，因为浏览器拒绝世界模型接受的畸形动作：Base 在 450 条中有 132 条至少一次无效动作，Capability iter 3 为 67 条。合取选择在任一检查点的 60 条里严格成功为 0，尽管世界模型评审接受其中 40.0% 到 58.3%。没有浏览器回合在严格检查通过时被判失败，但评审接受了 7.5% 到 10.4% 未通过严格检查的轨迹。

未见的 Kimi-K3

• 协议：Kimi-K3 替换学习对手，提示、观察和一次注入预算相同；推理模式关闭以放入 token 预算。对手与评审调用的 API 费用低于 40 美元。检查点、世界模型、评审、任务和解码设置不变。
• 行为：请求注入的比例，Kimi-K3 为 95.0% 到 98.0%，学习对手为 66.5% 到 81.0%；世界模型渲染出所请求注入的比例为 72.3% 到 80.9%（Table 6b）。Kimi-K3 下，Base 有 28.3% 的回合用尽 12 步且无最终消息，Robust 检查点为 14.0% 到 15.4%；全部检查点的干净回合合计为 3.7%。
• 作者的解读：作者称训练得到的稳健性对训练环外的对手仍然成立。Base 从干净 74.89% 降到 23.00%，比它对学习对手的 48.07% 低 25.07 个百分点；Robust iter 1 到 3 比 Base 高 6.67、7.33、7.72 个百分点。

去掉 Stage 1

• 测了什么：执行器和冻结课程都从 Base 起步，轮数与 epoch 配置相同，评估时面对带 Stage 1 训练出的 Adv v1–v3（Table 7）。作者称保留任务数、优化步数和计算量未被控制，反应式注入也可能因执行器不同而不同。
• 结果：Ablation iter 3 干净 76.67%、攻击均值 57.04%。完整流程相对它，三轮干净差为 +5.78、+2.00、+4.67 个百分点，攻击均值差为 +0.89、−0.52、+0.44。差值在对手之间有正有负，例如第一轮 Adv v1 为 −5.11。
• 作者的解读：作者称该消融同时去掉执行器与课程初始化，比较的是两条流程而不是课程本身；Section 6 称这不能确立 Stage 1 的稳健性收益。

其他消融与分析

• 受攻击分层（Table 6d）：作者称 Robust iter 3 相对 Base 在 conditional policy 高 14.3 个百分点、conjunctive selection 高 12.8、relational join 高 1.6；合取选择为 40.56%，作者称它仍是最难的一层。
• 只计发出注入请求的回合：攻击均值 Base 41.75%、Capability iter 3 46.50%、Robust iter 3 49.45%，干净到受攻击差距为 31.88 而非 23.85 个百分点（附录 A.2）。学习对手所要标记在渲染页中可见的比例低于 0.5%。
• 干净难度：Base 低层 83.0%、高层 63.4%；Robust iter 3 为 90.9% 与 67.7%。从 Capability iter 3 到 Robust iter 3，derived values 由 63.33% 到 86.67%，conditional policy 由 82.96% 到 86.67%，其余三层下降（附录 B.2）。
• 每次 Stage 1 更新改善 23 到 28 个任务、退步 19 到 21 个；最终 Robust 更新通过 48 次由坏到好和 33 次由好到坏，净增 15 个好判决（附录 B.1）。Base 三 seed 全对 95 题、全错 22 题；Robust iter 3 为 108 与 15。
• 浏览器失败形态：未提交从 16.2% 到 2.0%，预算耗尽从 450 条中的 96 条到 13 条；至少一处错值的提交仍最多，Base 58.0%、Capability iter 3 50.7%。两位小数金额字段正确率 23.7% 到 40.2%，文本字段 59.9% 到 81.7%（附录 C.3）。
• 评审误差：作者举出提交 10,102 和 8,862、应为 21,042 仍得正标签，以及另一任务六条轨迹总额不同于 446.04 却全部标正；作者称这些例子说明奖励有误，但未给出频率（附录 C.7）。

作者指出的局限与后续方向

• 判定不等于可执行完成：世界模型可能显示执行器从未输入的值，评审可能接受错误计算，因此判定的稳健性增益还不是可执行任务完成；只有能力检查点在浏览器中验证（Section 6，Table 2）。
• 训练与评估的注入接口不同：训练对手从初始页提议，评估对手对轨迹反应；反应式对手对不同执行器生成不同注入，所以对齐对手检查点对齐的是攻击者，不是同一次攻击（Section 6）。
• 组件未被隔离：评估没有隔离单个组件，作者把增益归于整段检查点序列；所设计的三种机制都未被隔离。去掉 Stage 1 不能确立其稳健性收益（Section 6）。
• 未报告端到端价格：完整序列的 token 数和 API 费用未测量，作者因此不报告端到端价格（Section 6）。
• 后续测量：作者认为应再对未参与塑造训练的对手评估，并最终对会适应已训练智能体的对手评估；下一步需要盲法人工审计、可执行任务检查器和计算量匹配的组件对照（Section 6）。
• 方差、参照与迁移：三个 rollout seed 衡量的是 rollout 方差而非训练方差，论文未报告置信区间；作者不持有托管 9B 的服务权重和原始轨迹。作者称未在已部署智能体或真实网站上测试所发布对手，这些结果也不能证明对任意页面作者稳健，或迁移到浏览器执行、视觉观察或未见网站（附录 C.8，Ethics statement）。Kimi-K3 的服务版本可能变化（Reproducibility statement）。

实验覆盖范围

• 被评执行器为 Qwen3.5-4B 的 Base、Capability iter 1–3 和 Robust iter 1–3，参照为托管 Qwen3.5-9B；模拟器为 WebWorld-14B，评审为 Qwen3.8-27B（Section 5、Table 1）。
• 评测集为 150 个表单任务、10 个模板、5 个技能层；本地检查点为三个 rollout seed，Kimi-K3 为两个 seed，且不是三次独立训练（Section 3、5，附录 C.4）。
• 攻击评估使用 Adv v1–v3 与 Kimi-K3，每条轨迹至多一次注入，冻结攻击者至多 11 次调用、每次 256 个输出 token（Section 3）。
• 浏览器结果覆盖 Base 与 Capability iter 1–3 的干净 Chromium 运行，共 1,800 条，无世界模型调用；Stage 2 未在浏览器中评估（Table 2、Section 5）。
• 消融是从 Base 开始的三轮仅 Stage 2，评估时使用带 Stage 1 的 Adv v1–v3（Table 7）。论文未报告同一骨干上的 SecAlign 式对照；附录 D.5 称该对照可以检验变化的攻击者是否必要。论文未报告完整训练序列的 token 数与 API 费用（Section 6）。

AdvSim2Real 在冻结网页世界模型中协同训练网页执行器，使它在页面含竞争指令时仍完成授权任务。

• 问题：第三方页面同时提供任务所需的数值、控件和可能的植入指令，执行器不能靠不读页面来防御。固定注入上的微调遇不到会适应已训练模型的攻击者；任务一旦被解开，也不再提供训练信号。
• 方法：Stage 1 交替更新课程和 Qwen3.5-4B 执行器，课程奖励当前执行器大约一半解开的任务。Stage 2 冻结课程，对手只因成功翻转得分：把已判成功的干净轨迹重放到注入步，仅当注入被渲染且续写失败才给分。执行器混合新攻击、历史攻击输入和干净任务，由冻结的 Qwen3.8-27B 重新判决。每阶段三轮，转移由冻结的 WebWorld-14B 预测。
• 世界模型内的完成率：150 个表单任务上，干净完成率从 Base 的 74.89% 到 Robust iter 3 的 81.33%，三名学习对手的等权均值从 48.07% 到 57.48%（Table 1）。未见过的 Kimi-K3 下从 23.00% 到 30.72%，作者称相对增益为 33.6%（Table 3）。Stage 2 第一轮两项指标都下降，之后回升；最终仍有 23.85 个百分点的干净到受攻击差距。
• 浏览器与对照：Stage 1 的严格浏览器成功率从 25.56% 到 44.44%，正确字段从 52.50% 到 73.24%（Table 2）。作者称最终 4B 在匹配身份上的攻击均值为 57.40%，对照托管 9B 的 56.96%，但 Table 1 中它对 Adv v2 和 Adv v3 更低。去掉 Stage 1 后，最终干净低 4.67 个百分点，攻击均值只低 0.44，且各轮差值有正有负（Table 7）。
• 作者的结论：作者称课程阶段对应能力、对抗阶段对应稳健性，但该消融不能确立 Stage 1 的稳健性收益。作者称所有稳健性数字都是一个网页世界模型内的模型判断，并称已发布代码、基准和全部检查点结果，以便对着在被防御执行器上训练过的对手评估注入防御。