你的策略其实是一个 Harness：Agent 接口的决策几何

核心问题：在 KL 正则控制下，一个策略从它的 harness（提示词、工具、控制逻辑）中学到了什么，当 harness 改变时什么能保留下来。

• 问题场景：语言模型智能体经由 harness 后训练与部署；自动 harness 设计修改提示词、工具和工作流，并用一个固定模型在候选 harness 下的表现打分（引言）。作者认为这种打分假设模型在旧 harness 下学到的东西能迁移到候选 harness。
• 现有做法的不足：作者称同一处接口改动可以提升一个模型的准确率、却降低微调模型的准确率（引言引 Mu et al., 2025）；训练还会把提示词或 harness 提供的行为搬进权重，因此固定权重比较把"harness 提供什么"和"当前检查点用得如何"混在一起。
• 核心观察：KL 正则控制下最优策略是动作分数的 softmax，最优策略的 log odds 恰好恢复 harness 对每个动作的相对偏好，因此训练好的策略携带其 harness 的偏好；部署回报等于 harness 的 ceiling 减去策略的 mismatch，训练只改变 mismatch，换 harness 两项都动（摘要）。
• 论文提出：一套决策几何框架——相对动作分数、ceiling、mismatch 与适配阈值，加上 MiniWoB++ 上的受控验证和编码智能体 harness 上的教师模型估计方法（贡献 1–3）。
• 两个动机实验：MiniWoB++ 上反转观测字段顺序，最优决策全部不变，训练模型成功率却从 85.0% 降到 19.2%；新增批量点击的 harness 提高了 ceiling，冻结模型迁移后成功率从 85.0% 降到 72.9%，适配后升至 88.2%（Figure 1、Table 8）。

正则控制与决策几何

• Levine (2018)、Haarnoja et al. (2017; 2018)——control as inference 与最大熵 RL，用奖励、动作值和参考分布表达最优策略。
• Geist et al. (2019)、O'Donoghue (2022)——正则化 MDP 理论，提供 Gibbs 最优策略和值差距的几何；Schulman et al. (2017) 给出策略梯度与 soft Q-learning 的等价视角。
• Rafailov et al. (2023; 2024)——DPO 及其序列扩展把语言模型策略与奖励、动作值联系起来；本文的最优动作分数把语义动作值与语义参考先验合并，用于跨接口比较决策。

行为可辨识性与奖励迁移

• Ng & Russell (2000)、Cao et al. (2021)、Skalse et al. (2023)——逆 RL 从行为恢复奖励时的歧义与部分可辨识性；Gleave et al. (2021) 的 EPIC 在保持策略的变换下比较奖励函数。
• Schlaginhaufen & Kamgarpour (2024)——研究正则化逆 RL 恢复的奖励在转移律改变下的迁移。

接口与智能体设计

• Yang et al. (2024)（SWE-agent）、Sclar et al. (2024)——接口设计与提示词格式影响智能体行为；Mu et al. (2025)（GUI-360°）报告同一接口改动提升 GPT-4o 动作预测准确率却降低微调 Qwen。
• Hu et al. (2025)（ADAS）、Zhang et al. (2025b)（AFlow）、Zhang et al. (2026)（Darwin Gödel Machine）、Fernando et al. (2023)（Promptbreeder）等——自动搜索智能体实现、工作流、提示词与工具，用固定模型执行反馈评分。论文指出这类流程把候选的最优回报与当前检查点的差距混在一起，本文把两者分开。

上下文蒸馏与联合适配

• Snell et al. (2022)——上下文蒸馏让模型在无提示词时复现提示词诱发的行为；Ye et al. (2026)（Harness-Zero）把专门 harness 蒸馏进权重。作者称本文的可辨识结果给出了这类训练能携带的决策信息（训练 harness 的相对动作分数），readout 研究显示蒸馏后的策略仍会随接口改变选择。
• Hebbar et al. (2026)（SIA）、Chen et al. (2026)（Co-Harness）、Kim et al. (2026)（WHALE）、Wei et al. (2026)（HarnessBandit）——联合适配 harness 与权重；作者称这些方法可用 ceiling 与 mismatch 判断候选 harness 是提供太少还是未被用好，本文的适配阈值给出所需 mismatch 降幅。

定位：作者把本文定位为给 harness 比较提供分解工具——把每个候选的最优回报（ceiling）与被评检查点到该最优的差距（mismatch）分开，而不是提出新的 harness 搜索或训练方法（附录 A）。

整体思路：把 harness 诱导的控制问题写在语义动作（执行的操作及其参数）上，证明最优策略的 log odds 恰好辨识 harness 的相对动作分数，再把部署回报恒等分解为 ceiling 减 mismatch，由此导出适配何时有益。

语义控制问题

• 接口 I = (cI, dI, eI) 把状态编码为上下文、把模型输出解码为动作并执行；语义策略 Πθ,I(a|s) 是把解码到同一动作的所有输出的概率求和（Eq. 1），因此固定权重不固定语义策略。
• 目标为正则化回报 J_I(Π) = E[∑_t γ^t r_I(s_t,a_t) − τ log(Π(a_t|s_t)/π_I^ref(a_t|s_t))]，即任务回报减去对语义参考策略的 KL 惩罚；每次对被评模型的调用（含验证、重试）都算一次决策。
• 受控研究：六个 harness（H0–H5）作用于三个 MiniWoB++ 任务族，每个诱导控制问题编译为有限图；提示词列出完整动作菜单、每动作一个 token，下一 token 分布精确给出 Πθ,I；奖励为二值任务成功，γ=0.95、τ=0.1，冻结基座作参考（第 2 节、附录 F.1）。

策略学到什么

• 最优动作分数 F_I^∗(s,a) = Q_I^∗(s,a) + τ log π_I^ref(a|s)，最优策略是其 softmax；给同一状态所有分数加常数不改变策略，故只有状态内分数差影响决策。
• Proposition 3.1：两接口最优决策等价当且仅当最优分数类相同；若检查点在训练接口上最优，则其缩放 log 概率等于训练 harness 的相对分数。行为只确定相对分数，不确定绝对值。
• 检查点的 readout 定义为居中化分数 τP⊥log Πθ,I，即它通过接口表达的动作偏好；geometry error 是 readout 与最优居中分数在固定状态库上的均方差。

迁移为何失败、代价多少

• 部署分数误差分解为三项（Eq. 5）：target shift（最优分数的变化）、training residual（原训练留下的误差）、readout drift（模型表达分数的变化）；保持最优决策不变的呈现改动可隔离 readout drift。
• Proposition 5.1：固定接口下回报差距等于沿被评策略轨迹累积的 KL 加权和，权重是策略自己的折扣占用；等价地由分数的 Bregman 散度 DΦ 度量。
• 定义 ceiling C(I) 为 harness 的最优正则化回报，mismatch M(θ,I) 为检查点未实现的回报，则 J = C − M 恒成立；Corollary 5.2 给出适配有益的充要条件 M(θ1,I2) < T = ∆C + M(θ0,I1)。

部署中的测量

• 用随机停止的 pilot rollout 从折扣占用中采样状态，每状态采 N 个动作平滑成分布，按 Eq. 11 估计 mismatch；Proposition 6.1 用居中分数误差给出 mismatch 上界 ε²d/(4τ(1−γ))。
• 编码智能体无最优解时，用更强的教师模型（GPT-5.6-luna）代替最优策略估计 ceiling 与 mismatch，输出映射到 13 个共享动作类别，以被评模型自己的类别分布作参考（第 6.3 节、附录 F.7）。

实验设置

• 被测模型：Qwen3.5-2B（MiniWoB++ 后训练与迁移，LoRA rank 16、1,024 次更新、每次 4 个任务）；Qwen3.5-9B（编码 harness 与 F.8 精确比较，冻结）；H4 的评审是另一个冻结 Qwen3.5-2B。
• 基准：MiniWoB++ 三个任务族（click-checkboxes、click-checkboxes-soft、ascending-numbers），固定测试集 576 任务、每族 192；Terminal-Bench Lite 39 个任务，官方 verifier 评分。
• harness：H0 直接执行；H1 批量点击；H2 提交前自动检查；H3 程序验证工具；H4 语言模型评审工具；H5 仅改指令（Table 4）。编码侧为 DeepAgents、Pi coding-agent、DeepSeek Harness、Terminus-2、mini-SWE-agent 的原生配置。
• 指标：任务成功率（精确完成的概率）、geometry error（居中分数 MSE）、正则化回报 J、ceiling C、mismatch M；预测质量用 Spearman ρ 与 RMSE。
• 评审与判定：MiniWoB++ 全部量由编译图上的动态规划精确计算；编码侧以 GPT-5.6-luna 作教师代替最优策略，目标与教师分布各用 128 和 64 个采样估计。
• 重复与不确定性：编码 harness 每个跑 3 次独立运行；MiniWoB++ 区间用 2,000 次配对任务 bootstrap；适配两分支共享源权重、预算与任务抽取。

主结果

后训练使偏好绑定训练 harness（Figure 3，Qwen3.5-2B，1,024 次更新后）：

训练 harness	任务成功率（%）	训练结束时 geometry error（×10⁻²）
H0	85.0	0.63
H1	86.8	1.39
H2	95.3	0.61
H3	75.6	0.89
H4	75.2	0.90
H5	94.7	0.61

• 六个 harness 下 geometry error 从初始水平降 69%–90%，在不参与更新的 held-out 任务上降幅与训练任务相差不到一个百分点（附录 F.1）。
• 6×6 迁移矩阵中，每个部署 harness 下误差最低的都是该 harness 自己训练的检查点（Figure 3c 加框项）；作者称后训练使偏好特定于训练 harness。

呈现改动隔离 readout drift

• 测了什么：H0 训练的冻结检查点，改动观测呈现而保持转移、奖励、语义参考与最优策略不变（数值检查确认，Table 1、附录 F.2）。
• 结果：反转观测字段使 52.0% 状态的最可能动作改变，成功率从 85.0% 降到 19.2%，mismatch 从 0.015 升到 0.484；动作码循环移位降到 57.1%，菜单改列表格式反而为 86.0%。
• 作者解读：与 Sclar et al. (2024) 的提示词格式敏感性研究不同，这里控制问题证明最优策略不变，全部效应来自模型的 readout。

适配使有害修订变有益

• 测了什么：从 H0 源检查点分出两分支，同预算分别继续 H0 训练与适配 H1（批量点击），在 576 个测试任务上评估（Table 8、9）。
• 结果：H1 的 ceiling 增益为 0.01248，冻结迁移使 mismatch 增加 0.12252、回报降 0.11004；适配后 H1 下成功率 88.17%，超过源对（85.05）与 H0 继续分支（83.37），最终恢复差 0.00844 [0.00135, 0.01447]、对继续训练的增益 0.00840 [0.00254, 0.01411]，区间均不含零。
• 跨 swap：30 个有序 swap 中 22 个被冻结比较拒绝，其中 9 个 T>0 进入适配；7 个提高 ceiling 的全部超过源对，2 个降低 ceiling 的无增益（Table 10）。预测增益 T−r2 对八个预先记录的 swap 符号全对、排序 Spearman ρ=0.95，而冻结回报变化只有 ρ=0.17；H0→H5 与 H4→H3 冻结损失相近，前者增益并列最大、后者为零。

采样测量与编码 harness

• 采样估计：配置扫描中 ceiling 减采样 mismatch 的预测 RMSE 为 0.00230，与频率 rollout（0.00240）相近，ceiling 单独为 0.23470；适配节点的恢复与排序差预测上，mismatch 法 RMSE 约 0.0025–0.0029，比频率 rollout（约 0.027）准确约十倍（Table 12）。
• 编码 harness：冻结 Qwen3.5-9B 下五个 harness 的 Terminal-Bench Lite 准确率从 47.9%（DeepAgents）到 64.1%（Terminus-2）；教师估计的 Ĉ−M̂ 与准确率 Spearman ρ=1.0，而 Ĉ 单独 ρ=0.7、M̂ 单独 ρ=−0.7（Table 2）。
• mismatch 来源：DeepAgents 每决策 mismatch 与 Terminus-2 相近，但目标模型每条轨迹决策 14.2 次（Terminus-2 为 4.9），累积最大 mismatch；DeepSeek Harness 每决策 mismatch 最大（Table 13、Figure 6）。

其他消融与分析

• 精确对照（附录 F.8）：冻结 Qwen3.5-9B 作自身参考时，ceiling 单独把最成功的 harness 排最后，mismatch 单独把 H0 排在两个更差 harness 之后，只有 C−M 全序正确。
• 测量预算校准（Table 11）：m=256、N=1024 时最坏节点回报差 RMSE 0.00672，代价为每任务每条件约 42,553 次 actor 查询。
• 三分类预测（有害/持平/有益）：配置扫描 72 个比较中 71 个正确；恢复节点 7 个中 6 个一致，排序节点 7 个全对（附录 F.6）。
• 负面结果：H1→H0 适配后检查点偏好 H0 的幅度为 0.041 但仍低于源对，作者称排序反转本身不代表净增益；H2→H5 适配后成功率变化 −0.5 个百分点（Table 10）。

作者指出的局限与后续方向

• harness 评估方法：作者称 harness 评估应在冻结回报旁报告 ceiling、在每个 harness 下评估多个检查点而非单一检查点、并检查呈现改动如何改变模型选择（第 7 节 Discussion）。
• 蒸馏与联合适配的测量：作者称 harness 蒸馏和 harness-权重联合适配方法可用采样动作测量分别跟踪 ceiling 与 mismatch（第 7 节）。
• 教师代替最优的近似：作者称教师不一定最优，Ĉ 估计的是 ceiling 的下界、M̂ 度量的是到教师的距离，因此只比较 Ĉ−M̂ 的排序与准确率排序（附录 F.7）。
• 类别级比较：作者称 13 个动作类别合并了不同参数与效果的动作，估计只在类别层面比较决策（附录 F.7）。
• 机制不可辨识：Proposition C.1 指出同一最优分数场可由连续族的参考先验、奖励甚至转移律实现，最优行为不能唯一确定接口机制（附录 C.3）。

实验覆盖范围

• 被测模型为 Qwen3.5-2B（MiniWoB++ 全部受控实验）和 Qwen3.5-9B（编码 harness 与 F.8 精确对照）共两个；教师为 GPT-5.6-luna。
• MiniWoB++ 受控研究覆盖三个任务族、六个 harness、576 个固定测试任务；编码研究覆盖五个 harness、Terminal-Bench Lite 39 个任务，其中 ceiling/mismatch 估计只用 3 个探测任务。
• 后训练预算为每 harness 1,024 次更新、每次 4 个任务；适配分支各 1,024 次额外更新；编码 harness 每个 3 次独立运行。
• 编码侧目标轨迹完整探测数为 9 条中的 6–9 条（因 harness 而异）；论文未报告人类评估，也未报告 MiniWoB++ 之外的任务类型。
• 论文讨论了 Sclar et al. (2024) 的提示词格式敏感性研究，指出本工作的不同在于控制问题可证明最优策略不变（第 4.2 节）。

一篇关于智能体 harness 的分析论文：作者把 harness（提示词、工具、控制逻辑）形式化为语义动作上的 KL 正则控制问题，回答"策略从 harness 学到什么、harness 改变后什么保留"。

• 问题：自动 harness 设计用固定模型给候选打分，作者认为这把 harness 提供的价值与当前检查点的适配程度混在一起，同一接口改动可提升一个模型却损害微调模型。
• 方法要点：最优策略的 log odds 恰好辨识 harness 的相对动作分数（Proposition 3.1）；部署回报恒等于 ceiling 减 mismatch（Proposition 5.1）；适配有益的充要条件是适配后 mismatch 低于阈值 T = ∆C + M(θ0,I1)（Corollary 5.2）；无最优解时用采样动作或教师模型估计 mismatch。
• 结果一：MiniWoB++ 六个 harness 上后训练使 Qwen3.5-2B 的 geometry error 降 69%–90%，且每个部署 harness 下误差最低的都是该 harness 自训的检查点，作者称偏好变得 harness 特定（Figure 3）。
• 结果二：反转观测字段保持全部最优决策不变，却把训练模型成功率从 85.0% 降到 19.2%，52.0% 状态的最可能动作改变（Table 1）。
• 结果三：九个被冻结比较拒绝且 T>0 的 swap 中，七个提高 ceiling 的适配后全部超过源对；预测增益 T−r2 的排序 Spearman ρ=0.95，冻结回报变化只有 ρ=0.17（Table 10）。
• 结果四：编码智能体上，教师估计的 ceiling 减 mismatch 复现五个 harness 的 Terminal-Bench Lite 准确率排序（ρ=1.0），任一单项都会排错（Table 2）。
• 作者结论：harness 评估应同时报告 ceiling 与冻结回报、在每个 harness 下评估多个检查点；harness 蒸馏与联合适配可用采样测量分别跟踪 ceiling 和 mismatch（第 7 节）。