onPanda：通过 token 级修正高效标注 LLM 与智能体的 on-policy 对齐数据

对齐标注难以同时压低成本、保持 on-policy 并给出细粒度监督。

• 瓶颈：作者称扩展高质量数据仍是 LLM 对齐与智能体的主要瓶颈。人工撰写或后编辑成本高，且得到 off-policy 数据。
• 偏好数据：更便宜，但作者称只有粗粒度 response 级监督，而且只能在模型已经能采样的候选里选择；模型采不到合格回复时，纠正信号很少。
• 智能体：轨迹来自多步环境交互，修正必须真正执行工具并拿到反馈后才能继续生成。作者称现有工具可观察、打分并中途干预，Reptile 可编辑输出再由终端执行，但仍缺能跨环境、实时修正推理与工具调用并执行修正后调用的交互工具。
• 机制：标注者只定位第一个不合适的 token，从候选点选或自由键入；系统截断其后内容并从修正前缀续写，重复该循环直到达到 SFT 质量线（Figure 1）。
• 交付：交互工具 onPanda，以及用它标注的中文视觉语言数据集 Panda-CVL 和配套的 token 级修正基准。

论文在附录 C 与引言里把相关工作分成三类，并在对照实验里使用 POTATO 与 Argilla。

标注工具

• 通用平台：POTATO（Jurgens 等人，2026）和 Argilla 可配置为后编辑或偏好标注；POTATO 2.0 还支持在线与离线的智能体轨迹标注。本文用它们实现两种对照工作流。
• 运行中干预：AgentDiagnose（Ou 等人，2025）用于诊断智能体轨迹，可观察、打分运行中的智能体并中途干预。引言只作此描述。
• Reptile：Dou 等人（2025）面向终端 SWE 任务，标注者本地编辑模型输出以触发续写，终端再解析执行。论文称这比整段人工后编辑更 on-policy。作者同时指出，其修正主要靠人工键入而非点选模型候选，并认为这限制 on-policy 保真；实现把推理和动作写成纯文本与 shell 命令，不能支持一般工具调用格式。作者称因环境与动作表示不同，不与 Reptile 做同任务对打。

细粒度监督

• step 与 token 标签：PRM800K（Lightman 等人，2024）用人工标注收集 step 级标签；TLDR（Fu 等人，2025）用合成扰动构造 token 级标签。作者对比称，onPanda 的信号位置精确、正负自然配对，来自构造合格回复的过程，无需额外标注或合成扰动。
• 偏好的粒度：引言把偏好数据与 Lightman 等人（2024）、Uesato 等人（2022）、Wu 等人（2023）的过程或细粒度反馈对照，称偏好标注更便宜，但只有粗粒度 response 级监督，且限于模型已能采样的候选。

纠正后续写

• 交互式翻译：Predictive Translation Memory（Green 等人，2014）和 INMT（Santy 等人，2019）已用“纠正前缀、重生成后缀”。作者称 onPanda 把该机制用于通用对齐数据标注，并扩展到多模态与结构化智能体场景，从标注树导出 SFT、偏好和 token 级修正。

基线与数据

• 对照基线：POTATO 上做人工后编辑，答案框预填初始 rollout；Argilla 上对每条 prompt 的四个 rollout 排序，并记录最优者能否作为 SFT。任务为 21 条图像描述，rollout 模型为 Qwen3.5-35B-A3B（instruct）。
• 本文资源：Panda-CVL 是可公开发布的生产子集；配套基准评 token 级修正。一致性分析用 Panda-MultiRef-21。

作者把 onPanda 定位为以 token 级修正为中心的工具：点选加少量键入把生成导向合格回复，大部分 token 仍由 rollout 模型生成，并自动留下位置精确的监督。

onPanda 以 locate–correct–continue 做 token 级修正：定位第一个不合适 token，截断后缀，从修正前缀续写，直到达到 SFT 质量线。

系统与接口

• 部署：组件化前端。轻量网页静态托管、无数据库，拖入本地文件后由浏览器调用 Chat Completions API；也可嵌入已有平台，由后端分发和收集。作者称内部生产系统用后一种。
• API：须能从 assistant 前缀续写（文中例为 vLLM 的 continue_final_message），并返回 top-k 候选与概率。会话写入单个 .panda.json。自由编辑的文本用一次 prompt_logprobs 重算概率，故还须支持该接口。粘贴外部文本或换模型后，可看当前模型对各 token 的置信度。

修正循环

• 候选与单位：流式记录采样概率和 top-k 候选，默认 k=20，token 下用颜色表示概率（Figure 1）。多字节字符或 emoji 被拆开时，界面按字素边界组成可读块：交互在块上，记录仍到 token。
• 修正与续写：候选合适则点击；否则双击并键入任意文本。系统截断修正点之后的内容，把修正后回复作为 assistant 前缀续写，修正点之前的 token 不重生成。每次保存位置、替换文本和修正前后样本。标注者沿回复重复该循环，不必每次重读全文。
• 设计上的四点：多数操作是点击。人只改少数位置，其余 token 由 rollout 模型生成；从高概率候选点选，对采样分布扰动更小。作者称记录可转成奖励模型或 DPO 的偏好数据，或按含修正 token 的 step 及其前序 step 转成过程奖励。自由编辑会偏离模型分布，但作者称只发生在模型采不到正确内容的位置。

标注树与导出

• 树：节点是 dialog。每次修正分叉新节点，父节点为修正前 dialog。Figure 1 中 Dialog 3 在 is_good=Y 时为正样本，Dialog 1 和 2 为负样本。中间版本自动保存。
• 日志：记录操作类型、时间戳、修正内容、是否标为 on-policy、采样配置快照。另有 is_good 和项目 schema（单选、多选、文本等）。
• 导出：is_good=Y 导出为 SFT；同一 prompt 下正负节点配成 response 级偏好。负样本通常是正样本的祖先，共享修正点前的前缀并在该点分叉。任意 tokenizer 下可算三元组（负样本，被拒 token 及位置，被选 token）。作者认为这有望成为后训练的基础；本文未做对应训练实验。

智能体与多模态

• 模板：含 reasoning、content、tool_calls 的回复，经 response template 与原生 token 流双向转换。渲染时特殊 token 可见、可改，解析后用于存储和执行工具（Figure 2）。修正因此覆盖推理、正文和工具参数。数据以结构化形式保存，模板只在渲染和修正时套用，可由不同模型继续改。
• 执行：工具经 MCP 接入。harness_to_mcp 把 Claude Code、Codex、OpenClaw 包成 MCP server。调用可先经批准：修正参数后执行，或拒绝并可选附文本；被拒轨迹自动作负样本。工具结果写回后继续生成。图像、音频、视频也可标注。

基准判定

• 任务：给定 prompt 和候选回复，模型判断能否接受；不能则定位并修正第一个错误。参考为标注时的首次修正位置和人工替换。
• 格式与匹配：输出为 find-and-replace：无需修改则给 is_good 标记，否则给短匹配片段、出现次序和替换文本。完整提示在配套代码库。652 个测试对话展开为 2,126 个实例（652 条 good，1,474 条 not good）。用 Qwen3.6 tokenizer 比较两套修正三元组：标注负回复对最终合格回复，以及对施加模型修正后的回复。相同才算对。
• 分数：F1 = 2 · GoodAcc · Corr-NG / (GoodAcc + Corr-NG)，即 GoodAcc 与 Corr.-NG 的调和平均，汇总方式来自 ProcessBench（Zheng 等人，2025）。Format 为可解析执行的比例；Loc.-NG 只要求找对 not-good 实例的位置。始终预测合格或始终尝试修正时，F1 为 0。

实验设置

• 对照任务：3 名标注者标注 21 条图像描述 prompt，均分成 3 组，拉丁方轮换三种方法的顺序。每组每种方法只标一次，同一人不用不同方法标同一条 prompt。标注者不是 onPanda 开发者，三种方法都完成了训练和热身。
• 生成：初始 rollout 均为 Qwen3.5-35B-A3B（instruct），temperature 0.7、top-p 0.8。onPanda、POTATO 与 Argilla 的第一个候选共享同一次 rollout。
• 基线：POTATO 为人工后编辑，答案框预填初始 rollout，改到达到 SFT 质量线。Argilla 为偏好排序：每条 prompt 四个 rollout，排序并记录最优者能否作为 SFT。作者写明比较的是完整工作流，难以区分增益来自界面、范式还是二者组合。质量线没有数值阈值，以标注者是否给出合格 SFT 回复为准。
• 指标：中位与平均标注时间；GPT-5.5 两两比较三种最终输出（Argilla 取排序最高者），每对两个顺序。PPL 由 rollout 模型计算；每条 prompt 另采 4 个 rollout，均值 1.171 为基线，并报告 ∆PPL。另有 SFT 覆盖率和每条 prompt 的偏好对数。
• 负荷：三人随后填写改编的 NASA-TLX，6 个分量表 0–10，先按人平均再跨人平均。论文未报告时间或胜率的显著性检验。
• 基准与一致性：Panda-CVL 测试集按第 3 问的协议评 Table 3 中的模型。Panda-MultiRef-21 为 21 条图像描述、同一初始回复各 4 份独立 onPanda 标注。

主结果

Rollout 为 Qwen3.5-35B-A3B，21 条图像描述。胜率是 GPT-5.5 将该方法与另外两种做两两比较时的获胜比例。据 Table 1。

Swipe horizontally to read the table

方法	时间 s 中位（均值）	胜率	∆PPL	SFT 覆盖	偏好对/条
Argilla	336（684）	28.6%	-0.83%	52%（11/21）	6.00
POTATO	681（711）	54.8%	+36.31%	100%（21/21）	0.95
onPanda	330（516）	66.7%	+0.86%	100%（21/21）	7.43

• 时间：正文称 onPanda 中位数比 POTATO 少 51.5%，摘要写减少 52%；与 Argilla 的中位数接近。正文称均值比 POTATO、Argilla 低 27.5% 和 24.7%（正文均值 515.6 s、711.1 s、684.5 s；表内括号为四舍五入）。作者认为 Argilla 均值远高于中位数，与难 prompt 上审阅四条长回复的右尾一致，并把相对后编辑的一部分增益归于续写：重复错误只改第一次。
• 质量：作者称 onPanda 胜率最高，并认为效率增益不是以质量为代价。另有匿名人工比较：评估者在 54.8% 的配对中偏好 onPanda 而非 POTATO。这与表中 POTATO 的胜率不是同一指标。论文未报告人工比较的配对数。
• 分布与覆盖：重采样基线 PPL 为 1.171，逐 prompt 波动约 ±2.8%。作者称 onPanda 与 Argilla 的 PPL 落在该波动内，后编辑的相对变化不在此范围内。编辑类按设计改到合格；排序法四个 rollout 都可能不合格。作者称 Argilla 的偏好对来自四路排序，POTATO 来自编辑前后一对，且有初始 rollout 未编辑即合格。

用户研究与生产部署

• 负荷：NASA-TLX 为 onPanda 3.1、Argilla 5.4、POTATO 6.8（Table 1；0–10，越低越轻）。一名标注者称 onPanda 能立刻看到进度，排序流程要在脑中保持很长上下文；另一名称概率着色有助于先查低概率 token。
• 规模：视觉、音频、智能体 session 分别为 25,596、105,143、1,257（Table 2）。作者称自动得到约 388K 条 token 级修正。全部合格回复中，97.0% 的 token 由模型生成，2.1% 来自候选点选，0.9% 为人工键入。
• 检查：Section 3.3 用逐 token 概率颜色和熵做诊断，例如判断错误 rollout 来自模型还是流程。该节没有定量结果。

Panda-CVL 基准

• 数据：可公开发布子集，7,491 个 session（训练 6,839，测试 652），以中文视觉语言为主。辅助 rollout 由 step-1o-turbo（32B dense VLM）生成。图像为自建或开放许可，任务不依赖内部业务知识。测试展开为 2,126 个实例。
• 分数：Table 3 中 F1 最高为 GPT-5.5（xhigh）17.09%（GoodAcc 53.37%，Corr.-NG 10.18%）。GPT-6（xhigh）的 Loc.-NG 24.46%、Corr.-NG 15.83% 为这两列最高。GPT-5.6-sol（xhigh）Format 99.98%，GoodAcc 16.56%。作者称 token 级修正对所有被评模型仍然困难，最高 F1 只有 17.09%。
• 例外：9 个 reasoning 配置里 7 个 Format 高于 90%，但 Corr.-NG 都低于 16%。作者认为格式上可执行并不必然带来准确的定位和修正。Instruct 的 Qwen3.5-397B-A17B 为 Format 38.83%、F1 1.38%。作者称 GoodAcc 差异大，模型接受或修改候选回复的倾向不同。

标注一致性

• 设置：Panda-MultiRef-21 有 21 条图像描述，同一初始回复各 4 份独立标注，共 84 份。比较的是初始回复与最终接受回复之间第一个不同 token 的位置和替换。
• 位置：精确一致率 30.95%，均匀随机位置基线 0.20%；容忍 4 个 token 时为 44.44%，基线约 1.84%（Figure 3；图注中人工两两比较为 126 对）。作者称该差距对应共享的定位判断。
• 替换：位置相同时，替换 token 一致率为 69.44%。作者称一致并不完整，修正位置和替换 token 都有可测变异，用来解释单参考精确匹配分数。Figure 3(b) 还包含 human leave-one-out 和 Doubao-Seed-2.1-pro 对配对参考（84 次）随窗口 w 的曲线；正文没有给出这两条曲线的逐点数值。

其他消融与分析

• 生产中位标注时间（Table 2，P50）：视觉 1.65 min，音频 1.93 min，智能体 31.31 min；P75 为 4.48、3.81、50.01 min。
• 每 session 的 token 级修正：2.256、3.034、8.566；候选点击 1.684、2.655、5.410；双击编辑 0.572、0.380、3.156。
• 零修正率：视觉 49.1%，音频 23.9%，智能体 53.5%。每条合格回复的模型生成 token：207.0、34.7、557.0；人工键入 1.0、0.7、1.2。
• 智能体每条合格回复：推理修正 0.34，内容修正 0.05，工具调用修正 0.66；每 session 工具调用 5.230。作者称因智能体标注尚新、rollout 模型未优化，控制更严，人工键入更多。
• 音频每 session 用户轮次 16.163，视觉 1.000，智能体 1.387。部分项目会从一个 session 标出多个 SFT 实例；表中每 session 的 is_good=Y 样本为 1.001、1.318、6.018。
• 对照实验没有把界面和范式拆开做消融。论文未报告评审与人工判断的一致性数值。

作者指出的局限与后续方向

• API：核心交互依赖 assistant 前缀续写和 top-k logprobs，概率刷新还要 prompt_logprobs。作者称部分专有 API 两者都不暴露，因而不能为这些模型标注 on-policy 数据（Limitations）。作者认为该约束实践中较轻，并列举 Doubao、DeepSeek、Kimi、StepFun 的官方 API 已同时提供这两项；开源侧 vLLM、SGLang 支持所需功能，llama.cpp 与 ollama 覆盖核心交互。
• 模板成本：新模型的推理和工具调用续写需要适配 response template。作者称有参考实现时，编码智能体通常能自动完成，但仍是一次性集成成本（Limitations）。
• 稀疏错误：效率和 on-policy 优势建立在错误稀疏上。作者称模型远未达到目标、修正变密时，两项优势都会减弱，此时可退回自由编辑。on-policy 相对于标注当时的 rollout 模型；数据用于训练别的模型，或被训模型权重持续更新时，这一好处会消退（Limitations）。
• 证据规模：作者称对照实验规模不大，为 3 名标注者 × 21 条图像描述 prompt、一个 rollout 模型；用户研究参与者都来自机构内部标注团队（Limitations）。
• 判定与智能体：质量评估主要靠 LLM-as-a-judge，另有 onPanda 与 POTATO 的小规模人工比较。作者称尽管交换了位置，自动判断仍可能反映评审模型自身的偏好。作者写明没有做受控智能体研究，智能体证据限于系统能力与部署统计；token 级修正信号的下游训练收益尚未经训练实验验证（Limitations）。
• 后续：作者正在开发 token 级 correcting model（奖励模型的 token 级对应物）和 token 级 correction optimization（DPO 的 token 级对应物），并用本文基准测试修正能力。另计划把标注与增量训练接成闭环，以及即将支持标注更早轮次，把后到的文本反馈变成对先前 rollout 的修正（Appendix D）。

实验覆盖范围

• 效率对照为 3 名标注者、21 条图像描述、拉丁方；rollout 为 Qwen3.5-35B-A3B（instruct，temperature 0.7，top-p 0.8）；基线是 POTATO 后编辑和 Argilla 四候选排序（Section 3.1）。作者写明该比较不区分界面与范式。
• 成对质量由 GPT-5.5 在两个顺序上评判；另有 onPanda 与 POTATO 的匿名人工比较。论文未报告该人工比较的评估者人数和配对数，也未报告显著性检验。
• PPL 基线为每条 prompt 另采 4 个 rollout 的均值 1.171。生产统计覆盖视觉、音频、智能体三类 session（Table 2）。作者写明未做受控智能体研究。
• Panda-CVL 为 7,491 个 session，测试 652 个对话、2,126 个实例；辅助 rollout 为 step-1o-turbo。Table 3 给出 9 个 reasoning 配置和 1 个 instruct 配置的 Format、GoodAcc、Loc.-NG、Corr.-NG、F1。
• 一致性数据为 Panda-MultiRef-21（21 条 prompt × 4 名标注者）。论文未报告用 token 级修正数据训练后的下游指标。

onPanda 是用 token 级修正标注 LLM 对齐数据与智能体轨迹的交互工具。

• 问题：人工撰写或后编辑成本高且 off-policy；偏好标注只有 response 级信号，也改不了模型采不到的内容。智能体修正还要真正执行工具。
• 方法：标注者定位第一个不合适 token，点选候选或自由编辑；系统截断后缀并从修正前缀续写，直到 is_good=Y。标注树导出 SFT、位置对齐的偏好对，以及负样本、被拒 token 和被选 token 的三元组。智能体用 response template 覆盖推理与工具参数，经 MCP 连接 harness，执行前可批准或拒绝。
• 对照：3 名标注者、21 条图像描述，rollout 为 Qwen3.5-35B-A3B。Table 1 中 onPanda 中位 330 s（均值 516 s），Argilla 336 s（684 s），POTATO 681 s（711 s）。正文称相对 POTATO 中位数少 51.5%，摘要写 52%。GPT-5.5 胜率：onPanda 66.7%，POTATO 54.8%，Argilla 28.6%。∆PPL：onPanda +0.86%，Argilla -0.83%，POTATO +36.31%（基线 1.171）。SFT 覆盖：onPanda 与 POTATO 为 21/21，Argilla 为 11/21。偏好对：onPanda 7.43，Argilla 6.00，POTATO 0.95。NASA-TLX：onPanda 3.1，Argilla 5.4，POTATO 6.8。
• 生产与基准：合格回复里 97.0% 的 token 由模型生成。Panda-CVL 含 7,491 个 session。Table 3 中 F1 最高为 GPT-5.5（xhigh）的 17.09%；作者称格式合规并不必然带来准确修正。
• 结论：作者认为该循环能在靠近 rollout 分布的同时留下细粒度监督，并希望社区把它用作后训练信号。下游训练收益本文没有用训练实验验证。