使用 LLMON 对大语言模型进行后训练

1. 01这篇论文试图解决什么问题？

   LLM 无法在 token 层面区分指令与数据，作者用 LLMON 结构化后训练建立显式执行绑定来防间接提示注入。

   核心问题：LLM 对所有上下文 token 一视同仁，没有内置机制区分可执行指令与被动数据，导致提示注入、指令绑定歧义和执行控制不可靠。

   • 问题场景与重要性：作者指出，这一缺陷表现为间接提示注入劫持执行、多指令共存时指代绑定歧义（如"执行第二个任务"），以及 RAG 和工具调用等组合场景可靠性下降。
   • 现有方法的不足：作者认为，指令微调依赖位置、聊天模板和统计模式等隐式线索，当上下文中存在多个候选指令时缺乏区分该执行哪一条的机制。
   • 核心观察：作者把上述失败归因于同一根源——模型在 token 层面无法区分指令与数据；若让执行只能通过显式标识符绑定发生，未被引用的指令就不应被执行。
   • 论文方案：基于 LLMON（LLM Object Notation）标记框架做后训练：构建 4.6B token 的结构化语料（含干扰项增强变体），对 Granite-4.1-3B/8B 基座做 SFT→GRPO→DPO，并提出 IFR、DAS、LEAK 三个逐层注意力可解释性指标。
   • 威胁模型：
     • 攻击者目标：让模型执行藏在数据载荷（检索文档、工具返回）中的恶意指令，即间接提示注入。
     • 攻击者知识与能力：论文未明确写白盒/黑盒设定；评测覆盖 OPI 的五类攻击（naive、escape、ignore、fake-completion、combine）、ASB 的工具观测注入，以及 ARES 红队的八种策略（含多轮 Crescendo 变体）。
     • 受害系统：经 LLMON 后训练的 Granite-4.1-3B/8B 及其 Instruct 对照。
     • 成功判定：注入指令被模型执行的比例（ASR）；作者明确该防御针对间接注入，对直接攻击和多轮攻击防护有限。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四组：指令微调与对齐、提示注入防御、工具调用、结构化生成；作者称与 StruQ/SecAlign 在边界载体和权限来源上不同。

   指令微调与对齐

   • Wei et al. (2022)、Ouyang et al. (2022)——指令微调；Rafailov et al. (2023)、Christiano et al. (2017)——偏好对齐。作者指出这些方法依赖隐式位置线索和聊天模板，多指令共存时缺乏消歧机制；本文与其互补，可叠加在任意指令微调语料上。

   提示注入与对抗鲁棒

   • Greshake et al. (2023)、Perez and Ribeiro (2022)——提示注入利用指令与数据间缺乏权限分离。
   • Spotlighting（Hines et al., 2024）——在提示层面用带内文本分隔符标记不可信片段。
   • StruQ（Chen et al., 2025a）与 SecAlign（Chen et al., 2025b）——把边界作为训练目标，在结构化提示和偏好对上微调。作者称与本文有两点不同：LLMON 的边界由词表中独立保留的单 token 承载、无法由普通内容拼出；权限挂在显式绑定而非角色名上，多个同角色指令可共存但只有一个被绑定执行。

   工具使用与函数调用

   • Toolformer（Schick et al., 2023）、Gorilla（Patil et al., 2024）、ReAct（Yao et al., 2022）——定义工具 schema 并训练模型产生结构化调用，但作者指出提示内的指令-数据边界仍是隐式的；LLMON 的执行语义与工具调用流水线正交兼容。

   结构化生成与约束解码

   • 约束解码（Willard and Louf, 2023；Zheng et al., 2024；Beurer-Kellner et al., 2023）在推理期用语法掩码强制输出结构；DSPy（Khattab et al., 2023）、POML 等提示框架和 MTP（Dantanarayana et al., 2025）在应用层编排调用。作者指出这些都不改变模型内部对指令-数据边界的表示，而 LLMON 在训练数据层面让模型通过监督学习内化结构区分。

   基线与基准：对照基线为同规模 Granite-4.1 Instruct 模型（在匹配的聊天模板语料上训练）；间接注入基准为 OPI 与 ASB，红队评测用 ARES，能力评测覆盖七大类 26 个基准（Section 4.3.1）。作者将本文定位为训练时方法，与推理期安全机制互补。

   收起这一问

3. 03论文如何解决这个问题？

   用 LLMON 把指令与数据包进带标识的类型化块、仅靠 exec 指针绑定执行，构建含干扰项的 4.6B token 语料做 SFT→GRPO→DPO。

   整体思路：用 LLMON（LLM Object Notation） 把提示序列化为带唯一标识符的类型化块，执行只能通过显式引用标识符的 exec 块发生，再用含干扰项的结构化语料后训练，让模型内化"只执行被绑定指令"的行为，无需修改架构。

   LLMON 记号与权限不变式

   • 六个保留分隔符：<|open|>、<|close|>、<|open_end|>、<|self_close|>、<|:|>、<|.|>，通过重映射未使用的词表槽位安装为单 token，不扩大词表；作者称这使结构无法由普通子词拼出。
   • 类型化片段：指令（instr<|:|>ID）、数据（data<|:|>ID）、需求（req<|:|>ID）、文档嵌套路径（doc<|.|>title、doc<|.|>text）；工具定义被展平为可寻址子字段，工具返回作为 data 块；system 块跨轮次保留。
   • 执行绑定：exec 块通过 exec<|.|>instruction、exec<|.|>input、exec<|.|>output 显式引用要执行的指令、输入数据和输出位置（Figure 1）。
   • 权限不变式：经 exec<|.|>instruction 或 exec<|.|>system 到达的内容是权威的；经 exec<|.|>input 到达的内容（数据、文档、工具 schema 与返回）无论措辞如何都只是被阅读的材料；无指针引用的块被渲染进上下文但不绑定任何东西。

   数据构建流水线

   • 三类模态：通用指令数据（单轮/多轮对话，逐轮指令块与 exec 链）、RAG 文档落地数据（doc 片段，exec 的 input 同时引用用户数据与相关文档 ID）、工具调用数据（两次 exec 循环：用户指令→工具调用，工具结果→最终回复）。
   • 干扰项增强（distractor augmentation）：作者称之为训练数据的核心创新——向上下文注入 d ∈ {1,2,3} 条竞争指令和 m ∈ {0,1,2,3} 段无关数据，exec 块仍只指向原目标，目标输出在所有变体中相同，共 8 个类别；依赖 exec 块的模型不受诱饵影响，依赖位置或祈使措辞等表面线索的模型被损失惩罚。

   训练流程

   • SFT：全参数微调，4.4M 样本、4.6B token、3 个 epoch、序列长 4096、8×H100 + FSDP。
   • RL：从 SFT 检查点出发做五个顺序 GRPO 阶段（约 169k 提示，覆盖多域推理、RLHF、知识校准和两个数学增强），再做最终 DPO 阶段（约 1k 条在策略注入偏好对，β=0.1、一个 epoch、学习率 5×10⁻⁷、有效 batch 32）；作者称 DPO 放在最后是为了不让无注入目标的阶段侵蚀已建立的边界行为。
   • 语料构成：通用/RAG/工具调用占全部 token 的 93.6%；Alpaca（52k 干净 + 103k 干扰变体）与 Dolly（15k 干净 + 30k 干扰变体）提供干扰增强；另有 130k 提示注入样本（注入指令作为无执行指针引用的块，目标输出是忽略它）。

   评测与可解释性指标

   • 成功判定：间接注入基准报告 ASR（注入指令被遵循的比例，越低越好）；ARES 红队报告鲁棒性（1−ASR，越高越好）。
   • 注意力指标：IFR = (A(I_t))/(A(I_t) + A(I_d))，即目标指令获得的注意力占全部指令片段注意力的比例；DAS 对目标数据同理；LEAK 为干扰指令与干扰数据注意力占全部已标注片段注意力的份额。逐层、对注意力头取平均（GQA 模型按 KV 组内平均），用于逐层失败诊断。

   收起这一问

4. 04论文做了哪些实验？

   在 OPI/ASB 上 ASR 从 53-100% 降至 0.02-5.6%，能力基本持平；ARES 直接/多轮攻击鲁棒性仅 28-37%；注意力指标显示绑定在中后层形成。

   实验设置

   • 被测模型：Granite-4.1-3B-Base 与 Granite-4.1-8B-Base（无指令微调先验的基座），各自经 LLMON 后训练（SFT→GRPO→DPO）；对照为同规模 Instruct 模型，在匹配的聊天模板语料上做相同全量微调。
   • 间接注入基准：OPI（文本级注入，五类攻击：naive、escape、ignore、fake-completion、combine）与 ASB 的观测注入臂（工具返回中注入）；指标为 ASR，越低越好。
   • 红队评测：ARES 把 808 个种子提示（来自 Purple、Gandalf、TensorTrust 等五个数据集）经八种策略变异为约 15k 攻击提示；多轮臂为 Crescendo 变体，攻击模型 DeepSeek-V3.2、评审 GPT-OSS (120B)、20 轮预算；指标为鲁棒性（1−ASR），越高越好。
   • 能力评测：七大类 26 个基准（General、Alignment、Math、Code、Tool-Calling、Multilingual、Safety），每类报告类内基准的无权平均。
   • 可解释性：在干扰提示上逐层计算 IFR/DAS/LEAK，分析 Granite-4.1-3B 模型对。
   • 样本量与重复次数：论文未报告各基准的具体样本量和重复次数。

   主结果

   据 Table 2（ASR%，越低越好）与 Table 1（能力均值）：

   表格较宽，可左右滑动

   模型	训练	OPI ↓	ASB ↓	能力六类均值	Safety
   Granite-4.1-3B	Instruct	100.0	99.2	66.7	80.89
   Granite-4.1-3B	LLMON	0.1	5.6	66.7	89.64
   Granite-4.1-8B	Instruct	96.3	52.8	74.2	84.19
   Granite-4.1-8B	LLMON	0.02	3.1	72.8	90.36

   • 作者称文本级注入"基本失效"，ASB 上降幅约 17 倍、OPI 上约三个数量级，且在两个规模上都成立；机制是结构性的而非学到的拒答——注入指令位于无执行指针引用的 data 块。
   • 能力方面目标是持平：3B 六类均值不变，8B 降 1.4 分，最大单项回退为 8B 数学（84.09→79.63，Table 1）；3B 的 Code 与 Multilingual 有提升，Safety 在两个规模分别升 8.8 和 6.2 分（正文口径）。

   对抗红队（ARES）

   • 测了什么：独立于公开基准的红队活动，按攻击入口分为间接、直接、多轮三类（Table 3，鲁棒性 %，越高越好）。
   • 结果：间接攻击鲁棒性从 2.8% 升至 84.6%（3B）、从 0.7% 升至 79.8%（8B）；直接攻击为 37.1%（3B）与 32.7%（8B），多轮为 28.0%（3B）与 37.0%（8B）；间接臂的 ID/OOD 拆分为 90.3/83.6（3B）与 79.0/75.9（8B）。
   • 作者解读：直接攻击中对抗指令就是用户自己的指令，没有指令-数据边界可执行；多轮攻击者是在构建模型自身会接受的请求。作者称该不变式应与其他类型防御组合使用，而非单独依赖。

   注意力可解释性分析

   • 逐层指标（Table 4，3B 对）：LLMON 模型在 25、28 层平均 IFR 为 86.5-87.2%、LEAK 为 6.3-8.6%，Instruct 对应 25.8-37.7% 与 34.9-44.9%；最后一层（39）两者都回落（IFR 28.0% vs 17.2%），作者据此称执行绑定是中后层计算，只看末层会低估。
   • 逐层曲线（Figure 2、3、5）：作者称两模型在前 20 层不可区分（IFR 均在 25-45% 波动），从 22 层起分离，LLMON 模型在 25-38 层维持 55-89%（28 层峰值 89%）；LEAK 在前六层两者都超过 50%，第 7 层起 LLMON 落入 5-25% 区间、25 层后低于 15%，Instruct 全程维持 20-50%；DAS 形态与 IFR 相同（23-38 层 46-94%）。
   • 片段分布与 token 级流（Figure 4、6，31 层）：LLMON 模型注意力在目标指令（I-T 23.4%）与目标数据（D-T 23.0%）间分配，最大干扰指令仅 5.6%（IFR 71.4%、DAS 72.6%、LEAK 9.9%）；Instruct 最大接收者是干扰指令 I-D1（47.5%），目标指令仅 14.5%（IFR 17.3%、DAS 22.1%、LEAK 49.9%）。作者称生成过程中目标数据片段在引用被计数句子时激活、干扰片段全程接近零。

   其他消融与分析

   • 论文未报告独立的消融或参数敏感性实验；上述逐层指标与 ID/OOD 拆分即全部附加分析。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出五条局限：单一模型家族与规模、token 开销未量化、直接/多轮攻击防护弱、语料以英文为主、注意力指标无因果。

   作者指出的局限与后续方向

   • 模型覆盖（Limitations）：评测只覆盖同一模型家族与同一代的两个规模（3B、8B）；作者称方法虽与架构无关，但同等幅度的提升能否迁移到其他预训练语料、架构和更大规模（隐式指令跟随可能更强的模型）仍待验证。
   • token 开销（Limitations）：分隔符使上下文长度增加约 7-15%（取决于样本复杂度）；作者未系统量化对推理延迟和吞吐的影响，仅称训练时的序列打包大幅摊销了该成本。
   • 防护范围（Limitations）：权限不变式针对间接注入；当对抗指令就是用户指令时防护有限（红队鲁棒性直接 33-37%、多轮 28-37%，对比间接 80-85%），且这是学习到的行为而非强制保证——作者称它大幅降低但未消除数据内指令被遵循的可能，应作为防御的一层而非唯一一层。
   • 语言覆盖（Limitations）：能力评测虽含多语言基准，但 LLMON 训练语料以英文为主；作者未刻画标记开销在形态丰富语言或超长文档任务上的表现。
   • 指标的因果性（Limitations）：IFR/DAS/LEAK 只提供注意力模式与输出质量之间的相关性，未建立因果机制；作者称注意力权重是 transformer 信息流的不完美代理，注意力层指标与生成层表现的关系可能非单调。

   实验覆盖范围

   • 被测模型为 Granite-4.1-3B-Base 与 Granite-4.1-8B-Base 共 2 个，对照为同规模 Instruct（Section 4.2）。
   • 间接注入评测为 OPI（五类攻击）与 ASB 的观测注入臂两个基准（Section 4.3.2）。
   • 红队评测为 ARES：约 15k 攻击提示、八种策略，多轮臂预算 20 轮，攻击模型 DeepSeek-V3.2、评审 GPT-OSS (120B)（Section 4.3.3）。
   • 能力评测覆盖七大类 26 个基准；可解释性分析只在 Granite-4.1-3B 模型对上做（Section 5.4）。
   • 论文未报告各基准的样本量、评测重复次数和统计显著性检验。

   收起这一问

6. 06总结一下论文的主要内容

   LLMON 结构化后训练让 Granite-4.1-3B/8B 学会只执行显式绑定的指令，间接注入 ASR 降至 0.02-5.6%，能力基本持平。

   一篇防御类论文：用 LLMON 标记框架做后训练，让模型在 token 层面区分指令与数据，从而抵御间接提示注入。

   • 问题：LLM 对所有 token 一视同仁，无法区分可执行指令与被动数据；作者认为这是间接提示注入、指令绑定歧义和 RAG/工具调用可靠性下降的共同根源，而现有指令微调只依赖隐式位置与模板线索。
   • 方法：把所有内容包进带唯一标识符的类型化块，执行只能通过显式引用标识符的 exec 块发生；构建 4.4M 样本、4.6B token 的结构化语料（含 d≤3 条竞争指令、m≤3 段无关数据的干扰变体和 130k 注入样本），对两个 Granite-4.1 基座做 SFT→五阶段 GRPO→DPO。
   • 主结果：OPI 上 ASR 从 100.0/96.3% 降至 0.1/0.02%（3B/8B），ASB 工具观测注入上从 99.2/52.8% 降至 5.6/3.1%（Table 2）；能力六类均值 3B 持平（66.7）、8B 降 1.4 分，Safety 两类规模分别升至 89.64 与 90.36（Table 1）。
   • 红队：ARES 间接攻击鲁棒性从 2.8/0.7% 升至 84.6/79.8%，但直接攻击仅 37.1/32.7%、多轮仅 28.0/37.0%（Table 3）。
   • 机理：IFR/DAS/LEAK 逐层指标显示，LLMON 模型在 25-38 层把注意力集中于被绑定的指令与数据（31 层 IFR 71.4%、LEAK 9.9%），Instruct 模型最大注意力接收者是干扰指令（47.5%）；作者称绑定是中后层形成的计算而非提示表面性质。
   • 作者结论：显式执行语义可以通过标准后训练教会、无需改架构，可作为推理期安全机制的训练时补充；作者同时强调该防御是学习到的行为而非保证，对直接和多轮攻击需与其他防御组合。

   收起这一问

相关论文