LS-AR 双通道架构：文本目标丢弃可抵御提示注入但引入潜在向量攻击面

标准自回归模型把宏观目标、状态历史和瞬时token放在同一条序列里，长程执行时缺少隔离宏观目标的结构。

• 场景：目标导向规划既要守住高层约束，又要逐步生成。作者认为序列变长后会出现注意力稀释和上下文驱逐：指令被推出窗口，或摊在长注意力上，模型转而优先局部谓词，计划连贯性下降（引言）。
• 现有做法：扩窗、稀疏注意力、外部记忆或KV淘汰能推迟驱逐。作者认为代价是计算或检索延迟，且仍不隔离目标。思维链、思维树、ReAct把计划写成文本草稿，占窗口，长程rollout仍会任务遗忘（第2节）。
• 假设：宏观意图不必在token空间逐步预测，可在潜空间直接预测目标状态，再用不占上下文槽位的向量调节解码，从而绕过窗口长度。
• 方法：提出Latent-Steered Autoregressive（LS-AR）。静态编码器P0把提示压成固定维向量并全程保持；动态跟踪器Pt在状态边界更新该向量。二者经FiLM注入解码器。经验范围限于领域分词的合成环境Treasure Hunt与Blocksworld。
• 通道权衡：作者还比较文本提示与潜向量谁掌握解码权。文本目标丢弃会把控制权交给潜通道；作者认为这构成对文本提示注入的结构性防御，同时打开潜向量攻击面。

讨论集中在扩窗与循环状态、文本规划草稿、JEPA式潜预测三类；实验另设参数匹配的自回归基线。

上下文扩展与循环架构

• 扩窗与外部记忆：位置插值（Chen et al., 2023）、稀疏Transformer（Child et al., 2019）、RingAttention（Liu et al., 2024a）、Landmark Attention（Mohtashami and Jaggi, 2023），以及RAG（Lewis et al., 2020）和注意力汇（Xiao et al., 2024）。引言还提到Mem0（Chhikara et al., 2025）和ArcMemo（Ho et al., 2025）。作者认为这类做法带来二次计算或检索延迟，依赖精确局部检索，没有把宏观目标从token流里隔离开。
• 选择状态空间：Mamba等SSM（Gu et al., 2021; Gu and Dao, 2023）避开二次代价。作者认为宏观指令和局部句法仍混在同一循环状态，信号会被稀释。

显式规划与智能体推理

• 多步规划：论文称自回归规划在多步基准上常因因果短视陷入局部最优，如Sussman异常（Sussman, 1973），并引用Valmeekam et al., 2023a。
• 文本草稿：Chain-of-Thought（Wei et al., 2022）、Tree-of-Thoughts（Yao et al., 2023）、ReAct（Yao et al., 2022）让模型在token空间说出计划。作者认为长程rollout中这些草稿占窗口，仍会上下文驱逐和任务遗忘。

预测架构与潜条件

• JEPA：Dawid and LeCun（2024）与Assran et al.（2023, 2025）预测抽象表示，而不是精确未来token。LLM-JEPA（Huang et al., 2025）把潜预测限制为辅助训练目标；Agentic-JEPA（Rodrigo-Ginés, 2026）把潜表示用于离线状态模拟。作者写明的区别是：LS-AR把预测注入解码环，经FiLM（Perez et al., 2018）变成生成时的调节向量。

基线与数据

• 基线：参数匹配的自回归因果解码器（表中称AR GPT-2）；效率实验另有层数匹配、未加条件的小解码器；Blocksworld还有用高斯噪声替换调节向量的Random FiLM。作者称不与Chain-of-Thought或RAG对照，以免和潜向调节混在一起。
• 数据：程序生成的Treasure Hunt与Blocksworld。

作者将LS-AR定位为专用连续调节通道：目标不靠加长窗口，也不留在token草稿里；相对只做辅助损失或离线模拟的JEPA变体，潜预测被接进逐步解码。

LS-AR把宏观目标编成不占上下文槽位的连续向量，再用FiLM调节因果解码，使目标保持与逐步token生成分开。评测两种用法：静态P0与动态Pt。

问题设定

规划要联合提示g（约束与目标状态）和满足g的轨迹。标准模型在宽度W的滑窗上分解下一token；rollout长于W时，提示离开因果注意力。作者称这会造成上下文驱逐和计划漂移。LS-AR另维持向量P，维数d，跨解码持续存在。

静态目标编码

冻结的Ebase编码提示并均值池化，Epred映到潜空间。阶段2用VICReg让该向量对齐真实轨迹经同一冻结编码器后的均值池化表示，Ebase不更新（Figure 1）。

P₀=E_pred(MeanPool(E_base(g)))

含义：顺序无关的提示嵌入被预测成目标潜向量，而不是在token空间生成未来轨迹。

动态状态跟踪

Figure 2：只有当前token是预定义触发token时才更新。冻结Ebase取触发位置隐状态si；多头注意力以旧向量为query、si为key和value。作者注明单key时softmax为1，仍保留该模块以做多子空间投影，并支持多token状态历史。更新是残差加MLP，再乘可学习标量α。α初值0，第0步为恒等，只在轨迹偏离预期时学习修正。非触发步向量不变。Epred、Ebase、FiLM与该注意力的d都固定为512。逐步生成保持常数复杂度；跟踪只在触发边界做随前缀变长的编码。

附录A选择事件边界而非固定间隔：Blocksworld用逗号。作者理由是子动作长度不固定，固定间隔可能在子目标未完成时改写先验。历史摘要用触发位置隐状态，不用均值或最大池化；理由是因果注意力已在末位聚合前缀，且少存中间激活。

FiLM与训练

Figure 3：静态全程注入P0，动态注入逐步向量。每层把向量线性投影成缩放γ和偏置β，调制注意力之后、MLP之前的层归一化。投影权重和偏置零初始化，使起步为恒等。作者称这是为保持预训练模型稳定。

\tilde{h}_{l,i}=\mathrm{LayerNorm}_2(h_{l,i})\odot(1+\gamma_{l,i})+\beta_{l,i}

含义：潜向量用逐维缩放和位移改写该层归一化后的隐藏状态，再预测下一token。

三阶段（附录B.3.3）：

1. 阶段1：领域句法因果微调。附录写基座d=512、4层，30 epoch，峰值学习率1e-4，10%线性预热后衰减。
2. 阶段2：Epred为3层MLP（GELU），VICReg。不变项是批内均方误差，方差项把每维标准差顶在1以上，协方差惩罚非对角项。权重25、25、1，批大小32，30 epoch，学习率2e-4，Ebase冻结。
3. 阶段3：解码器、FiLM和动态跟踪器端到端做下一token预测，30 epoch，学习率1e-4。优化器AdamW，梯度裁剪1.0。
4. 阶段3b：30%的阶段3步把文本提示换成填充。附录把该概率写进阶段3配置；第4.5节把它当作Latent-Forced，并与不掩码的Standard对照。Table 1至Table 4未标明课程。

评估为贪心解码，温度τ=0.0。

任务构造与判定

• Treasure Hunt：程序生成，12种语义物品，口令为1000至9999的整数。干扰句拼到token长度H，避免立即重复。末尾局部触发后，须同时给出口令与物品。标准BPE，词表大小50257。训练50k条，评估500条。前缀强制：检索前注入干扰token。窗口W=500，H取64、128、256、512、1024。语义目标按精确匹配；数字口令按4位亚词BPE准确率。
• Blocksworld：N个方块，动作pickup、putdown、stack、unstack，转移确定。领域词表大小100，实体、动作和分隔符各一词。最优路径用广度优先。训练N=5，轨迹含至多K=1次强制次优动作及随后修正；以0.3的概率在合法非最优动作中注入（附录算法2）。训练100k条，评估500条。判定为二元Goal success。

实验设置

• 对照范围：与参数匹配的自回归因果解码器比，词表和训练语料对齐。作者称不与Chain-of-Thought或RAG对照（第4节）。
• Treasure Hunt：LS-AR（Static）约85M，含4层Ebase、4层Dbase、权重绑定嵌入和逐层FiLM；基线约89M、20层，表中称AR GPT-2。BPE词表50257。训练50k，评估500。W=500，前缀强制。
• Blocksworld：LS-AR（Dynamic）约32M，4层编码加4层解码；基线约32M、10层。领域词表100。训练100k，N=5且含K=1次优。同表还有Static与Random FiLM。评估500。
• 效率对照：Static侧为89M的Baseline-Large与38M、4层未加条件的Baseline-Small；Dynamic侧为32M、10层与13M、4层。解码使用KV cache。
• 指标：语义精确匹配与4位口令的亚词BPE准确率；二元Goal success；吞吐与峰值显存；通道实验报告Goal A与Goal B成功率。
• 协议：贪心，τ=0.0。各表为5个随机种子的Mean±SEM。论文未报告显著性检验，也未说明Table 5所用数据集。

主结果

据Table 1，Treasure Hunt，W=500，5种子Mean±SEM。

表格较宽，可左右滑动

模型	H=128语义	H=1024语义	H=128口令	H=1024口令
Baseline (AR GPT-2)	100.0±0.0%	0.0±0.0%	39.8±4.44%	0.0±0.0%
LS-AR (Static)	100.0±0.0%	100.0±0.0%	92.8±1.48%	84.4±4.51%

• 作者称连续调节使宏观目标不受上下文驱逐：超窗时基线语义与口令都失败，Static的语义仍全部召回。
• 口令难于语义。作者把窗内基线的口令差距归因于亚词碎片化；超窗时Static的口令低于其语义，作者称把离散数字压进连续嵌入会有损失。
• Figure 4a图注称，基线在H大于W时语义召回掉下，LS-AR在各长度保持100%。Table 1只列出H=128与H=1024。Figure 4b图注称，H=1024、N=100的t-SNE中，基线状态混入干扰噪声，LS-AR按目标身份形成分开的簇。

Blocksworld规划与扰动

据Table 3，N=5为分布内，N=6为物体数零样本。除Random FiLM外，表中均为±0.0，5种子。训练含K=1；表头把K=2标为Zero-Shot。

表格较宽，可左右滑动

架构	K=0	K=1	K=2	N=6
Baseline (AR GPT-2)	96.0%	71.0%	6.0%	0.0%
LS-AR (Static)	95.0%	66.0%	5.0%	0.0%
LS-AR (Dynamic)	98.0%	89.0%	7.0%	0.0%

• 无扰动时作者概括为95.0%至98.0%。Random FiLM只在K=0报告0.0%，其余格子为破折号；作者称生成由潜向调节驱动。
• K=1时作者称Dynamic高于基线与Static，并把原因归于在动作边界重算潜表示。表中Static为66.0%，低于基线71.0%，正文未单独解释。
• 作者称K=2带来向量漂移，对应表中5.0%至7.0%；N=6三者均为0.0%，作者称单向量不能零样本外推到未见物体数。

解码效率

据Table 2，增量相对参数匹配的Baseline-Large（89M）。吞吐单位为tok/s，显存为MB，5种子均值。

表格较宽，可左右滑动

W	LS-AR吞吐	吞吐增量	LS-AR显存	显存增量
128	3196.66±164.55	+34.23%	1039.28	-32.46%
256	3085.42±125.18	+40.82%	1059.43	-42.99%
500	2821.27±99.79	+35.93%	1127.38	-52.81%

• 摘要写吞吐约增35%、峰值显存降52.8%；引言写显存降幅最高52.8%。Table 2里与52.8%对应的是W=500的-52.81%；三档吞吐增量里最高是W=256的+40.82%。
• 作者称收益来自提示只过一次Ebase，解码用4层骨干，而89M基线每步计算20层。
• Table 4在W=32、32M上，Dynamic吞吐240.0±23.0，相对10层基线180.0±2.7为+33.56%；显存433.8对432.1，+0.41%。作者称深预测器只在稀疏触发边界执行。第3.3节写触发时用冻结Ebase取si；两处模块名不一致，论文未再说明。

双通道控制

第4.5节把文本目标与FiLM潜目标拆开。对抗条件是文本为Goal A、潜向量为Goal B。Latent-Forced在阶段3以30%概率掩码文本。论文未说明数据集。据Table 5，5种子。

表格较宽，可左右滑动

课程	条件	Goal A	Goal B
Standard	对抗(GA, GB)	56.2±1.39%	0.4±0.36%
Latent-Forced	对抗(GA, GB)	1.4±0.54%	67.2±1.65%
Standard	空白文本(None, GB)	0.0%	0.2±0.18%
Latent-Forced	空白文本(None, GB)	0.0%	71.0±1.16%
Standard	空白潜向量(GA, None)	30.4±2.33%	0.0%
Latent-Forced	空白潜向量(GA, None)	1.8±0.58%	0.0%

• 作者认为通道主导是课程产物：Standard优先文本，Latent-Forced使调节向量压过冲突文本。空白文本在Standard下几乎不执行潜目标，在Latent-Forced下可以；空白潜向量在Standard下仍有部分文本目标成功。
• 第4.5节称文本丢弃造成对隐蔽调节向量注入的脆弱，联合训练则把权威留在可审计文本上。第5.3节称潜主导提供对文本提示注入的结构性防御，但易受梯度向量扰动；文本主导抑制未授权交换。这两类攻击的成功率论文未报告，实验是目标交换与空白消融。

其他消融与分析

• W=500的Baseline-Small吞吐5824.46±271.55 tok/s、显存1202.81 MB；W=128/256为6030.46±316.21与5934.56±306.78，显存1056.00与1103.05。作者称它是4层未加条件的吞吐上界（Table 2）。
• Dynamic侧Baseline-Small（13M，W=32）吞吐277.5±31.7、显存431.6 MB（Table 4）。第4.4节称W取8、16、32、64时开销趋势仍有代表性，表中只给W=32。
• 对齐控制下，Standard的LS-AR为Goal A 60.4±1.07%或Goal B 61.4±1.12%；Latent-Forced为72.2±0.85%与73.2±0.72%。基线无潜通道，为63.6±0.94%与62.2±0.85%，交换格不适用（Table 5）。

作者指出的局限与后续方向

• 合成环境：评测限于合成符号环境，连续语言迁移留作后续（第5.4节）。
• 数字压缩：把宏观意图压进单向量时，数字口令抽取会出现亚词BPE数字错乱（第5.4节）。
• 组合容量：单向量瓶颈限制分布外任务上的组合求解（第5.4节）。第6节计划把单向量扩成k槽矩阵，以支持物体数从N增到N+1。
• 对照范围：与未增强AR的比较被作者称为初步边界检查，还需要对记忆增强基线（如连续KV cache）再评，以分开架构收益（第5.4节）。
• 更新与规模：用熵引导的动态更新替换固定步触发；在数十亿参数骨干上，于ALFWorld、WebArena等智能体基准评潜向调节（第6节）。

实验覆盖范围

• 任务为程序生成的Treasure Hunt（训练50k、评估500）和Blocksworld（训练100k、评估500）（第4.1、4.3节，附录B）。
• 被测模型为文中的AR GPT-2基线与LS-AR：Treasure Hunt约89M对约85M，Blocksworld约32M；效率对照另有38M与13M（Table 2、Table 4）。
• 检索表报告W=500下的H=128与H=1024（Table 1，5种子Mean±SEM）。正文写H还取64、256、512，这些长度的数值未列入Table 1。
• 规划报告N=5的K=0、1、2与N=6，以及Random FiLM在K=0的一格（Table 3）。通道实验为对齐控制、对抗目标交换和空白文本、空白潜向量（Table 5）；论文未说明该表的数据集。
• 解码为贪心，τ=0.0（附录B.3.3）。论文报告SEM，未报告显著性检验，也未报告文本提示注入或梯度向量攻击的成功率；这两类只在第5.3节作为作者对课程权衡的讨论出现。

LS-AR给因果解码器加一条不占窗口的连续目标通道，用来处理长程生成里宏观指令被挤出上下文或被注意力稀释的问题。

• 结构：冻结编码器把提示或触发点状态变成512维向量，FiLM用它缩放并偏置解码器的层归一化。静态向量全程不变；动态向量只在事件边界更新，门控从0起步。训练依次做领域适配、VICReg潜对齐和条件下一token预测；一种课程以0.30的概率把文本目标换成填充。
• 检索：Treasure Hunt，W=500，5个种子。H=1024时LS-AR（Static，约85M）语义精确匹配100.0±0.0%，参数匹配的20层基线为0.0±0.0%；口令分别为84.4±4.51%与0.0±0.0%（Table 1）。对89M基线，W=500吞吐高35.93%，峰值显存低52.81%（Table 2）。摘要写约35%与52.8%。
• 规划：Blocksworld，N=5。无扰动时Goal success为95.0%至98.0%。K=1时Dynamic为89.0%，基线71.0%，Static 66.0%（Table 3）。K=2为5.0%至7.0%，物体数增到6时三者都是0.0%。
• 通道：文本写目标A、潜向量编码目标B时，Standard课程执行A（56.2±1.39%）、压低B（0.4±0.36%）；30%文本掩码的Latent-Forced则执行B（67.2±1.65%）、压低A（1.4±0.54%）（Table 5）。作者认为主导通道由课程决定：潜主导能从结构上对抗文本提示注入，但引入潜向量攻击面；文本主导便于审计。
• 作者结论：连续条件可以在超出活跃窗口后保住语义目标，并用更浅解码骨干换吞吐；单向量不能外推到未见物体数。后续是多槽记忆、熵引导更新，以及更大骨干上的智能体基准。