LS-AR dual-channel architecture: discarding text goals can resist prompt injection but introduces latent vector attack surface
LS-AR: Future-Predictive Latent Steering in Autoregressive LLMs
LS-AR用FiLM潜向量调节解码；H=1024、W=500时静态版语义召回100%，基线0%。
- 自回归解码把宏观目标与局部token放在同一序列。作者认为序列变长后指令会被挤出窗口或被注意力稀释。扩窗和外部记忆有开销，仍不隔离目标。
- LS-AR把提示或轨迹状态编成d=512的潜向量，用FiLM缩放和偏置调节层归一化。静态P0全程保持；动态Pt只在触发token处更新。训练分领域适配、VICReg对齐和条件生成。
- H=1024、W=500时LS-AR Static语义召回100%，参数匹配基线0%。Blocksworld在K=1时Dynamic完成率89.0%，基线71.0%。文本目标丢弃后，潜通道可压过冲突文本目标。
- 作者指出评测限于合成符号环境，单向量会带来口令数字错乱和组合容量上界，且只与未增强AR对比。后续包括多槽记忆、熵引导更新，以及更大骨干上的ALFWorld与WebArena。实验为约32M与85M解码器，贪心解码，每表5个种子。
- Evaluated models
- LS-AR (Static)LS-AR (Dynamic)
- Benchmarks
- Treasure HuntBlocksworld
- Metrics
- Semantic Target RetrievalPasskey RetrievalGoal successThroughputPeak VRAMGoal A SuccessGoal B Success
The researchers propose a Latent-Steered Autoregressive (LS-AR) dual-channel architecture, which decouples continuous goal steering from discrete token decoding via FiLM conditioning, to address the problem that standard autoregressive models cannot isolate macro goals from contextual noise. In long-range retrieval tasks beyond context limits (H=1024, W=500), LS-AR (Static) achieves 100% goal recall, while the parameter-matched baseline completely collapses (0%), with throughput improved by about 35% and peak VRAM reduced by 52.8%. In Blocksworld planning tasks, LS-AR (Dynamic) maintains 89.0% completion rate under forced perturbation (k=1), compared to 71.0% for the baseline, but zero-shot entity expansion (N to N+1) exposes single-vector capacity limits (0%). Dual-channel permission analysis shows that discarding text goals establishes latent dominant control, providing structural defense against text prompt injection, but simultaneously introducing a latent vector attack surface.
Paper analysis
What problem does this paper attempt to solve?
标准自回归把宏观目标与局部生成挤在同一通道，长程执行会丢掉高层指令。
标准自回归模型把宏观目标、状态历史和瞬时token放在同一条序列里，长程执行时缺少隔离宏观目标的结构。
- 场景：目标导向规划既要守住高层约束，又要逐步生成。作者认为序列变长后会出现注意力稀释和上下文驱逐：指令被推出窗口，或摊在长注意力上，模型转而优先局部谓词，计划连贯性下降（引言）。
- 现有做法：扩窗、稀疏注意力、外部记忆或KV淘汰能推迟驱逐。作者认为代价是计算或检索延迟，且仍不隔离目标。思维链、思维树、ReAct把计划写成文本草稿，占窗口，长程rollout仍会任务遗忘（第2节）。
- 假设：宏观意图不必在token空间逐步预测，可在潜空间直接预测目标状态，再用不占上下文槽位的向量调节解码，从而绕过窗口长度。
- 方法：提出Latent-Steered Autoregressive（LS-AR）。静态编码器P0把提示压成固定维向量并全程保持；动态跟踪器Pt在状态边界更新该向量。二者经FiLM注入解码器。经验范围限于领域分词的合成环境Treasure Hunt与Blocksworld。
- 通道权衡：作者还比较文本提示与潜向量谁掌握解码权。文本目标丢弃会把控制权交给潜通道；作者认为这构成对文本提示注入的结构性防御，同时打开潜向量攻击面。
What related research exists?
相关工作涉及扩窗、文本规划草稿和JEPA；作者把潜预测接进解码而非只作辅助损失。
讨论集中在扩窗与循环状态、文本规划草稿、JEPA式潜预测三类；实验另设参数匹配的自回归基线。
上下文扩展与循环架构
- 扩窗与外部记忆：位置插值（Chen et al., 2023）、稀疏Transformer（Child et al., 2019）、RingAttention（Liu et al., 2024a）、Landmark Attention（Mohtashami and Jaggi, 2023），以及RAG（Lewis et al., 2020）和注意力汇（Xiao et al., 2024）。引言还提到Mem0（Chhikara et al., 2025）和ArcMemo（Ho et al., 2025）。作者认为这类做法带来二次计算或检索延迟，依赖精确局部检索，没有把宏观目标从token流里隔离开。
- 选择状态空间：Mamba等SSM（Gu et al., 2021; Gu and Dao, 2023）避开二次代价。作者认为宏观指令和局部句法仍混在同一循环状态，信号会被稀释。
显式规划与智能体推理
- 多步规划：论文称自回归规划在多步基准上常因因果短视陷入局部最优，如Sussman异常（Sussman, 1973），并引用Valmeekam et al., 2023a。
- 文本草稿：Chain-of-Thought（Wei et al., 2022）、Tree-of-Thoughts（Yao et al., 2023）、ReAct（Yao et al., 2022）让模型在token空间说出计划。作者认为长程rollout中这些草稿占窗口，仍会上下文驱逐和任务遗忘。
预测架构与潜条件
- JEPA：Dawid and LeCun（2024）与Assran et al.（2023, 2025）预测抽象表示，而不是精确未来token。LLM-JEPA（Huang et al., 2025）把潜预测限制为辅助训练目标；Agentic-JEPA（Rodrigo-Ginés, 2026）把潜表示用于离线状态模拟。作者写明的区别是：LS-AR把预测注入解码环，经FiLM（Perez et al., 2018）变成生成时的调节向量。
基线与数据
- 基线：参数匹配的自回归因果解码器（表中称AR GPT-2）；效率实验另有层数匹配、未加条件的小解码器；Blocksworld还有用高斯噪声替换调节向量的Random FiLM。作者称不与Chain-of-Thought或RAG对照，以免和潜向调节混在一起。
- 数据：程序生成的Treasure Hunt与Blocksworld。
作者将LS-AR定位为专用连续调节通道：目标不靠加长窗口，也不留在token草稿里；相对只做辅助损失或离线模拟的JEPA变体，潜预测被接进逐步解码。
How does the paper address this problem?
LS-AR用潜向量经FiLM调节解码：静态向量全程保持，动态向量只在触发步更新。
LS-AR把宏观目标编成不占上下文槽位的连续向量，再用FiLM调节因果解码，使目标保持与逐步token生成分开。评测两种用法：静态P0与动态Pt。
问题设定
规划要联合提示g（约束与目标状态）和满足g的轨迹。标准模型在宽度W的滑窗上分解下一token；rollout长于W时，提示离开因果注意力。作者称这会造成上下文驱逐和计划漂移。LS-AR另维持向量P，维数d，跨解码持续存在。
静态目标编码
冻结的Ebase编码提示并均值池化，Epred映到潜空间。阶段2用VICReg让该向量对齐真实轨迹经同一冻结编码器后的均值池化表示，Ebase不更新（Figure 1）。
P0=Epred(MeanPool(Ebase(g)))
含义：顺序无关的提示嵌入被预测成目标潜向量，而不是在token空间生成未来轨迹。
动态状态跟踪
Figure 2：只有当前token是预定义触发token时才更新。冻结Ebase取触发位置隐状态si；多头注意力以旧向量为query、si为key和value。作者注明单key时softmax为1，仍保留该模块以做多子空间投影，并支持多token状态历史。更新是残差加MLP，再乘可学习标量α。α初值0，第0步为恒等，只在轨迹偏离预期时学习修正。非触发步向量不变。Epred、Ebase、FiLM与该注意力的d都固定为512。逐步生成保持常数复杂度；跟踪只在触发边界做随前缀变长的编码。
附录A选择事件边界而非固定间隔：Blocksworld用逗号。作者理由是子动作长度不固定，固定间隔可能在子目标未完成时改写先验。历史摘要用触发位置隐状态，不用均值或最大池化；理由是因果注意力已在末位聚合前缀，且少存中间激活。
FiLM与训练
Figure 3：静态全程注入P0，动态注入逐步向量。每层把向量线性投影成缩放γ和偏置β，调制注意力之后、MLP之前的层归一化。投影权重和偏置零初始化，使起步为恒等。作者称这是为保持预训练模型稳定。
\tilde{h}_{l,i}=\mathrm{LayerNorm}_2(h_{l,i})\odot(1+\gamma_{l,i})+\beta_{l,i}含义：潜向量用逐维缩放和位移改写该层归一化后的隐藏状态，再预测下一token。
三阶段（附录B.3.3）：
- 阶段1：领域句法因果微调。附录写基座d=512、4层，30 epoch，峰值学习率1e-4，10%线性预热后衰减。
- 阶段2：Epred为3层MLP（GELU），VICReg。不变项是批内均方误差，方差项把每维标准差顶在1以上，协方差惩罚非对角项。权重25、25、1，批大小32，30 epoch，学习率2e-4，Ebase冻结。
- 阶段3：解码器、FiLM和动态跟踪器端到端做下一token预测，30 epoch，学习率1e-4。优化器AdamW，梯度裁剪1.0。
- 阶段3b：30%的阶段3步把文本提示换成填充。附录把该概率写进阶段3配置；第4.5节把它当作Latent-Forced，并与不掩码的Standard对照。Table 1至Table 4未标明课程。
评估为贪心解码，温度τ=0.0。
任务构造与判定
- Treasure Hunt：程序生成，12种语义物品，口令为1000至9999的整数。干扰句拼到token长度H，避免立即重复。末尾局部触发后，须同时给出口令与物品。标准BPE，词表大小50257。训练50k条，评估500条。前缀强制：检索前注入干扰token。窗口W=500，H取64、128、256、512、1024。语义目标按精确匹配；数字口令按4位亚词BPE准确率。
- Blocksworld：N个方块，动作pickup、putdown、stack、unstack，转移确定。领域词表大小100，实体、动作和分隔符各一词。最优路径用广度优先。训练N=5，轨迹含至多K=1次强制次优动作及随后修正；以0.3的概率在合法非最优动作中注入（附录算法2）。训练100k条，评估500条。判定为二元Goal success。
What experiments did the paper conduct?
超窗语义召回静态版100%、基线0%；K=1扰动下动态版完成率89.0%，对基线71.0%。
实验设置
- 对照范围：与参数匹配的自回归因果解码器比，词表和训练语料对齐。作者称不与Chain-of-Thought或RAG对照（第4节）。
- Treasure Hunt：LS-AR（Static）约85M，含4层Ebase、4层Dbase、权重绑定嵌入和逐层FiLM；基线约89M、20层，表中称AR GPT-2。BPE词表50257。训练50k，评估500。W=500，前缀强制。
- Blocksworld：LS-AR（Dynamic）约32M，4层编码加4层解码；基线约32M、10层。领域词表100。训练100k，N=5且含K=1次优。同表还有Static与Random FiLM。评估500。
- 效率对照：Static侧为89M的Baseline-Large与38M、4层未加条件的Baseline-Small；Dynamic侧为32M、10层与13M、4层。解码使用KV cache。
- 指标：语义精确匹配与4位口令的亚词BPE准确率；二元Goal success；吞吐与峰值显存；通道实验报告Goal A与Goal B成功率。
- 协议：贪心，τ=0.0。各表为5个随机种子的Mean±SEM。论文未报告显著性检验，也未说明Table 5所用数据集。
主结果
据Table 1，Treasure Hunt，W=500，5种子Mean±SEM。
Swipe horizontally to read the table
模型 H=128语义 H=1024语义 H=128口令 H=1024口令 Baseline (AR GPT-2) 100.0±0.0% 0.0±0.0% 39.8±4.44% 0.0±0.0% LS-AR (Static) 100.0±0.0% 100.0±0.0% 92.8±1.48% 84.4±4.51% - 作者称连续调节使宏观目标不受上下文驱逐：超窗时基线语义与口令都失败，Static的语义仍全部召回。
- 口令难于语义。作者把窗内基线的口令差距归因于亚词碎片化；超窗时Static的口令低于其语义，作者称把离散数字压进连续嵌入会有损失。
- Figure 4a图注称，基线在H大于W时语义召回掉下，LS-AR在各长度保持100%。Table 1只列出H=128与H=1024。Figure 4b图注称，H=1024、N=100的t-SNE中，基线状态混入干扰噪声，LS-AR按目标身份形成分开的簇。
Blocksworld规划与扰动
据Table 3，N=5为分布内，N=6为物体数零样本。除Random FiLM外，表中均为±0.0，5种子。训练含K=1；表头把K=2标为Zero-Shot。
Swipe horizontally to read the table
架构 K=0 K=1 K=2 N=6 Baseline (AR GPT-2) 96.0% 71.0% 6.0% 0.0% LS-AR (Static) 95.0% 66.0% 5.0% 0.0% LS-AR (Dynamic) 98.0% 89.0% 7.0% 0.0% - 无扰动时作者概括为95.0%至98.0%。Random FiLM只在K=0报告0.0%，其余格子为破折号；作者称生成由潜向调节驱动。
- K=1时作者称Dynamic高于基线与Static，并把原因归于在动作边界重算潜表示。表中Static为66.0%，低于基线71.0%，正文未单独解释。
- 作者称K=2带来向量漂移，对应表中5.0%至7.0%；N=6三者均为0.0%，作者称单向量不能零样本外推到未见物体数。
解码效率
据Table 2，增量相对参数匹配的Baseline-Large（89M）。吞吐单位为tok/s，显存为MB，5种子均值。
Swipe horizontally to read the table
W LS-AR吞吐 吞吐增量 LS-AR显存 显存增量 128 3196.66±164.55 +34.23% 1039.28 -32.46% 256 3085.42±125.18 +40.82% 1059.43 -42.99% 500 2821.27±99.79 +35.93% 1127.38 -52.81% - 摘要写吞吐约增35%、峰值显存降52.8%；引言写显存降幅最高52.8%。Table 2里与52.8%对应的是W=500的-52.81%；三档吞吐增量里最高是W=256的+40.82%。
- 作者称收益来自提示只过一次Ebase，解码用4层骨干，而89M基线每步计算20层。
- Table 4在W=32、32M上，Dynamic吞吐240.0±23.0，相对10层基线180.0±2.7为+33.56%；显存433.8对432.1，+0.41%。作者称深预测器只在稀疏触发边界执行。第3.3节写触发时用冻结Ebase取si；两处模块名不一致，论文未再说明。
双通道控制
第4.5节把文本目标与FiLM潜目标拆开。对抗条件是文本为Goal A、潜向量为Goal B。Latent-Forced在阶段3以30%概率掩码文本。论文未说明数据集。据Table 5，5种子。
Swipe horizontally to read the table
课程 条件 Goal A Goal B Standard 对抗(GA, GB) 56.2±1.39% 0.4±0.36% Latent-Forced 对抗(GA, GB) 1.4±0.54% 67.2±1.65% Standard 空白文本(None, GB) 0.0% 0.2±0.18% Latent-Forced 空白文本(None, GB) 0.0% 71.0±1.16% Standard 空白潜向量(GA, None) 30.4±2.33% 0.0% Latent-Forced 空白潜向量(GA, None) 1.8±0.58% 0.0% - 作者认为通道主导是课程产物：Standard优先文本，Latent-Forced使调节向量压过冲突文本。空白文本在Standard下几乎不执行潜目标，在Latent-Forced下可以；空白潜向量在Standard下仍有部分文本目标成功。
- 第4.5节称文本丢弃造成对隐蔽调节向量注入的脆弱，联合训练则把权威留在可审计文本上。第5.3节称潜主导提供对文本提示注入的结构性防御，但易受梯度向量扰动；文本主导抑制未授权交换。这两类攻击的成功率论文未报告，实验是目标交换与空白消融。
其他消融与分析
- W=500的Baseline-Small吞吐5824.46±271.55 tok/s、显存1202.81 MB；W=128/256为6030.46±316.21与5934.56±306.78，显存1056.00与1103.05。作者称它是4层未加条件的吞吐上界（Table 2）。
- Dynamic侧Baseline-Small（13M，W=32）吞吐277.5±31.7、显存431.6 MB（Table 4）。第4.4节称W取8、16、32、64时开销趋势仍有代表性，表中只给W=32。
- 对齐控制下，Standard的LS-AR为Goal A 60.4±1.07%或Goal B 61.4±1.12%；Latent-Forced为72.2±0.85%与73.2±0.72%。基线无潜通道，为63.6±0.94%与62.2±0.85%，交换格不适用（Table 5）。
What are some points that can be further explored?
作者把边界放在合成环境、单向量容量，以及尚未对比记忆增强基线。
作者指出的局限与后续方向
- 合成环境：评测限于合成符号环境，连续语言迁移留作后续（第5.4节）。
- 数字压缩：把宏观意图压进单向量时，数字口令抽取会出现亚词BPE数字错乱（第5.4节）。
- 组合容量：单向量瓶颈限制分布外任务上的组合求解（第5.4节）。第6节计划把单向量扩成k槽矩阵，以支持物体数从N增到N+1。
- 对照范围：与未增强AR的比较被作者称为初步边界检查，还需要对记忆增强基线（如连续KV cache）再评，以分开架构收益（第5.4节）。
- 更新与规模：用熵引导的动态更新替换固定步触发；在数十亿参数骨干上，于ALFWorld、WebArena等智能体基准评潜向调节（第6节）。
实验覆盖范围
- 任务为程序生成的Treasure Hunt（训练50k、评估500）和Blocksworld（训练100k、评估500）（第4.1、4.3节，附录B）。
- 被测模型为文中的AR GPT-2基线与LS-AR：Treasure Hunt约89M对约85M，Blocksworld约32M；效率对照另有38M与13M（Table 2、Table 4）。
- 检索表报告W=500下的H=128与H=1024（Table 1，5种子Mean±SEM）。正文写H还取64、256、512，这些长度的数值未列入Table 1。
- 规划报告N=5的K=0、1、2与N=6，以及Random FiLM在K=0的一格（Table 3）。通道实验为对齐控制、对抗目标交换和空白文本、空白潜向量（Table 5）；论文未说明该表的数据集。
- 解码为贪心，τ=0.0（附录B.3.3）。论文报告SEM，未报告显著性检验，也未报告文本提示注入或梯度向量攻击的成功率；这两类只在第5.3节作为作者对课程权衡的讨论出现。
Summarize the main content of the paper
用潜通道把宏观目标从token流拆出，并在合成检索与规划上比较静态、动态两种调节。
LS-AR给因果解码器加一条不占窗口的连续目标通道，用来处理长程生成里宏观指令被挤出上下文或被注意力稀释的问题。
- 结构：冻结编码器把提示或触发点状态变成512维向量，FiLM用它缩放并偏置解码器的层归一化。静态向量全程不变；动态向量只在事件边界更新，门控从0起步。训练依次做领域适配、VICReg潜对齐和条件下一token预测；一种课程以0.30的概率把文本目标换成填充。
- 检索：Treasure Hunt，W=500，5个种子。H=1024时LS-AR（Static，约85M）语义精确匹配100.0±0.0%，参数匹配的20层基线为0.0±0.0%；口令分别为84.4±4.51%与0.0±0.0%（Table 1）。对89M基线，W=500吞吐高35.93%，峰值显存低52.81%（Table 2）。摘要写约35%与52.8%。
- 规划：Blocksworld，N=5。无扰动时Goal success为95.0%至98.0%。K=1时Dynamic为89.0%，基线71.0%，Static 66.0%（Table 3）。K=2为5.0%至7.0%，物体数增到6时三者都是0.0%。
- 通道：文本写目标A、潜向量编码目标B时，Standard课程执行A（56.2±1.39%）、压低B（0.4±0.36%）；30%文本掩码的Latent-Forced则执行B（67.2±1.65%）、压低A（1.4±0.54%）（Table 5）。作者认为主导通道由课程决定：潜主导能从结构上对抗文本提示注入，但引入潜向量攻击面；文本主导便于审计。
- 作者结论：连续条件可以在超出活跃窗口后保住语义目标，并用更浅解码骨干换吞吐；单向量不能外推到未见物体数。后续是多槽记忆、熵引导更新，以及更大骨干上的智能体基准。