Task-Sufficient Contraction:机器信息接口的源选择方法
Task-Sufficient Contraction: Source Selection for Machine Information Interfaces
作者定义任务充分收缩,并称有限动作下用GC替换全信源后,一步速率–遗憾曲线不变。
- 接收机器使用彼此输出时,已声明任务有时只需要更小的信源。问题是这一压缩能否在编码器、速率或失真目标选定之前固定,并使后续求解与保留更丰富信源相同。
- 对固定动作集和损失,仅当每个动作的条件遗憾都相同时才合并状态,得到消费者特定信源GC。二次损失且可行动作集为仿射时,典范压缩是向动作可差异方向的投影;固定能量预算下即中心化负荷。
- 作者称理论是静态的,不回答行动改变状态、准则或动作菜单后约简是否仍有效,也不定义表示应变更细还是更粗。论文未报告模型实验,也未测量传输量、延迟、计算、内存或能量。
- Metrics
- RX(D)RG(D)gx(a)
论文提出 Task-Sufficient Contraction 概念,研究在编码器、码本、速率、失真目标和优化器选定之前,任务声明能否认证一个缩减后的源,并保持完整下游问题族。对固定动作集与固定损失的机器,仅当每个可用动作在合并状态下具有相同 regret 时才合并状态,可保留完整的一步速率-regret 曲线。对仿射可行动作集上的二次损失,规范缩减源是可行动作可差异方向的投影;固定能量预算下该投影变为 centered load,仅保留最优注水动作则过于粗糙。
Paper analysis
What problem does this paper attempt to solve?
已声明任务能否在操作点选定前固定压缩信源,使先压缩再优化与全信源优化相同。
已声明任务能否在编码器、码本、速率、失真目标或优化器选定之前,确定一个压缩信源,使先压缩再优化与在更丰富信源上优化得到相同结果?
- 场景:作者用天气预报不能裁定某阵风是否掀瓦、但风机切出只需相关时段平均风速为例,说明充分性属于已声明问题。机器互用输出时,接收方可能看不到生产者内部状态;作者认为经认证的接口可免去先重构或对齐,只要能改变接收决策的区分还在。
- 现有做法:任务感知压缩已经在问哪些信息对下游任务重要。作者认为更具体的一点是,任务有时能在优化开始前定出更小信源,且该约简不是只为一个速率、失真目标或码本大小选出的表示。
- 核心要求:精确情形是先压缩再优化,等于在更丰富信源上优化。作者把这种约简称为任务充分收缩(Task-Sufficient Contraction),并要求它在操作点选定前固定,且在该结果覆盖的范围内仍然有效。
- 本文给出的对象:一套针对已声明下游优化族的认证框架;固定消费者的遗憾完备信源 GC,作者称有限动作集上用它替换更丰富信源后,整条一步速率–遗憾曲线不变;仿射可行动作集上二次损失的投影信源。固定能量调度下该信源是中心化负荷,只保留最优注水动作则过粗。
What related research exists?
作者把经典充分性、率遗憾与三项先前约简并列,并称“任务决定保留哪些区分”并不声称是新的。
作者在第 5 节把任务充分收缩放在既有想法旁边,而不是取代它们。
经典充分性与功能压缩
- 决策比较:Blackwell (1953) 与 Bahadur (1954) 讨论约简观测何时保持决策价值。
- 间接率失真:Witsenhausen (1980) 给出编码器观察变量与评判变量不同时的正确损失。后文的架构条件收缩使用这一构造。
- 功能压缩:Orlitsky and Roche (2001) 问接收方需要信源的函数而非重构时,哪些区分必须留下。
任务相对约简与率遗憾
- Bruhacs (2026):在投影下表述任务相对保持,以及已声明任务族的最小商。作者称这为任务相对约简提供了接近的形式比较;本文另行给出认证框架、消费者特定遗憾构造和仿射动作二次刻画。作者称“任务决定哪些区分必须留下”这一一般想法并不声称是新的。
- Sevetlidis (2026a, 2026b):2026a 研究固定损失下的 Bayes 充分表示;2026b 研究损失偏移,联合分布不变时改变损失可使先前充分的表示不再充分。作者将其定位为已声明损失之间的迁移;本文固定消费者,问一个约简能否跨所声明的失真目标仍然精确。
- 率遗憾:Russo and Van Roy (2022)、Arumugam and Van Roy (2021) 用率失真连接信息获取与近最优。Walsh (2026b) 以策略遗憾为失真,把策略等价识别为单周期问题的精确零遗憾端点。作者称这些是决策感知图景的组成部分;本文问的是,失真目标选定前就固定的一个约简,能否保持整条一步曲线。
目标表示、世界模型与类比
- Hyeon et al. (2026):动作充分的目标表示;足以恢复最优价值的信息不必恢复最优动作分布。条件是 I(A;G|S,Z)=0,A 来自固定最优策略。附录 I 还研究保持最优 Q 函数的 Q-充分性。作者称该条件关心最优动作预测,并称本文对不完美接口提出更强的保持问题:哪些区分能保住每个可行动作的相对代价。
- Wei et al. (2026):区分世界模型规划的机制、响应与决策充分性。作者称,候选集与代价准则对齐时,绝对代价剖面决定本文的遗憾剖面,并在唯一最优假设下决定最优;该分析把归一化相对代价权重视为 MPPI 更新的充分对象,并写出共同偏移不变性。作者称相对代价保持并不缺席于该分析;Theorem 1 认证的是一个固定遗憾完备信源保持整条一步速率–遗憾曲线。
- 动态类比:Nerode (1958) 的 Myhill–Nerode 最小化、Hennessy and Milner (1985) 的观察等价、Ferns et al. (2004) 的互模拟状态抽象。作者称这些是有用类比,其动态闭合要求不属于本文的静态理论。
作者先前结果
- 三项约简:源侧信息瓶颈(Armstrong, 2026c)、设计信源的语义率失真(Armstrong, 2026d)、二次调度的目标导向量化(Armstrong, 2026b)。作者称它们是框架的证据,不是本文的三项新贡献。伴随论文(Armstrong, 2026a)把保留 X 关于具名准则 Y 的全部信息的接口称为任务相对信息合同 SY。
- 基线与基准:论文未设置实证基线,也未使用命名基准。Table 1 对照的是上述三项约简的信源、消费者、约简地位、关键对象和边界,不是分数表。第 7 节另把 Liu (2026) 的潜表示通信和 A2A 协议当作不透明远程系统的接口背景。
作者把共同问题写成:任务认证的约简能否在后续速率、码本、失真目标或其他操作选择之前固定,同时保持所声明的下游问题族;并称精确、架构条件、有界近似、候选失败和校正收缩不应混为一谈。
How does the paper address this problem?
先按任务固定压缩信源;作者称有限动作下GC不改变整条一步速率–遗憾曲线。
作者把 Task-Sufficient Contraction 写成固定顺序:更丰富信源,到任务认证的压缩信源,再到后续优化。压缩由已声明任务在操作点选定之前定下。Figure 1 上半是这一模式;下半是一种嵌套,X 到 SY 到 GC 到 BC。作者称下排箭头是确定性分解或粗化,不是因果流,也不是每个问题的必经序列。
认证模式与消费者
- 四步模式:约简在操作点选定前固定;每个可行的全信源解都有任务相关量不变、且优化资源不更差的压缩对应物;每个可行的压缩解都能拉回任务值相同的可接受全信源解;定理所声称的附加约束在约简后仍然成立。作者称各问题中的论证形式不同。
- 消费者:机器消费者是 C=(A,ℓ)。A 是可接受输出或动作,ℓ 是评价这些输出的损失。定义不依赖实现,规则集、分类器、优化器、控制器、语言模型或复合智能体都可以。主定义取 X 为有限支撑;速率–遗憾定理另假设动作有限。连续的目标导向量化例子不使用该编码定理。
- 遗憾:给定 X=x,rx(a) 是 ℓ(a,Y) 的条件期望,b(x) 是对动作的下确界。条件遗憾 gx(a):=rx(a)−b(x),即动作 a 比该状态下最优动作多出的损失。它依赖 Y 在给定 X 下的条件律,所以压缩信源同时依赖信源律和已声明消费者。生产者状态损失是特例:取 Y=X,ℓ(a,Y)=L(Y,a)。
两个商
- Bayes 商:唯一最优动作时,两状态等价当且仅当最优动作相同,典范代表是 BC:=a*(X)。作者称它保留实现全信息最优所需的内容。只知道最优动作不一定够设计不完美接口,因为接收方可能选到非最优动作,而犯错代价在最优动作相同时仍可不同。
- 遗憾完备信源:两状态等价,当且仅当每个可用动作的条件遗憾都相同。GC 是等价类标签,也叫遗憾剖面商。被去掉的只是不能改变该消费者任何可用动作相对代价的信息;绝对基线损失仍可不同。
- 关系:Proposition 1 称,任何逐点保持每个动作遗憾的确定性统计量,都使 GC 成为它的确定性函数。这是逐点最小,不声称 GC 是恰好保住某一条曲线或某一个失真水平的最小摘要。唯一 Bayes 动作下,BC 是 GC 的确定性函数。Bayes 商本身遗憾完备,当且仅当每个动作的遗憾只由最优动作决定。
- 与后验:SY 是给定 X 时 Y 的后验,伴随论文用它表示保留 X 关于 Y 的全部信息的接口。Proposition 4 称,唯一 Bayes 动作下存在确定性映射,SY 分解到 GC,再分解到 BC。作者称这不表示收缩必须从构造 SY 开始。
一步速率–遗憾
- 目标:动作集有限时,一步速率–遗憾是 RX(D):=infp(a|x): E[gX(A)]≤ D I(X,A),即期望遗憾不超过 D 的动作信道上,信源与动作互信息的下确界。作者称按数据处理,中间表示可换成它诱导的动作分布而不增加互信息。RG(D) 是把信源换成 GC、遗憾换成纤维内常数后的同一问题。
- 不变性:Theorem 1 陈述,对每个可达 D,RX(D)=RG(D)。正向在每个遗憾等价纤维内平均动作信道,保持 (GC,A) 的联合律和期望遗憾,且互信息不增。反向把 GC 上的信道经 GC(x) 拉回 X,互信息与期望遗憾相同。
- 使用时机:作者称平均步骤来自经典充分性与率失真;要点是 GC 在 D 选定之前固定,回到更丰富信源不能改善这条一步曲线上的点。接口产生表示、接收规则再产生动作时,作者把期望损失分成全信息下仍在的一项,和由非最优动作造成、接口能够影响的一项。
五种体制与二次校正
- 五种回答:Q 若逐点决定每个动作遗憾,则至少可收缩到 GC。若架构强制动作信道经 Q 分解,诱导失真是给定 Q 的期望遗憾;作者称这只说明该受限系统的损失,不说明消费者本身用不了被丢掉的信息。近似损失若夹在两个常数倍之间,则只有界,不是精确约简。合并后仍有某个可接受动作代价不同,就是候选失败。失败后仍可另找精确压缩信源,这是校正。
- 仿射二次:Theorem 2 设可行集的仿射包为 a0+V,目标是负荷与动作之和的平方范数。两状态的遗憾剖面相同,当且仅当状态差落在 V 的正交补;典范代表是到 V 的正交投影。与所有可行动作差异方向正交的分量可以改变绝对目标值,但不能改变动作之间的相对代价。
- 固定能量:预算 E>0,可行集是非负且分量和为 E 的向量,方向空间是全 1 向量的正交补,因此 GC 是中心化负荷,即减去均值后的负荷。Bayes 最优动作是注水解的非负部分。作者称一旦允许非最优动作,只保留该注水动作就过粗;共同平移对每个代表相同,所以指派与胞腔更新都可只在中心化负荷上定义。
- 闭合例子:平方误差时,Bayes 动作和遗憾剖面都由条件均值生成。有限字母上的对数损失中,遗憾是后验对预测分布的 KL 散度,两个商都与后验等价重合。
What experiments did the paper conduct?
论文未做模型实验;Theorem 1 陈述速率–遗憾不变,同为(1,0)时遗憾为20与40。
实验设置
- 模型:论文未运行任何模型,也未报告评审模型。语言模型只作为消费者的一种可能实现被提到。
- 数据:论文未使用命名数据集或基准,未报告样本量、重复次数或查询次数。
- 对照:Table 1 对照三项先前约简,不是实证基线分数。生产者信源分别是信息瓶颈的 T、语义例子的需求或状态 T、目标导向量化的任务或负荷状态 T。
- 指标:RX(D) 与 RG(D) 是期望遗憾不超过 D 时的互信息下确界;另一路是直接比较条件遗憾函数是否相同。
- 假设:Theorem 1 所在节假设动作集有限。连续动作的二次结果不使用该编码定理,而是直接比较完整遗憾函数。
- 判定:精确收缩指定理覆盖的操作点上,压缩后求解与在更丰富信源上求解结果相同。论文未用规则、人工或 LLM 评审。
主结果
论文没有模型分数表。下表只转录第 6.3 节、E=1 的固定能量算例;这些数字在正文中,不在表格里。
负荷 最优动作 a=(0,1) 的遗憾 t=(0,10) (1,0) 20 t'=(0,20) (1,0) 40 - 作者的解读:两状态的 Bayes 最优动作相同,但同一可行动作的遗憾不同,因此只保留最优注水动作对精确收缩过粗。
- 同时成立的约简:作者称原始负荷中有不能改变可行动作相对代价的共同平移;精确对象是中心化负荷。指派与胞腔更新都可在该投影上定义,注水对共同平移不变。
- 与编码定理分开:该算例不使用 Theorem 1。Theorem 1 陈述的是另一设定:动作集有限时,对每个可达 D,RX(D)=RG(D),且 GC 在 D 选定之前固定。
三项先前约简
- 信息瓶颈:作者转述 Armstrong (2026c)。对数损失下,两状态等价当且仅当它们诱导相同的相关性变量后验;若确定性统计量使相关性变量与信源条件独立,则先在该统计量上求解不改变完整信息瓶颈曲线、Lagrange 下确界、最小化器和有限块对数损失问题。作者称这是操作点选定前的精确收缩,定理本身仍属于先前论文。
- 语义率失真:作者转述,设计好的确定性预言配上诱导损失后,语义边缘率失真问题可在该预言上精确求解。作者称一般光滑凹效用下,只知道该预言不足以恢复每个其他动作的代价。若验证依赖整个池的占用,问题不再是逐项失真,而成为约束可行性问题。作者把这与信息瓶颈区分:信息可以是消费者用不上,也可以是系统设计选择不暴露。
- 目标导向量化:各向同性二次损失下,作者称 Bayes 商与遗憾商都与预言动作重合,任务率失真函数和有限 K 量化精确化为该预言上的普通均方误差编码。零梯度内部最优且曲率光滑、强时,预言动作之间的距离给出任务损失的受控近似;作者称这不使预言动作成为精确压缩信源。Table 1 将三者的约简地位写成精确约简、一般是架构条件,以及精确、近似或校正。
端点、分类反例与多消费者
- 零遗憾端点:作者称有限设定、唯一 Bayes 动作下,RX(0) 等于 BC 的熵,该端点已在 Walsh (2026b) 中明确写出。作者称 BC 描述零遗憾端点;保住每个可行动作的遗憾,可能需要 BC 里没有的区分。作者同时称,GC 对整条一步曲线充分,并不断言它是所有恰好保住该优化曲线的统计量中的最小者。
- 0-1 分类:动作是类别标签时,Bayes 商只保留最大类,完整遗憾向量决定整个后验。作者据此称,普通分类损失下,同一 Bayes 标签仍可以是不同的消费者特定信源状态。
- 多消费者:Proposition 5 陈述,增加一个已声明消费者只能细化联合遗憾信源;finite 系统中联合熵不减。作者称同时服务多个已声明任务的接口,可能必须保留其中任一任务都可以忽略的区分。这是静态结果。
其他消融与分析
- 论文未报告消融、超参数扫描或重复次数。
- 平方误差与对数损失:两个商重合(第 3.2 节),无额外数值。
- 作者转述先前信息瓶颈恒等式:信源与表示的互信息等于充分统计量与表示的互信息,加上给定该统计量后的剩余互信息。
- 期望损失被分成全信息下仍在的一项,加上非最优动作造成的一项;接口只影响第二项。
- 第 4.1 节只区分五种体制,没有给出近似倍数的具体数值。
- 第 7 节列出后续可测的任务表现、传输比特或 token、延迟、计算、内存和能量;作者称本文在作出这些经验主张之前停止,因此没有这些数字。
What are some points that can be further explored?
作者将递归的状态更新留在本文之外,并在经验比较之前停止。
作者指出的局限与后续方向
- 静态边界:作者称理论是静态的,不声称当前问题许可的约简在经接口行动之后仍然有效,若行动改变了状态、学习器、候选集、动作菜单、准则或依赖结构;也不比较一串变化决策问题上的任务充分信源,也不定义表示分辨率应朝哪个方向变。这些递归问题被故意留在本文之外(第 1 节、第 8 节)。
- 不定义动态更新:作者称本文不施加也不求解互模拟闭合、信息状态要求,或 Walsh (2026a) 的循环后果敏感压缩;结果不比较这类变化下的信源要求,也不定义任务充分信源的动态更新规则(第 8 节)。
- 下一步问题:作者称下一个问题不是再做一个固定状态上的静态收缩,而是任务所需信息如何跨状态变化,以及表示应变得更细还是更粗;本文不回答这个递归问题(第 9 节)。
- 规格与未来任务:作者称精确性从不意味着被丢弃的信息对每一个可能的未来任务都无用;同时服务多个已声明消费者时,不声称接口能预见从未进入规格的任务。若声明的动作或损失漏掉实际重要的后果,压缩信源可能丢掉真实问题需要的信息(第 8 节)。
- 成本:作者称信息论冗余不等于实现成本;从外部任务去掉一个区分,并不证明最便宜的实现应当避免在内部计算或存储它。作者称约简接口也不被说成计算起来便宜;丰富的潜表示仍可能是在内部产生接收方所需信息的最好方式(第 7 节、第 8 节)。
- 经验比较尚未做:作者称“表示对齐对互操作可以充分,但在接收任务容许共享的任务充分接口时不必必要”这一命题可检验。后续系统研究可以比较表示对齐流水线与由已验证压缩信源直接构造的接口;本文在作出这些经验主张之前停止(第 7 节)。
实验覆盖范围
- 形式结果写明的范围包括:finite 动作集上的一步速率–遗憾(Theorem 1)、仿射可行动作集上的二次遗憾商(Theorem 2)、唯一 Bayes 动作下 SY、GC、BC 的确定性分解(Proposition 4、Figure 1),以及固定能量预算 E>0 时 GC 为中心化负荷(第 6.3 节)。
- 回顾对照写明三项先前约简:对数损失信息瓶颈、设计信源的语义率失真、二次调度的目标导向量化(第 6 节、Table 1)。第 4.1 节列出精确、架构条件、代理、候选失败、校正五种体制。
- 带具体数字的算例是 E=1 的二维负荷 t=(0,10) 与 t'=(0,20),最优动作 (1,0),可行动作 a=(0,1)(第 6.3 节)。
- 论文未报告运行模型,未报告数据集、样本量、重复次数、评审模型,也未报告传输比特、token、延迟、计算、内存或能量的测量值。
- 多消费者结果停在静态细化:Proposition 5 给出联合遗憾信源的投影关系,以及 finite 系统中的熵不等式;作者称不声称能预见规格外任务(第 8 节)。
Summarize the main content of the paper
任务可在优化前定出压缩信源;作者称有限动作下GC不改变速率–遗憾曲线,注水动作可能过粗。
任务充分收缩处理机器信息接口上的信源选择:已声明任务有时可以在编码器、码本、速率、失真目标或优化器选定之前,定出一个更小的信源。
- 问题:作者认为充分性属于已声明用途,而不属于被描述对象有多丰富。接收机器有自己的动作集和损失,却不一定能看到生产者的内部表示;要留下的是能改变接收决策的区分。
- 构造:消费者固定后,两个状态仅在每个可用动作的条件遗憾都相同时合并,得到 GC。只记录全信息最优动作的 BC 更粗。若另有准则 Y,一种嵌套是 X 经后验 SY 再到 GC、BC;作者称这不是每个问题的必经顺序。
- 二次情形:可行动作落在仿射集上、损失为平方距离时,精确对象是向动作能够彼此不同的方向作投影。固定能量预算下,这是中心化负荷。
- 理论结果:Theorem 1 陈述,动作有限且失真可达时,在 GC 上求解的一步速率–遗憾与在更丰富信源上相同,约简在失真选定前固定。第 6.3 节中 E=1,t=(0,10) 与 t'=(0,20) 的注水动作都是 (1,0),而 a=(0,1) 的遗憾分别是 20 与 40。
- 先前案例:作者把信息瓶颈对应操作点选定前的精确收缩,把语义率失真对应由架构限制和诱导损失造成的精确受限问题,把约束目标导向量化对应明显任务变量失败后仍可再收缩的情形。
- 作者的结论:作者认为异构机器可以交换接收任务需要的内容,而不先对齐完整内部表示;并称这不表示每个任务都有小接口,也不表示更小接口计算更便宜。理论停在静态问题,不回答行动改变后续条件后,表示应变得更细还是更粗。