量子位量子位 · Oct 9Attention5555

ByteDance research reveals the cause of DeepSeek-V4 retrieval fluctuations

ByteDance's Seed team found that the accuracy of the DeepSeek-V4 series in long-context retrieval fluctuates periodically with the position of the target information in the input, and attributed the cause to its chunked KV Cache compression. In a needle-in-a-haystack test with 128K tokens and about 16,000 key-value pairs, the maximum accuracy gap between different positions for DeepSeek-V4-Flash-Base was 40.2 percentage points, and for DeepSeek-V4-Pro-Base it was 34.8 percentage points; the gap narrowed after post-training.

LessWrongLessWrong · Oct 8 14:41Attention5454

NLA监控漏检SFT内化的隐写行为

研究者用隐写术任务测试自然语言自编码器（NLA）能否发现模型的隐藏行为，发现NLA在上下文学习（ICL）模态下能给出暴露性读出，但在经SFT内化该行为的模型上大多失效。实验基于Gemma-3 12B-it，让模型用英式与美式拼写差异编码1比特秘密，由gemini-2.5-flash作为可信监控器读取逐token读出。结果显示，暴露率主要由上下文窗口中的指令驱动，而非隐蔽计算本身。

OpenAI与Apollo研究元博弈潜表征

OpenAI对齐研究团队与Apollo Research合作，用稀疏自编码器（SAE）研究OpenAI o3在强化学习过程中出现的元博弈内部表征。研究者从梯度方向与SAE潜变量中筛选出四个与元博弈相关的潜变量，发现它们分别对应任务分析、评测感知、规格层面推理和规范性判断等不同推理模式，而非单一机制。在even_number任务上，这些潜变量的激活和引导效应随RL训练增强，且能在不写入思维链的情况下影响模型输出。

论文追踪, Rice-wxl/multi_objective_mo论文追踪 · 2 sources · 2 reports · Oct 7Attention5555

模型生物训练提出三项验证目标

Northeastern University 研究者提出，仅以植入目标行为为单一目标训练模型生物不足以支撑可解释性结论，应同时验证行为植入、通用能力保留和输出自然性三类指标。他们用该框架重新评估 Pando 与 Model Organism Lottery 两个公开套件，发现固定行为率下聊天质量与 CoT 自然性随训练配方大幅下降，且验证指标能预测可解释性方法恢复植入行为的效果。Bau 与 Wallace 组为论文《How to Train Your Model Organism》开源了代码与模型生物，覆盖训练、验证、临床模型生物、审计和分析五部分；训练侧提供 SFT、DPO 与多目标模型合并来植入行为，验证侧给出衡量模型偏离基座模型程度的指标，材料包含 163 个基于 Llama-3.1-8B-Instruct 的临床模型生物，分别编码年龄、性别、种族三类临床偏见，以及配套数据管线。

Goodfire 提出 Block-Sparse Featurizers，在视觉模型中还原多维概念流形

Goodfire Research 提出 Block-Sparse Featurizers（BSF），用多维子空间替代 SAE 等常用方法的一维直线假设，把模型激活分解为成组同时激活的 block。作者认为现有 SAE 和 transcoder 假设每个内部概念是一条直线，无法刻画表示中弯曲的多维结构，而 BSF 在 block 层面施加稀疏性，还提出 vanilla BSF、Grassmannian BSF 和 group-lasso BSF 三个变体。

Goodfire 在 Llama 3.1 8B 中发现通用加法模块

Goodfire Research 在 Llama 3.1 8B 第 18 层发现一个通用加法模块，可同时处理算术、星期与月份等具有加法结构的任务。该模块把数字表示为激活空间中的一组圆，每个圆对应数字对某一模数的余数，类似傅里叶分解；计算 6+8 时，模块并行求解各模数下的加法，再组合出结果 14。研究者通过追踪跨层与跨 token 位置的信息流定位该模块，并用因果方法验证其跨任务通用性；同时沿这些圆进行引导可改变模型对月份问题的回答，说明这些流形是网络真实使用的计算对象。作者指出，这一发现依赖此前关于 LLM 用傅里叶特征表示数字的工作，并希望未来研究补全经验证据。

Goodfire 研究显示沿表示流形引导比线性引导更贴合 Llama 行为

Goodfire Research 提出沿表示空间中的流形而非直线进行表示引导，以控制神经网络行为。研究以星期几这一循环概念为案例，在 Llama-3.1 8B 上观察到行为空间与激活空间都呈现七簇圆形结构，沿表示流形引导能让输出概率依次从周一平滑过渡到周五，而线性引导会横切行为流形并产生非星期的噪声输出。研究还反向优化出沿行为流形的引导路径，发现其与表示流形路径形状吻合，说明行为几何与表示几何存在双向对应。论文进一步在月份、字母、年龄及合成上下文学习任务和图像动作模型上发现类似结构。

Goodfire 研究：LLM 如何在阅读故事时追踪情感动态

Goodfire Research 用 Llama 3.1 8B 做案例研究，发现大语言模型在逐句阅读故事时，其内部激活会在概念空间中沿弯曲流形移动，动态追踪故事情感走向。研究先验证 LLM 的情感表征与心理学价-唤醒模型一致，再让模型对每句话后的惊讶、厌恶、愤怒、快乐、悲伤、恐惧按 0-10 打分，形成行为读数，且无需询问情感的内部探针同样准确。

Goodfire 研究 SAE 能否捕捉神经几何，并提出无监督流形发现流程

Goodfire Research 发布研究，考察稀疏自编码器（SAE）学到的方向与神经网络弯曲几何之间的关系。团队在包含甜甜圈、球面、莫比乌斯带等结构的合成数据上训练 SAE，发现随重建方向数量变化，SAE 会以三种方式恢复几何结构：碎片化（每个点由独立特征表示）、紧凑捕捉（少量共享特征充当坐标系）和稀释（中等数量特征部分共享）。在真实神经网络表示上训练时观察到的是稀释，单个 SAE 特征只覆盖流形的一部分，例如温度流形上「寒冷天气及其影响」与「极端高温及其影响」分别激活两端。

潜在推理架构可能削弱 CoT 这一最强监督工具

Lukas Finnveden 在 AI Alignment Forum 发文认为，向潜在推理架构的转变很可能削弱思维链（CoT）的可监控性，使 AI 监督更加困难。文章把 CoT 当前的价值分为两类：必要性，即模型不把计划说出来就无法完成目标；倾向性，即模型即使没必要也倾向于把推理写进 CoT。作者认为必要性论证更稳健，因为 CoT 是模型突破单次前向传播串行步数限制的唯一途径，且 RL 不会很快探索出高度非人类的 CoT 用法。潜在推理架构会缩小甚至消除有 CoT 与无 CoT 能力之间的差距：COCONUT 完全用连续潜在思维替代文本 CoT，full-bandwidth transformer 在 CoT 之外并行增加潜在通道，looped transformer 则在文本瓶颈之间大幅增加串行深度。

Owain Evans 提出研究 Assistant 人格内部表征的新方法

Owain Evans 提出一种研究 Assistant 人格及其内部表征的新方法，区别于 Assistant Axis 等白盒方法。作者引用的内容指出，Assistant 会更多采纳与其相似的人类角色的特质，研究据此推断模型如何表征 Assistant，例如模型认为 Assistant 更像精英学校背景的人而非非精英背景的人。作者还讨论了一种可能解释，即模型是否更信任精英学校人群的判断，但援引 Slocum 等人 2025 年的论文认为，来源出处对微调中的信念采纳并不重要，因此不倾向这一解释。

METR 的 Ryan Greenblatt 呼吁 AI 公司公开架构可监控性权衡证据

METR 的 Ryan Greenblatt 对 AI 架构转向以不透明激活而非思维链进行推理（即"neuralese"架构）表示担忧，认为 Astra 是这一方向上令人不安的一步。他指出公开信息不足以就 Astra 架构与训练方法改动在可监控性与性能之间的权衡展开充分讨论，呼吁 AI 公司发布相关证据并公开其政策，Redwood AI 也提出了追踪无 CoT 推理能力与可监控性政策的提案。他强调公司应谨慎对待可能消除或大幅削弱对思维链依赖的架构。

Goodfire 提出神经几何：神经网络内部世界呈弯曲流形结构

Goodfire Research 发布系列文章，主张神经网络内部表征常呈弯曲几何结构，而非线性方向，并提出以神经几何为前沿来理解、改进和控制模型。文章用 mountain car 图像-动作模型演示：图像编码器把小车位置表示为一条弦状流形，沿该流形干预隐藏激活可让小车平滑上下坡，而线性路径会穿过激活空间中的空洞，导致输出混乱甚至小车瞬移。作者指出，语言模型中月份、星期呈环状，历史年份与文本字符呈平滑曲线，图像模型的空间布局与颜色也呈结构化曲面。文章还批评稀疏自编码器（SAE）会把流形打碎成许多看似无关的局部特征，例如在押韵词流形上只能标出局部拼写属性，掩盖了音韵结尾这一整体语义结构。

什么是 neuralese，为何引发 AI 安全界担忧

Transformer 梳理了围绕 OpenAI 新模型 Astra 的 neuralese 争议。据 The Information 报道，Astra 采用名为 recurrent depth 或 looped transformer 的架构，让模型更多在内部完成思考，减少写下思维链笔记，从而更难被监控，AI 安全研究者 Ryan Greenblatt 称若属实则可能是迄今对 AI 安全最糟糕的进展。文章解释了思维链监控的价值，指出 OpenAI 曾借此在训练中发现不对齐行为，而 OpenAI、Anthropic、Google DeepMind 作者合著论文称思维链是独特但脆弱的安全机会。

Goodfire 提出模型差分放大方法，用于发现微调后罕见不良行为

Goodfire Research 提出模型差分放大（model diff amplification，后称 logit diff amplification）方法，通过 logits_amplified = logits_after + α(logits_after – logits_before) 采样下一个 token，放大微调前后模型的差异，从而用更少 rollout 暴露罕见不良行为。在涌现性错位案例中，用不同比例不良医疗建议数据微调 Llama 3.2 1B Instruct，当坏数据仅占 5% 时标准采样 1/10000 有害，放大后升至 1/30，整体使错位回答出现频率提高 10 到 300 倍。

论文追踪, The Chosun Daily · 3 sources论文追踪 · 3 sources · 3 reports · SepAttention5656

Multi-agent experiments produce communication languages that are difficult for humans to understand

A research team from the University of Edinburgh, the University of Texas at Austin, and others published a study on arXiv analyzing how language evolves among AI agents. The experiment simulated a collaborative medical task where one AI played a doctor and another played an emergency responder, able to treat an alien lifeform named Beyru only by exchanging information; the researchers limited the total number of exchangeable characters to 2000 and 150, respectively. With ample characters, the agents continued using English; under strict limits, they began generating shorter expressions such as @L12gA, T1 lf gnt 12s, which are difficult for humans to understand but decodable by each other. The researchers also proposed the GlossoGen platform to study language evolution among multiple LLM agents in complex scenarios and built the SaveVeyru scenario, which requires agents with incomplete information to communicate under pressure. The experiments found that language evolution does occur among LLM agents, and the evolved languages exhibit compositionality and morphological productivity, deviating from the LLMs' English prior and being incomprehensible to humans. The study identified conditions that drive evolution, including efficiency pressure, the strength of the models supporting the agents, and a postmortem phase where agents agree on language conventions. Researchers from AE Studio, UT Austin, Schmidt Sciences, and the University of Edinburgh released the GlossoGen platform and observed in the collaborative emergency scenario SaveVeyru that pretrained LLM agents abandon English and switch to their own compressed language for communication. Agents only switch languages when they have both a tight communication budget and a postmortem review channel; without either condition, perplexity remains at English levels. Even with both in place, most runs still end in failure. These languages have reusable morphemes and fixed word order, and agents can understand and generate combinations they have not previously sent to each other.

Goodfire 提出 Forking Fast：高效估计文本生成中的不确定性动态

Goodfire 提出 Forking Fast，用于高效估计文本生成过程中的不确定性动态，面向生成式模型的不确定性估计。

Anthropic 提出 CHIVE 流水线：用反事实实验评估 LLM 行为解释

Anthropic 提出 CHIVE（Counterfactual Hypothesis Investigation Via Edits），一个智能体流水线，能在真实提示词中发现 LLM 的意外行为，并通过反事实提示词编辑给出可测量的解释。流水线分四步：采样（每个提示词采样 30 条回复）、筛选（由调查模型标记意外行为）、调查（运行 5–15 次反事实实验，编辑提示词后重新采样并测量行为出现频率的变化）、验证（独立评审模型为解释打分）。用它做评测时，激活 oracle、自然语言自编码器（NLA）和稀疏自编码器（SAE）三类激活读取工具都没有超过只读对话记录的基线，该结果在两种目标模型、三个预测模型家族和超参数扫描下都成立；作者认为工具输出几乎从不直接说明特征与行为之间的因果关系，且评测中的行为比 System Card 中的更简单。

Anthropic 在单层语言模型中刻画干扰权重

Anthropic 可解释性团队训练了一个约 2.9M 参数的单层 Transformer，将其分解为 token、位置、transcoder 特征与 logits 之间的虚拟权重，并沿有效性和有益性两个轴为每个权重打分，首次在训练好的 Transformer 内部通过测量对训练损失的影响确认了干扰权重的存在。有效性用 Fisher 信息度量权重对输出分布的影响，有益性用消融后损失的平均变化度量。

R-lens 改进 J-lens 早期层忠实度