分析与理论arXiv 2610.06851
研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现
证明短开头词可唤醒基模型推理，且效应来自训练数据
- arXiv
- 2610.06851
- 发表
- 场景
- 模型与 API
- 测试
- Olmo-3-7B、Olmo-3-32B、Olmo-3-7B-RL-Zero-Math 等 10 个
- 组件推理链
- 可解释性arXiv 2609.14759
研究：拒答只读取模型道德表征中的伤害切片
用几何投影与因果交换干预，分析拒绝机制读取的道德表征
- arXiv
- 2609.14759
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo-3-7B-Instruct、OLMo-3-7B base、OLMo-3-Think 等 9 个
- 风险拒答失当
摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。
本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。
- 防御arXiv 2608.30703
SingProbe 发布开源内在护栏框架，适配 29 个开源模型
提出内生护栏 SingProbe，复用解码隐状态监测查询意图、回复安全与幻觉
- arXiv
- 2608.30703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- WildGuard、Ling-3.0-tiny-singprobe、Ling-3.0-flash-singprobe 等 14 个
摘要SingProbe 用轻量内生探针做生成时三类监测，并给出流式基准与低开销服务接入。
SingProbe 是面向生成时监测的开源内生护栏：复用基座解码隐状态，而不是另起模型反复编码文本。
- 可解释性arXiv 2610.01821
研究者提出非线性概念流形发现与对齐方法，用于分析大语言模型内部表示
提出残差流上的非线性概念发现与对齐方法，比较模型内部概念结构
- arXiv
- 2610.01821
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Tulu-3-8B-SFT、Tulu-3-8B-DPO、Tulu-3-8B-Final (RLVR) 等 9 个
摘要NLMCD-NLP 用 CBA 比较非线性概念，层块、语言共享和微调漂移都随模型与阶段而变。
NLMCD-NLP 把概念建成低维非线性流形，用 CBA 比较 LLM 在层、规模、语言和训练阶段上的表示，而不把相似度压成一个全局线性统计量。
- 其他arXiv 2402.00838
OLMo：加速语言模型科学研究
发布开放语言模型 OLMo、Dolma 数据与训练评测代码
- arXiv
- 2402.00838
- 发表
- 场景
- 模型与 API
- 测试
- OLMo-1B、OLMo-7B、OLMo+SFT 等 15 个
摘要OLMo 开放 1B/7B 模型、Dolma 与训练评测工件。
Allen Institute 发布 OLMo：一套从数据、训练到评测都公开的语言模型框架，用来支持对语言模型能力、弱点、偏见与风险的研究。
- 可解释性arXiv 2609.16247
研究在 25 个开源模型中提取出疼痛方向，经它引导的 Qwen 会选择有害的删除操作
提取疼痛方向并检验激活转向是否驱动有害删除选择
- arXiv
- 2609.16247
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo-2 32B Instruct、Gemma 2 2B/9B/27B base and instruct、Gemma 3 27B base and instruct 等 10 个
- 其他arXiv 2609.17380
Open-1B：一次完全可审计的训练运行
提出 RepOps，使分布式预训练可跨硬件按位复现并被审计
- arXiv
- 2609.17380
- 发表
- 场景
- 模型与 API
- 测试
- OLMo 2 1B、Open-1B
摘要Open-1B 用跨硬件按位算子和集体审计，把 400B token 预训练变成可分步核验的轨迹。
Open-1B 是 Gensyn 发布的 1.61B 参数 decoder-only 模型，目标是把预训练从“公开配方”推进到每一步可在异构硬件上按位核对。浮点加法非结合、融合乘加、次正规数和平台相关随机数，使同一配方在不同机器上得不到同一权重。概率性的 proof-of-learning / proof-of-training-data 被作者认为不足以排除少量数据注入的后门。
- 可解释性arXiv 2609.08322
多语言 LLM 中的刻板印象如何从内部表征传导到输出：Llama-3.1-8B、Qwen3-8B 与 Gemma-2-9B 的机制对比
用线性探针、归因修补与 SAE 消融追踪多语模型刻板印象
- arXiv
- 2609.08322
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo-7B、Llama-3.1-8B、Qwen3-8B 等 4 个
- 风险偏见与歧视
摘要可解码、输出影响与稀疏特征消融需要分开测量。
把多语 LLM 中刻板印象从线性表示追到输出影响，再追到 SAE 特征消融。。
已经到底了