可解释性arXiv 2610.02702
研究：LLM 智能体顺从多数时内部仍保留原有前提
用 J-lens 检测屈从多数的智能体是否仍表征原前提
- arXiv
- 2610.02702
- 发表
- 层
- 模型层
- 场景
- 多智能体
- 测试
- Qwen3.5-4B、Qwen3.6-27B、Gemma-4-E4B-it 等 4 个
- 组件推理链
摘要揭示 LLM 智能体屈从多数时内部仍表征原推理前提，指出辩论表态共识可能夸大真实认同。
- 可解释性arXiv 2609.06968
通过稀疏自编码器特征追踪查询扩展效果
用 SAE 追踪稠密检索查询扩展的潜变量并用激活转向验证
- arXiv
- 2609.06968
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 测试
- Qwen3-Embedding-0.6B（Qwen-Embed）、SimLM
- 组件嵌入
摘要SAE 追踪稠密检索 QE 的潜变量，转向在四基准上比文本扩展更稳。
作者用稀疏自编码器分析稠密检索里的查询扩展：现成检索器不微调时，拼接扩展文本往往增益有限甚至变差，而最终指标和嵌入整体偏移不足以说明内部发生了什么。
- 可解释性arXiv 2609.08173
基于 SAE 引导的关键路径识别（KPI）解决知识冲突
提出 KPI，用入度定位跨层关键路径并做 SAE 转向以解决知识冲突
- arXiv
- 2609.08173
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 测试
- Llama-3-8B、Llama-3.1-8B、Gemma-2-9B 等 4 个
摘要KPI 以入度关键路径替代大批 SAE 特征转向，在冲突 RAG 上提高忠实并减轻副作用。
KPI 针对知识冲突 RAG 中的 SAE 转向：相关性批量改特征会带入冗余，少量因果上关键的特征即可完成转向。
已经到底了