可解释性arXiv 2609.09575
MonoTM:用可解释单义特征做主题建模,超越关键词表示
提出 MonoTM,用 SAE 单义特征估计文档主题混合并生成主题描述
- arXiv
- 2609.09575
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-3-27B-IT、Gemma-3-12B-IT、llama-embed-nemotron-8b
- 组件嵌入
摘要MonoTM 分开估计混合与解释主题,三套基准上二者偏好的 SAE 配置不同。
MonoTM 是建在文档嵌入 SAE 上的可解释主题模型:混合估计用全部 SAE 特征,主题描述只用另一套配置里通过验证的语义特征。