跳到正文
原文

可解释权重空间编程构建透明 Transformer 与大脑编码模型

Interpretable weight-space programming builds transparent transformers and brain encoding models

arXiv· arXiv:2611.18114· Yash Mehta, Chandan Singh, Weijia Xu, Richard J. Antonello, Adeen Flinker, Nima Mesgarani, Michael F. Bonner, Nebojsa Jojic, Jianfeng Gao·本站收录· 17 小时前· 原文发表对齐
AI 导读

作者提出可解释权重空间编程(iWSP),让 LLM 智能体不经反向传播、直接用代码编写模型权重与特征来迭代构建可解释模型;智能体需依靠先验知识并对以往试验推理,提出假设、手工构建并改进人类可解读的计算,LLM 审计确认了这些手工模型的可解释性。作者先在算术、情感分类等基准上让 iWSP 构建出紧凑且准确的 Transformer,再将其应用于视觉、语言和听觉的神经编码模型:在视觉皮层上预测超过现有可解释基线,揭示早期与高级视觉区域的不同计算并泛化到未见数据;在语言 fMRI 中揭示数据里的混杂因素,在听觉 ECoG 中系统找到可预测神经活动的可解释声学特征。作者称这些结果确立了 iWSP 作为兼顾高预测性能与人类可解释科学发现的通用范式。

相关热点

1 个事件 · 1 条新闻提到

阅读原文arxiv.org