人工智能中的命题式可解释性

要解决的是：解释AI时如何把握命题态度，而不只是活跃的概念或特征。

• 为何重要：作者称机制可解释性服务于安全、伦理和认知科学。安全上要知道目标与计划，伦理上要知道决策理由和偏见如何进入，认知科学上希望解释系统本身。
• 概念层面不够：作者认为只知道概念或特征在激活并不够。同一组概念可以组成相反命题；相信某结果已经发生，也不同于把该结果当作目标。
• 作者的主张：作者主张命题可解释性，即用对命题的态度解释机制与行为。他称信念、欲求等词负荷较重，描述AI时更常使用模型、目标和概率。
• 本文提出的挑战：作者没有给出新算法，而是提出思想日志：记录系统随时间变化的相关命题态度。第7节再看探针、稀疏自编码器和思维链能否通向这一目标。

论文没有单独的Related Work，相关讨论在引言和第2至4、6、8节。

概念区分与机制传统

• 定义来源：作者把解释定义为人可理解地解释系统在做什么，并注明这类定义见Doshi-Velez and Kim (2017)。他再区分面向使用者的explainability与面向研究者的interpretability。
• 行为与机制：作者称二者有时叫black-box与white-box，或outer与inner（Grzankowski, forthcoming）。算法传统里，Olah et al (2020)研究由多个attention head串成的电路。
• 标签变化：作者称mechanistic interpretability起初指电路式算法解释，并与包括显著性图在内的表征工作相对；如今也常包括表征分析。脚注另列神经科学工具的讨论（He et al, 2024; Lindsay and Bau, 2023; Vilas et al, 2024）。

已有的命题层面工作

• 定位与编辑：Meng et al (2022)用因果追踪在语言模型中定位事实，并编辑网络，使相关输出跟着改变。
• 命题探针：B. Li et al (2021)在小世界上探测命题真值；K. Li et al (2023)从下Othello的网络解码棋盘；Feng et al (2024)用组合探针列出多条命题。
• 作者的对照：作者称这些工作已经在做命题可解释性，只是名称不同，而且较少处理信念和知识以外的态度。

彻底解释与心理语义

• 行为传统：Davidson (1973)由行为事实求解信念、欲求和意义。作者把Quine (1960)的彻底翻译和Dennett (1987)的意向立场放在同一传统。
• 物理与计算：Lewis (1974)由物理事实求解信念、欲求和意义。作者称这与机制解释相容，Davidson的纯行为限制则不相容。
• 内容理论：Fodor (1987)讨论心理状态何以有内容。作者称信息与使用是许多理论的共同点，并引用Harding (2024)把二者用于AI解释。

语言模型有没有信念

• 质疑：作者把Searle (1981)、Bender and Koller (2020)列为“缺乏理解”的论证，并称这很可能意味着没有命题态度。Shanahan (2022)被列为反对把当前语言模型说成有信念或知识的文献。
• 其他讨论：Goldstein and Levinstein (2024)、Lederman and Mahowald (2024)讨论语言模型与命题态度。Herrmann and Levinstein (forthcoming)、Levinstein and Herrmann (2024)讨论信念表征的标准。
• 作者的用法：这些文献被用来把“有没有心”和“有没有广义态度”分开。Schwitzgebel (2023)被用于不稳定判断。

作者把本文放在这些工作的交界上：不是再做一种探针，而是把态度类型和思想日志写成明确目标，并用心理语义检查现有方法。

作者没有提出新的训练算法。他把命题可解释性定义清楚，把思想日志设成挑战，再用心理语义和四类现有方法检查缺口。

解释任务怎么划分

• 两层对象：行为解释看输入输出；机制解释看内部机制。机制一侧再分算法解释与表征解释。作者重点放在表征。
• 概念与命题：概念解释追问猫、加法、某座桥这类概念。命题解释追问对命题的态度，例如相信某命题，而不只是相关概念在激活。
• 计算解释：作者把AI上的任务写成：给定算法、计算状态和有关环境事实，求解命题态度。网络一侧包括结构、权重、激活、输入、输出和历史。
• 与人类解释的差别：作者称Davidson式解释只许用行为；Lewis式解释可用物理事实。计算解释被写成第三者：从计算事实走到命题态度。

命题态度

• 态度种类：作者列出信念、欲求、作为主观概率的credence、效用或偏好、意图和假设。他称信念与欲求可能过粗，或要做概念工程，发展广义命题态度。
• 活跃与倾向：当下活跃的态度是occurrent，作者称在网络里对应激活；通常不活跃、可被激活的是dispositional，对应权重。
• 态度不能省：作者称，即便某结果或某评价被表征，它仍可能是目标、信念、概率或假设。广义态度也被用来避开“有没有心”：恒温器也可以有表征和目标。
• 非句子内容：作者把地图式、图像式表征也算进广义命题态度，因为它们对世界有可真可假的内容，哪怕不是句子结构。

思想日志

• 输入输出：这是一个元系统。输入是算法事实的规格，或许加上环境事实；输出是当前及随后的命题态度列表。
• 条目形式：作者用一局棋的目标、带主观概率的判断、下一步目标和动作作示意，不是实验结果。他也转述Lewis的格式：在时间t、以程度d相信或欲求某句所表达的命题。
• 无限态度：作者认为，若相信p，就可倾向地相信一切p或q，完整日志会不可能。他提出可只记occurrent态度、只记最重要的态度，或按准则检索。
• 三种扩展：理由日志显示态度之间的支持关系；机制日志标出负责的内部机制；意识日志记录意识状态。作者称后文主要讨论思想日志。

心理语义

• 设想：心理语义给出内容是什么，以及内容凭什么成立。作者设想，若理论完整，又知道算法状态和有关环境，就可推出命题态度。
• 信息与使用：信息原则看状态与什么相关、由什么引起；使用原则看它驱动什么后续加工和行为。欲求的一条使用原则是：欲求p，大致就是在信念为真时采取会实现p的行动。
• 作者称的共识：单独的信息理论或使用理论都不完整。信息较适合知觉，抽象概念更依赖使用，使用又常留下不确定。后文按方法依赖哪一条来评估。
• 作者写下的限制：第6节称不能知道全部算法事实，停机问题可能带来限制；完整理论也还不存在。外在论若成立，内容还依赖环境。

四类方法在框架中的位置

• 因果追踪：破坏部分输入激活，再用激活修补看哪些层能恢复输出；模型编辑则微调被定位的中间层。作者称其依据是下游使用，信息不起作用。
• 探针：通常用线性分类器，从活动模式解码特征或命题真值。Feng et al先探名称和国家，再用绑定探针和绑定子空间把概念合成命题。
• 稀疏自编码器：两层网络把激活编成大多数分量为零的中间向量，再解码回去。作者讨论把活跃单元当作特征日志，再区分概念、命题和态度。
• 思维链：让模型说出或内部生成中间结论。作者讨论STaR、Quiet-STaR和o1；有的用对链条的评估做强化学习，Quiet-STaR的中间步骤不作为输出。

实验设置

• 作者自己的实验：论文没有报告作者运行的实验、基线、样本量或重复次数。第7节评估已有方法。
• 文中系统：GPT-J（Meng et al, 2022）；小世界网络（B. Li et al, 2021；Feng et al, 2024）；下Othello的网络（K. Li et al, 2023）；Claude 3 Sonnet（Templeton et al, 2024）；STaR、Quiet-STaR和OpenAI的o1。
• 任务：事实补全与模型编辑、小世界命题、棋盘状态、残差流特征和推理中的思维链。论文未给出这些任务的样本条数。
• 指标：论文没有统一成功率或阈值。作者使用的标准包括是否稳健、是否开放、态度是否被覆盖、是否需要领域真值、链条是否忠实和完整。
• 谁在解释：稀疏自编码器一节中，作者写特征解释由Claude自己完成，并认为这使判断变复杂。论文未报告独立评审或人工一致性。
• 对照：论文没有设置自己的对照方法。

主结果

论文没有作者自己的结果表。下面只列第7.3节对Templeton et al (2024)的转述，不是本文新测量。

对象	第7.3节的转述
Claude 3 Sonnet残差流	每token超过10,000个单元，具体参数未公开
该研究最强自编码器	34 million个单元，任一时刻约100个激活
单元可解释的比例	作者称略少于一半看起来可解释，但解释由Claude自己完成
伦敦的32个行政区	作者称略多于一半似乎各有稀疏单元

• 作者的解读：作者称许多单元像在对应概念，但也有单元更像行为倾向，例如谄媚；个别特征或对应命题，甚至不确定之类的态度。他称不可能每个命题都各占一个单元。
• 作者称的薄弱处：金门大桥特征也会被其他桥激活。预期中的概念并非都能找到。用模型自己判断输入属于哪一类，作者认为使解释依据变得可疑。
• 没有跨方法数字：作者没有给出四种方法的数字对照。其余判断是定性的。

因果追踪与探针

• 因果追踪：作者转述Meng et al在GPT-J上的做法。恢复城市名时，末层末token最重要，其次常是中间层。编辑后，相关出行建议会改口。作者称反方向问法和不同语言的对应词并不稳定。
• 开放性：作者称这是监督方法，一次只处理一个预先指定的事实，不能记录事先没想到的命题。现写法针对信念或知识；论文没有报告扩展到概率或目标的结果。
• 探针：小世界探针探测容器是否装有某物；Othello探针能区分某格黑子命题为真和为假的活动。改成白子活动后，走法更适合白子。作者称训练需要已知真值，现实领域难得多；组合探针仍离开放式日志远。

思维链

• 系统：作者讨论STaR、o1和Quiet-STaR。他称对链条的评估可用于强化学习，并称推理表现因此更强；论文未报告具体分数。
• 不忠实：作者转述Turpin et al (2023)，称思维链常常错误陈述模型为何这样说。他还称链条作为内部过程的反映很可能不完整，会漏掉关键态度。
• 适用范围：作者称这种解释主要适用于本身使用思维链的系统。对不用思维链的系统另生成链条，链条不参与原系统，为何能反映原系统就更不清楚。

其他消融与分析

论文未报告消融、参数扫描或重复实验。第8节对“答错即无信念”的回应不是测量：作者称人也会答错；稳定错答更像错误信念，随提示改变则像没有稳定信念，可类比Schwitzgebel所说的in-between believing。

作者指出的局限与后续方向

• 草稿未完成：引言脚注写，本文目前是草稿，更面向AI的简版是第1、5、7节。第6、7节脚注写，部分心理语义内容和基于哲学分析的解释方法仍待移入或补写。
• 算法事实：第6节称一个明显限制是不能知道全部算法事实。作者写，若命题态度有时依赖系统是否停机，解释就会受限制。
• 没有完整理论：第6节的第二点是，还没有完整的心理语义理论，这种理论是否可能也不明显。作者认为，针对某些系统或某些态度的部分理论看起来可能。
• 不能保证安全：第8节称命题可解释性远不能保证AI安全。作者称复杂系统可以找到许多办法规避思想日志；它只是安全工具中的一种。
• 伦理平衡：第8节称，若未来系统有意识且是充分反思的理性行动者，思想日志可能侵犯其隐私。作者称必须与防止安全伤害放在一起权衡，确定平衡并不简单。
• 感知与意识：第8节称，或可把日志扩到感知，但丰富内容可能需要特殊传达工具，或改用不那么丰富的刻画。意识日志更难，因为物理或计算过程与意识之间有认识上的缺口。

实验覆盖范围

• 评估方式：第7节讨论因果追踪、分类器探针、稀疏自编码器和思维链，是概念评估，不是作者新跑的实验。
• 文中案例：转述涉及GPT-J上的事实定位与编辑、小世界与Othello上的探针、Claude 3 Sonnet上的稀疏自编码器，以及STaR、Quiet-STaR和OpenAI o1。
• 未报告项：论文未报告作者自己的样本量、重复次数、查询次数或评审一致性。
• 心理语义：第6节概述信息原则与使用原则，未报告用这些原则做的对照实验。
• 第8节的讨论：心灵地位、外在论、不可靠性、纯语言模型的情形，以及安全与伦理异议，都没有配套测量。

作者把命题可解释性写成机制可解释性中的一个专门纲领：用信念、欲求、主观概率或其广义形式，解释AI的机制与行为。

• 问题：知道概念在激活，仍分不清命题内容和态度类型。作者认为安全与伦理都依赖这一区分，例如某结果是已被相信，还是被当作目标。
• 框架：作者借用Lewis的彻底解释，把任务改成由计算事实和环境事实求解命题态度。可运行的版本叫思想日志：元系统列出随时间变化的相关态度；理由日志和机制日志是扩展。
• 依据：作者用心理语义中的信息原则和使用原则检查方法。信息看上游相关，使用看下游作用。他同时写，完整理论还不存在，停机问题也可能限制我们能知道的算法事实。
• 四类方法：因果追踪和普通探针需要事先指定命题，作者称难做开放式日志。稀疏自编码器给出无监督特征列表，作者称更适合概念日志，命题和态度仍要另找结合方式。思维链输出已是自然语言命题，作者称常常不忠实、不完整。
• 唯一的定量转述：作者转述Templeton et al (2024)对Claude 3 Sonnet的分析：残差流每token超过10,000个单元；最强自编码器有34 million个单元，同时约100个激活；略少于一半的单元看起来可解释，而解释者是Claude自己。
• 作者的结论：作者预计这是数十年的项目，并称自己是解释多元论者。算法解释在预测上常常更强；命题态度解释则提供人能理解的理由和概括。他同时称这远不能保证安全。