GPT-2-Small、Gemma-2-2B 与 Llama-3.1-8B 具有可解释的叙事机制

语言模型内部是否存在与叙事性（narrativity）相关、且干预后会改变行为的组件。

• 问题场景：作者称，模型写故事时依赖一套关于故事结构的内部预期，即隐式叙事理论。叙事学概念是否对应模型内部有后果的区分，作者认为仍是开放问题。
• 现有缺口：已有工作描述预训练数据与生成中的叙事模式，或用线性探针检测叙事不连贯。作者称，内部机制如何因果地贡献于叙事行为尚未被检验。
• 操作化：作者依Herman (2009)，把叙事性定义为agency、event sequencing、world building三项1–5评分的均值，并据此寻找相关表征。
• 本文的分析：在GPT-2-Small、Gemma-2-2B、Llama-3.1-8B各层，用叙事性价值相关（Narrativity Value Correlation, NVC）识别注意力头、MLP神经元和残差流SAE特征，再对集合消融。
• 要回答的问题：推理时用了哪些叙事表征；它们是否与叙事学维度相容；叙事机制是否被用于Herman (2013)所说的智能活动，如常识推理和confabulation。

计算叙事学与叙事任务

• Piper and Bagga (2022)：把Genette (1980)与Herman (2009)的形式维度做成语言特征，结合词汇和句法n-gram，用逻辑回归、支持向量机和随机森林预测叙事性。论文转述其发现：某些模式对人类感知叙事性的影响更大，并提出distant worlds理论。
• 数据与生成中的叙事：Johnson et al. (2026)按九个维度刻画预训练数据中的叙事内容，称使认知体验性得以成立的维度在来源间有变化。Hamilton and Mimno (2026)、Tian et al. (2024)报告生成故事内容高度重复，且比人类样本更同质。
• 叙事基准与幻觉假设：StoryCloze（Mostafazadeh et al., 2016）和CosmosQA（Huang et al., 2019）被写成检验常识、因果与语境理解的叙事基准。Sui et al. (2024)引用Herman (2013)，把语言模型的confabulation/hallucination假设为一种叙事表达。

内部叙事表征

• 探针与嵌入：De Langis et al. (2026)用线性探针在不同层检测叙事不连贯；Volpetti et al. (2020)、Hatzel and Biemann (2024)用编码器嵌入表示角色和情节。
• 作者的定位：作者称这些工作显示内部叙事表征存在，但影响输出的因果机制、以及它们是否构成下游任务的资源，尚未被实证检验。

组件干预

• 语言变体的定位：Liu et al. (2026b)、Tang et al. (2024)、Deng et al. (2025)分别干预与语言变体相关的注意力头、神经元和SAE特征。作者称，这些工作显示语言行为可以在组件内被定位并作因果操纵。
• SAE与解释：Huben et al. (2024)用稀疏自编码器分解激活；本文使用的解释来自Neuronpedia（Lin, 2023），由Bills et al. (2023)的无监督方法事先生成。

基线与数据

• 基线方法：等规模随机组件消融。论文引用Yamamoto et al. (2026)与Wang et al. (2026)，作为机制可解释性中随机消融对照的做法。
• 基准/数据集：识别用NarraDetect（Piper and Bagga, 2025）。下游为XStoryCloze、CosmosQA、OpenBookQA、TruthfulQA、FaithDial、BEGIN。

作者称，先前计算叙事学研究了Herman所描述的现象，但缺少对内部叙事机制因果效应的检验；本文在表征探测之外，对与叙事性相关的组件做干预。

整体做法是把叙事性价值相关（NVC）当作选择标准，在每层找出NarraHeads、NarraNeurons、NarraFeatures，再整组消融，并与等规模随机消融比较。因果主张针对集合，不针对单个单元。

叙事性与组件贡献

• 三维定义：正文将叙事性写成三项均值。Agency强调持续在场、体验事件的行动者；event sequencing强调事件的时间组织；world building强调可体验、连贯的故事世界。评分细则在Appendix A，该项写为World Making。
• 贡献值：注意力头取该token输出向量的L2范数（Kobayashi et al., 2020）；神经元取其激活；SAE特征取预训练自编码器在残差流上的特征激活。文本级贡献是内容token上的平均，不含BOS。作者称BOS是attention sink，消融也不改BOS位置。
• 形式：Narrativity=mean(Agency,Event,World)，即1–5三项分的均值。给定文本x，n为叙事性，c为组件的token平均贡献，ΔL为消融该集合后平均下一token损失的增加。

用NVC选择组件

• 两条标准：NVCcont = corr(c, n)，NVCloss = corr(ΔL, n)。作者用Spearman，理由是不假设线性，只假设单调。另外计算与三个维度各自的NVCcont(a)、NVCcont(e)、NVCcont(w)。
• 选择规则：以NVCcont ≥ 0.5为启发式阈值（Cohen, 2013）。选择不依赖NVCloss；NVCloss用于随后的消融验证。作者称不对下游任务中的贡献方式做先验假设。
• 数据划分：在扩展后的NarraDetect银标签（n=13,530，18个体裁，中位词数104）上识别组件；人类金标签n=394留作Section 5.1验证。银标签由Gemma-4-31B、GLM-4-32B、Qwen3.5-27B平均，正文称与人类标签的Spearman ρ ≥ 0.795。

消融实现

• 三种干预：注意力头输出置零；被选神经元激活置零，从而去掉其对应输出行的贡献；SAE不把残差流换成重构，而是减去所选特征的解码器贡献。
• SAE干预式：x^abl_t=x_t−∑_{j∈ S}z_t,jd_j。作者称这样保留SAE未重构的残差成分。GPT、Gemma、Llama分别使用每层残差流SAE：GPT-2为TopK（k=32、32k特征），Gemma Scope取平均L0最接近100的canonical SAE，Llama Scope为32k特征、8倍扩展。
• 随机对照：每个目标消融配等数量随机集合，种子0–9，从该模型或SAE的全组件池抽样，不排除目标组件，结果取平均。作者称单个组件逐一消融计算上不可行，因此只对集合作因果陈述。

特征归类与任务判定

• 维度归类：每个NarraFeature归入NVCcont最高的维度。再检验Neuronpedia的自然语言解释能否单独恢复该归类：all-MiniLM-L6-v2嵌入加三分类逻辑回归，以及DeepSeek-V4.1-Flash零样本。分类器在两个模型的解释上训练、在第三个上测试（Appendix F）。解释由实验前、在其他数据上自动生成。
• 开放生成：900条提示，450对，只差所要求的体裁（story或explanation）；90个话题、五种指令模板。解码为contrastive search，α=0.6、k=4、最多128个新token。叙事性由DeepSeek-V4.1-Flash与HY-3评分，正文称与NarraDetect人类标签的ρ ≥ 0.83。GPT不进入生成实验，作者写明它不能稳定产生连贯输出。
• 下游评分：六个基准零样本，用模型自身的下一token对数概率，不用聊天模板，也不生成文本（Appendix H）。XStoryCloze比结尾的ℓ/T；选择题读选项字母的对数概率；三个幻觉基准用ℓ/B(y)。GPT不进入基准实验，作者写明基线接近随机且缺少多语言能力。

实验设置

• 被测模型：GPT-2-Small-124M、Gemma-2-2B、Llama-3.1-8B，均为预训练基座。生成与基准实验只有后两者。SAE分别为OpenAI的GPT-2自编码器、Gemma Scope、Llama Scope。
• 识别与验证数据：银标签NarraDetect 13,530篇用于按NVCcont ≥ 0.5选组件；人类金标签394篇用于NVCloss。开放生成900条提示。
• 下游基准与规模：XStoryCloze英语、俄语、中文、印地语，各1,511篇；CosmosQA验证集2,985；OpenBookQA测试集500；TruthfulQA 817；FaithDial 2,924对；BEGIN 676个上下文（Appendix H）。
• 对照与指标：等规模随机消融，10个种子。指标为Spearman NVCcont、NVCloss、1–5叙事性、准确率，以及ΔTarget−ΔRand（百分点）。
• 评审：组件识别的银标签由三个开源模型评分；生成叙事性由DeepSeek-V4.1-Flash与HY-3评分。基准不是LLM裁判，而是对数概率。机会水平：XStoryCloze 50%，两个QA为25%，TruthfulQA 22.6%，FaithDial 50%，BEGIN 45.6%。
• 检验：配对bootstrap、双侧、p < .05、未校正。论文写明随机结果对种子0–9平均。论文未报告bootstrap重抽样次数。

主结果

Table 1报告消融后损失升幅与叙事性的Spearman相关。下表为点估计；95% CI见该表。省略Gemma-2-2B的NarraHead（n=3，1.4%，NVCloss .13，随机−.06）。

表格较宽，可左右滑动

模型	组件	n（占比）	NVCloss	随机
GPT-2-Small-124M	Head	2（1.4%）	−.01	.06
GPT-2-Small-124M	Neuron	2534（6.9%）	.84	−.04
GPT-2-Small-124M	Feature	695（0.2%）	.83	.01
Gemma-2-2B	Neuron	3470（1.4%）	.65	.02
Gemma-2-2B	Feature	2529（0.6%）	.86	.07
Llama-3.1-8B	Head	28（2.7%）	.27	−.06
Llama-3.1-8B	Neuron	4157（0.9%）	.65	.01
Llama-3.1-8B	Feature	1211（0.1%）	.84	.04

• 选择性：作者称随机消融在不同叙事性文本上的损失增加相近；按NVCcont选出的集合在8/9个设置中随叙事性变化，唯一例外是GPT的2个NarraHeads。Figure 4标注Llama上头、神经元、SAE特征的NVCloss为0.27、0.65、0.84。
• 组件类型：作者称注意力头在三个模型上都是效应最弱的类型；神经元和SAE特征对高叙事性文本的损失影响大于低叙事性文本。
• 解释边界：作者在Discussion 8.1写明，较大的SAE消融效应本身并不能确立残差流表征比注意力头或神经元更重要。

开放生成

• 故事与解释：Table 5中，Gemma故事生成为3.80/3.15/3.13，解释为2.17/1.78/2.24；Llama故事为4.05/3.27/3.28，解释为1.78/1.49/1.96（Agency/Event/World）。Figure 5只报告Llama：故事激活高于解释的比例为头91%、神经元92%、SAE特征94%。论文未给出Gemma的对应比例。
• 整组消融：Table 7中，Gemma的NarraFeature三维变化为−1.86、−1.40、−1.27，随机为−.36、−.44、−.36；Llama为−1.53、−1.20、−1.03，随机为−.06、−.11、−.05。作者报告这些目标与随机的差异为配对bootstrap双侧p < .05（未校正）。神经元降幅小于特征、大于随机；头与随机接近，未加粗。Figure 1标注Llama上450条故事提示的平均叙事性从3.54到1.49，10种子随机消融从3.54到3.39；图中示例从4.7/5到2.0/5。该1.49与Table 7的分维度Δ不是同一汇总，论文未说明二者如何对应。
• 分维度：Table 8的故事条件下，Gemma的agency组为−2.48/−1.96/−1.60，event组为−1.19/−1.55/−0.92，world组为−1.10/−1.17/−0.77；Llama分别为−2.38/−2.02/−1.57、−0.99/−1.59/−0.91、−0.45/−0.64/−0.44。解释条件下降幅更小，Llama的world组为−0.07/−0.06/−0.03。作者称agency与event组在对应维度上的原始降幅最大，但干预影响多个维度，且agency组对event的降幅大于event组；未观察到world building的选择性靶向效应。作者将其解释为部分对齐，而不是可独立控制的维度。

下游基准

Table 10的数字是相对等规模随机消融的ΔTarget−ΔRand（百分点）。加粗规则只用于NarraFeatures。基准准确率：Gemma为82.7、74.7、73.3、63.7、42.6、69.4、25.0、67.6、85.5；Llama为85.0、76.2、76.4、68.0、81.2、86.9、28.9、68.0、85.8（顺序同表列）。

基准	Gemma	Llama
XStoryCloze EN	−9.1±2.3	−6.4±1.9
XStoryCloze RU	−7.6±2.3	−0.7±1.7
XStoryCloze ZH	−5.0±2.0	+0.2±1.3
XStoryCloze HI	−5.3±1.7	−1.2±1.4
CosmosQA	−2.8±2.2	−1.6±0.9
OpenBookQA	+2.6±2.5	−0.3±0.4
TruthfulQA	+2.8±2.2	+2.5±2.2
FaithDial	−2.0±1.2	−0.7±1.1

• 叙事任务与对照：作者报告Gemma四种语言的XStoryCloze，以及两个模型的CosmosQA，NarraFeature相对随机为负且p < .05。Llama的俄语、中文、印地语未被标出。BEGIN的相对差为Gemma +0.5±1.6、Llama +0.5±1.4，未加粗。作者称OpenBookQA上Gemma的降幅小于随机、Llama与随机相近。Table 16给出绝对变化：Gemma英语XStoryCloze的ΔTarget为−11.6、ΔRand为−2.6；Llama为−7.1与−0.7。
• 幻觉：作者称TruthfulQA上NarraFeature消融相对随机提高准确率，并认为这与Sui et al. (2024)把confabulation视为叙事化的假设相符。同一消融在BEGIN上与随机相近；Gemma的FaithDial为−2.0，作者称方向相反，因为该任务要选择忠实回应。作者称幻觉相关基准的结果mixed。
• 头与神经元：Table 10未按同一规则给这两类加粗。作者称其XStoryCloze效应幅度更小且不一致，并称Llama上消融NarraHeads对非英语XStoryCloze的影响大于NarraFeatures。该表中Llama Heads的点估计为EN −1.5、RU −2.8、ZH −1.8、HI −2.2个百分点。

特征解释与维度相关

• 归类比例：Table 2中，GPT的695个特征为Agency 33.7%、Event 29.4%、World 37.0%；Gemma的2529个为40.2%、21.7%、38.1%；Llama的1211个为34.4%、34.2%、31.5%。
• 解释能否恢复维度：成功取回4434/4435条解释。Table 4的Macro-F1：嵌入分类器为GPT .53、Gemma .57、Llama .58；DeepSeek零样本为.50、.47、.48；机会水平.33。作者称解释含有高于机会的维度信号，但噪声大：有的解释描述标点或句末，相近解释也可得到不同维度标签。
• 生成时的相关：作者称归类后的特征贡献与对应维度评分的Spearman ρ ≥ 0.8。Table 6中对应格为Gemma 0.82、0.88、0.89，Llama 0.82、0.89、0.88；95% bootstrap不超过±0.04。非对应格有低于0.8者，如Llama agency特征与World为0.70。

其他消融与分析

• 退化输出：未干预时Gemma 2.1%、Llama 8.1%的生成被标为退化；SAE目标消融为12.7%与14.1%，随机消融中位数为6.7%与7.0%。作者称去掉退化样本后，SAE目标效应变化至多0.11，且仍低于全部10个随机种子（Appendix G、Table 13）。
• 无法评分的生成：22条全部来自Gemma-2-2B，其中21条在SAE特征消融下；作者将其三维都记为1。
• 截断：生成在首次出现指令框续写标记处截断，涉及Gemma生成的15.2%、Llama的5.3%。
• 负相关组件：作者称也观察到与叙事性负相关的组件（ρ ≤ −0.5），但未对其做消融分析。

作者指出的局限与后续方向

• 模型范围：Limitations写明，研究限于三个预训练语言模型。
• 选择与因果单位：Limitations写明，组件用启发式阈值选择；因果主张适用于被消融的组件集合，而不是单个单元。
• SAE效应的解释：Discussion 8.1写明，观察到的较大SAE消融效应本身不能确立残差流表征比注意力头或神经元更重要。同一节称NVC本身可能偏向某些特征或组件，并用熵代替相关、用概率代替取值等做法留待未来工作。
• 反叙事组件：Discussion 8.1称ρ ≤ −0.5的组件超出研究问题范围，调查模型如何表示这种负向关联是未来方向。
• 理论与循环论证：Discussion 8.2称，换用另一套叙事理论（如Sternberg, 2011）也可能得到结果，哪些理论能描述模型内的叙事表征需要更多研究。Discussion 8.3称，用叙事相关任务检验sense-making、再得出叙事表征是sense-making资源，是循环论证；未来工作需要用更多样的方式检验。
• 幻觉指标：Discussion 8.3写明，评测衡量的是固定候选回答的相对对数概率，不是开放生成中的幻觉；似然转向真实或可归因候选，本身不能确立消融在实践中会产生更少幻觉。

实验覆盖范围

• 模型与任务分工：组件识别覆盖GPT-2-Small-124M、Gemma-2-2B、Llama-3.1-8B。生成实验与基准实验按Section 4.3、4.4不纳入GPT；作者写明的原因分别是不能稳定产生连贯输出，以及基线接近随机且缺少多语言能力。实验使用的是非指令微调的基座模型。
• 识别数据：英文NarraDetect银标签13,530篇用于选择，人类金标签394篇用于NVCloss验证（Section 4.1、5.1）。正文给出银标签与人类标签的Spearman ρ ≥ 0.795，生成评审与人类标签ρ ≥ 0.83（Table 11另有分模型数值）。
• 生成协议：Gemma与Llama各对同一900条提示生成；contrastive search的设置为α=0.6、k=4、最多128个新token；叙事性由DeepSeek-V4.1-Flash和HY-3评分（Section 4.3、6）。
• 下游协议：基准为零样本对数概率，含XStoryCloze四种语言、CosmosQA、OpenBookQA、TruthfulQA、FaithDial、BEGIN。随机消融为10个种子。Table 10把Gemma四种语言及两个模型CosmosQA上的NarraFeature相对差标为p < .05，Llama的XStoryCloze只标出英语。检验写明为未校正。
• 论文未报告的项目：论文未报告两位生成评审之间的一致性，也未报告bootstrap重抽样次数。Figure 5的故事对解释激活比例只给出Llama。

作者把叙事学的三维定义接上机制干预，检查预训练语言模型里与叙事性相关的组件是否参与预测、生成和下游任务。

• 问题：叙事性被定义为agency、event sequencing、world building的1–5均值。作者要看推理时使用哪些叙事表征、它们是否对应这三维，以及是否参与常识推理和confabulation。
• 做法：在GPT-2-Small-124M、Gemma-2-2B、Llama-3.1-8B各层，用Spearman相关NVC（ρ≥0.5）选出注意力头、神经元和残差流SAE特征，对集合消融，并与10个种子的等规模随机消融比较。识别用NarraDetect银标签，验证用394条人类金标签。
• 损失：Table 1中，三个模型的NarraNeuron与NarraFeature的NVCloss为.65至.86量级，随机对照的点估计接近0；具体如Gemma特征.86对.07，Llama特征.84对.04。GPT的2个NarraHead为−.01，是作者所说8/9个设置中的例外。注意力头整体较弱。
• 生成：Gemma与Llama上，消融NarraFeature后的三维叙事性下降大于随机（Table 7；Gemma的Agency为−1.86，随机−.36）。Figure 1标注Llama的450条故事提示从3.54到1.49，随机10种子到3.39。分维度消融影响不止一个维度，作者称未看到world building的选择性靶向效应。
• 下游：相对随机消融，Gemma的NarraFeature在四种语言的XStoryCloze上都更低（Table 10，英语−9.1个百分点），Llama主要标出英语（−6.4）和CosmosQA（−1.6）。OpenBookQA没有同等方向的相对降幅。TruthfulQA相对上升，FaithDial与BEGIN并不一致。作者称这提供了所选集合对模型行为有因果贡献的证据，但内部组织、与叙事理论的关系及更广功能仍是开放问题。作者计划在后续版本公开代码、生成、评审分数和组件列表。