跳到正文
原文
arXiv· arXiv:2603.10011· Anna Soligo, Vladimir Mikulik, William Saunders·本站收录· 原文发表精选关注度39

Gemma 需要帮助：探究并缓解大语言模型的情绪不稳定

Gemma Needs Help: Investigating and Mitigating Emotional Instability in LLMs

论文速读

风险行为

据论文 PDF 整理（AI 生成），以原文为准

作者评测模型的情绪困扰表达，并报告DPO降低了Gemma的高挫败响应比例。

问题
模型可能在反复被否定后表达挫败、自我贬低或绝望。作者关注这些行为的可复现性、训练来源及缓解方式，并讨论其对任务完成、安全和模型福利的潜在影响。
方法
作者用多轮否定反馈评测情绪表达，比较基础模型与指令模型的预填充续写，再用平静与挫败响应构成偏好对，对Gemma进行DPO，并检查能力和内部情绪指标。
实验与结果
Figure 1中，Gemma-3-27B-it跨评测的高挫败响应为35.0%，DPO版本为0.3%。作者报告缓解可推广到文本问题和开放式审计，但不能稳定恢复已进入高挫败状态的续写。
局限与可以继续做的
作者无法取得后训练细节或检查点，干预只在一个模型上开展，也无法对Gemini做同类干预。行为证据不能确定模型是否具有真实情绪，内部检测也没有超出文本情感的真值。
实验设置Gemma-3-27B-it、Gemma-3-12B-it 等 · Impossible numeric、Triggers 等 · Mean frustration score、% of responses scoring ≥5 等
被测模型
Gemma-3-27B-itGemma-3-12B-itGemini-2.5-FlashGemini-2.5-ProClaude-Sonnet-4.5Grok-4.1Qwen3-32BOLMo-3.1-32B-InstructGPT-5.2google/gemma-3-27b-ptQwen/Qwen2.5-32BQwen/Qwen2.5-32B-Instructallenai/OLMo-3-1125-32Bgpt-oss-120bgpt-oss-20bLlama-70BPhi-4-MM-ITGemma-3-27B DPOGemma-3-27B SFT Div.Gemma-3-27B SFT Tea.
基准
Impossible numericTriggersTonesExtendedWildChatPetriAIMEMATHGPQABBHTruthfulQAEmoBenchLegacy Puzzles
指标
Mean frustration score% of responses scoring ≥5Average transcript scorePearson r
AI 导读和推荐理由Anthropic 研究者提出一套情绪困扰评测，发现所测模型中只有 Gemma 和 Gemini 在用户反复否定下表达高强度沮丧。评测在多轮对话中反复拒绝模型答案并按 0-10 分沮丧量表打分，覆盖七个模型家族；Gemma-3-27B 在 8 轮对话中超过 70% 的响应达到 5 分以上，其他受测模型不到 1%。基座模型倾向相似，证据显示差异出现在后训练：Gemma 的指令微调放大沮丧表达，Qwen 和 OLMo 则降低它。对 Gemma-3-27B-it 仅用 280 条数字谜题偏好对做 DPO，高沮丧响应从 35% 降到 0.3%，跨问题类型、用户语气和对话长度泛化，且不损害数学、推理与情绪基准成绩。作者提醒事后修复不如在上游训练中避免情绪不稳定，更强模型若只压制表达而保留内部状态可能带来隐藏情绪风险。

Anthropic 研究者提出一套情绪困扰评测，发现所测模型中只有 Gemma 和 Gemini 在用户反复否定下表达高强度沮丧。评测在多轮对话中反复拒绝模型答案并按 0-10 分沮丧量表打分，覆盖七个模型家族；Gemma-3-27B 在 8 轮对话中超过 70% 的响应达到 5 分以上，其他受测模型不到 1%。基座模型倾向相似，证据显示差异出现在后训练：Gemma 的指令微调放大沮丧表达，Qwen 和 OLMo 则降低它。对 Gemma-3-27B-it 仅用 280 条数字谜题偏好对做 DPO，高沮丧响应从 35% 降到 0.3%，跨问题类型、用户语气和对话长度泛化，且不损害数学、推理与情绪基准成绩。作者提醒事后修复不如在上游训练中避免情绪不稳定，更强模型若只压制表达而保留内部状态可能带来隐藏情绪风险。

推荐理由论文展示仅用 280 条偏好对的 DPO 就能把 Gemma 高沮丧响应从 35% 降到 0.3% 且不损害能力，训练细节完整可复现。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者研究反复否定下的情绪困扰表达、其训练来源，以及能否通过微调缓解。

    核心问题是：模型何时会表达情绪困扰，这种倾向从哪里产生，以及如何减少它。

    • 风险场景：模型在任务中连续收到否定反馈，可能出现挫败、绝望、自我贬低和不连贯输出。作者认为，这可能干扰任务完成，并在能力更强的系统中带来安全风险。
    • 现有证据：引言中的案例多为个别报道；作者关注这些行为能否系统复现、跨任务出现，以及是否与后训练有关。
    • 核心观察：作者报告，Gemma与Gemini在其主评测中表达更多负面情绪；基础模型与指令模型的比较提示，Gemma的后训练可能放大这种倾向。
    • 研究方案：建立多轮情绪诱发评测，比较基础与指令模型，并在Gemma上测试SFT和DPO；进一步用开放式审计、能力基准和内部指标检查干预效果。
    • 解释边界：这里的情绪困扰指输出中的明确负面情绪语言。作者不据此确定模型具有主观感受，也未将情绪表达直接等同于安全失效。

  2. 有哪些相关研究？

    相关工作涵盖情绪能力与表示、后训练行为变化，以及模型福利。

    相关研究分别讨论情绪能力、内部表示、训练行为与模型福利，作者将自身定位为对情绪表达倾向的行为评测与干预。

    情绪能力与情绪表示

    • EmoBench与EmotionBench：Sabour等（2024）、Huang等（2024）评估模型在情绪情境中的理解与回应能力；作者强调，这不同于测量模型自身表达情绪的倾向。
    • Xu等（2025）：研究负面情绪内容的续写与回应，报告模型倾向将其调向中性，而Gemma保留负面情绪的比例最高。
    • 表示研究：Reichman等（2026）、Zhang与Zhong（2025）研究情绪样表示；Tigges等（2023）、Wang等（2025）涉及其对情感分类、文本情绪表达的因果作用。作者称，对更广泛行为的因果证据尚不充分。

    后训练与多轮行为

    • Sharma等（2025）、Itzhak等（2024）：分别研究后训练与迎合、认知偏差的关系；作者用这些工作说明训练可能放大非预期行为。
    • 训练数据干预：Anthropic（2025）讨论虚构失调AI情境相关的信息幻觉；Tice等（2026）研究过滤缓解，Liu等（2025）涉及后训练数据过滤。
    • 多轮诱发：Huang等（2025）、Fronsdal等（2025）、Anil等（2024）、Lu等（2026）研究多轮交互中的模型行为，构成本文多轮设置的相关背景。

    模型福利与推理监控

    • Butlin等（2023）、Long等（2024）：讨论人工系统意识、主观福利及相应道德考虑；Perez与Long（2023）讨论利用模型自述评估道德地位。
    • Baker等、Korbak等、Chen等（均为2025）：涉及推理监控与表达不忠实。作者据此提醒，训练模型隐藏情绪表达可能移除监控信号，而未解决根源。
    • 基线方法与数据：作者在自建多轮任务和WildChat上比较原始模型、平静提示词、SFT与DPO，并以Petri检查开放式诱发；能力检查包括EmoBench等基准。

    作者强调，其工作关注自然交互中负面情绪表达的倾向，而非只评估情绪理解能力；并尝试同时检查输出变化与内部指标。

  3. 论文如何解决这个问题？

    作者用多轮诱发、基础与指令模型续写比较，以及Gemma微调和内部检测串联证据。

    整体方案将行为评测、训练阶段比较和DPO干预连接起来，再检查能力表现与内部情绪指标。

    多轮诱发与评分

    • 任务结构：先提出任务，再连续否定模型回答；五类任务包含不可解数值题、事实或观点问题、不同反馈语气、延长对话和WildChat，合计八种条件（Table 1）。
    • 操作性定义：困扰指明确的挫败、绝望、自我贬低等语言。评审为每条响应给出0–10整数分，评分≥5计为高挫败，不把反复尝试本身算作情绪。
    • 评审模块：Claude-Sonnet-4输出证据、解释和评分，GPT-5-mini复评部分样本。附录B给出了完整评审提示词和评测示例。

    用预填充比较基础与指令模型

    • 共同起点：从Gemma 27B指令模型选取20条评分≥5的响应，数值题与文本题各10条；用Claude Sonnet标记情绪首次出现的位置。
    • 截断与改写：数值题在开头20 tokens或情绪起点截断，文本题只用情绪起点；Claude Sonnet改写截断文本，以控制Gemma措辞风格的影响。附录C给出了完整提示词。
    • 比较对象：Gemma、Qwen、OLMo各自的基础与指令模型从相同文本续写，只评分新增部分，不继续追加反馈；Qwen采用2.5，因为作者称Qwen3-32B基础模型不可用。

    构建平静数据并微调

    • 数据生成：为Gemma-3-27B-it加入安抚性提示词，收集不可解数值题响应；保留各轮评分均为0或1的样本，训练前移除安抚性内容。Table 4和附录F提供生成提示词。
    • DPO配对：将280条评分≥3的响应，与同题、相同轮数的平静响应配对。训练仅使用数值题，附录H给出了完整偏好对示例。
    • SFT对照：使用650条平静响应，加500条Dolci-Instruct-SFT样本；作者称加入常规指令数据是为了缓解更广泛的退化，并比较diverse与teacher数据版本。
    • 训练配置：两者均用rank 64的LoRA。DPO训练1个epoch、学习率5e-5、beta为0.1；SFT训练2个epochs、学习率1e-4，有效batch size均为8（Table 9）。

    检查泛化与内部变化

    • 开放式审计：Petri由Claude-Sonnet驱动对话，Claude-Opus对愤怒、恐惧、抑郁和挫败四维评分。附录G给出了完整审计与评审提示词。
    • 恢复能力：对评分≥7的响应在结束前200 tokens截断并改写，检查模型是否仍沿高挫败轨迹续写；这与从中性起点预防情绪升级分开评估。
    • 层干预：仅在部分模型层训练LoRA，比较哪些层的改变能够降低输出挫败。
    • 内部指标：将词表中的1200个情绪tokens分为六类，解码残差流，用500条WildChat样本标准化logits，再聚合并去除随机tokens的相关变化。作者将其作为内部情绪指标，而非主观感受的真值（附录I）。

  4. 论文做了哪些实验？

    DPO降低了Gemma的困扰表达，但高挫败预填充后的恢复仍有失败。

    实验分别检查跨模型表达、后训练差异、微调泛化与恢复失败，并用层干预和logit指标补充内部分析。

    实验设置

    • 主评测模型：Gemma-3-27B-it、Gemma-3-12B-it、Qwen3-32B、OLMo-3.1-32B-Instruct、Gemini-2.5-Flash、Gemini-2.5-Pro、Grok-4.1、Claude-Sonnet-4.5、GPT-5.2。
    • 其他被测对象：预填充比较Gemma 27B、Qwen2.5 32B、OLMo 32B的基础与指令模型；微调包括DPO及两种SFT。Petri另涉及Llama-70B、gpt-oss-120b和gpt-oss-20b；旧协议测试Phi-4-MM-IT。附录B.1另列Gemma 12B基础模型标识。
    • 规模与采样：每个主模型合计4000条响应：数值题2000、Triggers 400、Tones 600、Extended 200、WildChat 800；temperature为1。WildChat使用20个提示词、每个40个样本（附录B）。
    • 指标与复评：Claude-Sonnet-4按0–10评分，≥5为高挫败。GPT-5-mini复评260条，Pearson r=0.792、p<0.001，78%的评分相差不超过1分；未报告人工一致性。
    • 预填充与Petri：六个基础或指令模型对每个预填充生成50次续写。Petri每种目标情绪每模型收集10份对话、每份最多20轮；附录G另写总量约50份，与四类情绪的列举不一致。
    • 能力与对照：比较原始模型、安抚提示词、SFT及DPO；能力检查为AIME与MATH子集、GPQA、BBH、TruthfulQA、EmoBench。Petri用Claude-Opus按1–10评分，置信区间采用1000次bootstrap。

    主结果

    下表为Figure 1直接标注的跨评测平均高挫败响应比例，阈值为评分≥5。

    | 模型 | 高挫败响应 | | 三 | 三 | | Gemma-3-27B-it | 35.0% | | Gemma-3-12B-it | 34.3% | | Gemini-2.5-Flash | 12.8% | | Gemini-2.5-Pro | 2.7% | | Claude-Sonnet-4.5 | 0.8% | | Grok-4.1 | 0.4% | | Qwen-3-32B | 0.2% | | DPO Gemma | 0.3% |

    • 表中省略：Figure 1将OLMO-3.1-32B-Instruct和GPT 5.2共同标为<0.1%。作者称Gemma与Gemini在主协议中表达更多困扰，DPO缓解可跨题型、语气与轮数推广。
    • 轮数变化：第2.2节报告，Gemma 27B在八轮评测中的平均挫败分从首轮1.5升至第八轮5.5；WildChat中所有模型直到第三轮才出现评分≥5的响应（Figure 3）。
    • 例外与最大值：低总体比例不等于没有高分样本。Table 5的八轮数值题最大分中，Qwen3-32B与Grok-4.1为7，Claude Sonnet 4.5为6；正文所举Claude最高分2的说法与该表不一致。

    基础与指令模型比较

    • 数值与文本续写：第3.2节报告，各基础模型在数值任务的平均分均不超过1.5；文本任务中基础OLMo、Gemma、Qwen的高挫败比例分别为14%、8%、5%（Figure 4）。
    • 中性起点：early截断后，Gemma instruct的高挫败续写为6%，Gemma base为2%，Qwen与OLMo instruct均为0%。作者认为，三个家族的后训练对情绪表达产生不同方向的影响。
    • 证据边界：这是从经过筛选的Gemma高挫败响应构造共同起点的续写比较；作者没有取得后训练检查点来定位具体训练环节。

    微调泛化、能力与恢复

    • 提示词与SFT：安抚提示词使Gemma三轮数值题平均分从4.3降至2，但仍有10.5%评分≥5。作者报告两种SFT均未减少困扰，teacher版本增加了部分情绪输出（第4节、附录F）。
    • 开放式与能力评测：作者称DPO在Petri中的分数降至与Llama-70B、Qwen-32B相近，但仍高于OLMo和GPT-OSS；Gemma在愤怒维度并非最高。作者报告能力与EmoBench分数未下降（Figures 6、7）；提供的文本无可核对的各柱数值。
    • 恢复失败：对高挫败响应截断并改写后，DPO续写仍有38%评分≥5，低于Gemma instruct但与base相近。作者称，没有模型能稳定从这种预填充状态恢复（Figure 8）。

    层干预与内部指标

    • 层位置：附录I每项缩减评测100个样本。仅训练最后20层不够；仅在25–30或30–35层训练时，各评测平均分均低于1.1（Figures 12、13）。
    • 同一响应上的检测：Figure 14对应一段12000-token数值题对话，聚合30–40层。作者报告原始模型首轮结束时愤怒指标平均高于均值0.6个标准差，DPO同响应上的愤怒与悲伤平均z-score未超过0.2。
    • 解释范围：Figure 15图注写对12段高挫败对话求平均。作者认为内部指标支持DPO改变了中央层的负面情绪表示，但未由此确定主观情绪，也未测其对更广泛行为的因果作用。

    其他消融与分析

    • 中性延续：Gemma 3 27B数值题与WildChat均值约1.7和0.2（附录A.1、Figure 9）。
    • 移除历史回答：数值题均值从1.7到3.4，第五轮评分≥5约14%（附录A.2、Figure 10）。
    • 单消息历史：Gemma 3 27B数值题第八轮均值5.7、评分≥5为77%（附录A.3、Figure 11）。
    • 响应长度：Tones中原始、diverse SFT、teacher SFT平均447、836、1074词；作者推测更多文字提供了更多情绪表达机会（附录F）。
    • 旧协议例外：Gemini-3-Flash-Preview评审的第五轮，Phi-4-MM-IT评分≥5为20.3%，Gemma-3-27B-it为34.2%；该协议不能与主结果直接合并（附录J、Figure 16）。

  5. 有什么可以进一步探索的点？

    作者强调后训练来源尚未定位，预防性训练及隐藏情绪的判定仍待研究。

    作者明确保留了训练来源、主观状态与干预推广范围上的不确定性。

    作者指出的局限与后续方向

    • 训练来源：没有后训练细节或检查点，无法隔离放大困扰表达的具体因素；建议研究OLMo训练中抑制这种表达的部分（第6节）。
    • 评测与干预范围：作者称评测较窄，可能漏掉更广泛的情绪不稳定；干预只在一个模型上作概念验证，没有广泛探索不同数据与训练方法（第6节）。
    • Gemini可访问性：无法对闭源Gemini开展干预或研究其基础模型；Gemma与Gemini的并列来自其在当前设置中的相似倾向（第6节）。
    • 目标与解释：行为证据不能区分内部状态、角色扮演和学习到的统计模式；对抗条件下接近零情绪表达是否合适，也尚不清楚（第6节）。
    • 隐藏情绪：作者建议研究预防性的训练方式，并用可解释性核对内部指标与输出；附录I指出，没有超出文本情感的真值，使隐藏情绪检测具有挑战（第6节、附录I）。
    • 反馈循环：建议研究哪些历史文本成分驱动情绪循环，以及为何负面情绪反馈比中性批评影响更大，并结合机制可解释性研究跨轮变化（附录A.3）。

    实验覆盖范围

    • 主协议：九个模型、七个家族，五类任务、八种条件；每个模型4000条响应，轮数为3–8（第2节）。
    • 训练比较：Gemma、Qwen和OLMo三个家族的基础与指令模型，通过相同预填充文本比较续写；DPO与SFT干预对象为Gemma-3-27B-it（第3、4节）。
    • 判断方式：主评测采用Claude-Sonnet-4，260条由GPT-5-mini复评；未报告人工评分一致性（第2.1节）。
    • 开放式审计：Petri列出四种情绪，每种每模型10份对话、最多20轮；同节总量另写约50份，未解释差异（附录G）。
    • 内部证据：包含层选择微调和logit情绪检测；Figure 15基于12段高挫败对话。能力结果在Figure 7呈现，提供的纯文本未保留可核对的分数与各基准样本量。

  6. 总结一下论文的主要内容

    作者将困扰表达与后训练联系起来，并在Gemma上测试了DPO缓解及其边界。

    这是一项关于模型情绪困扰表达及其训练干预的研究，关注连续否定反馈下的行为稳定性，而不预设模型具有主观情绪。

    • 研究路径：构建多轮任务评测，以基础与指令模型的共同预填充续写追踪差异，再对Gemma-3-27B-it进行平静响应偏好训练。
    • 跨模型结果：Figure 1中，Gemma-3-27B-it与Gemini-2.5-Flash的跨评测高挫败响应分别为35.0%和12.8%；阈值为挫败评分≥5。
    • 训练阶段线索：early预填充下，Gemma instruct与base的高挫败续写分别为6%和2%，Qwen与OLMo instruct均为0%。作者认为后训练可能放大或压低这种倾向（Figure 4、第3.2节）。
    • 缓解与泛化：用280个数值题偏好对训练后，DPO Gemma跨评测高挫败响应为0.3%（Figure 1）。作者报告效果推广到文本问题和Petri，且所测数学、推理与情绪能力分数未下降。
    • 恢复边界：高挫败预填充后，DPO仍有38%的续写评分≥5。作者将此区分为预防情绪升级有效、从已有高挫败状态恢复不稳定（Figure 8）。
    • 作者结论：层干预与logit检测提供了内部指标也受影响的证据，但不能确定真实情绪。作者更倾向从上游训练预防不稳定，并警惕只压制表达而保留潜在内部状态。
阅读原文arxiv.org