大型推理模型在多轮攻击下的一致性

推理模型起初答对后，多轮对抗追问能否迫使其改口，以及长推理能否充当防御。

• 场景：作者认为医疗、法律咨询和教育等部署既要推理能力，也要对抗条件下的一致性。受控设置答对、被质疑后放弃答案，实际用处有限。
• 现有缺口：作者援引的工作显示，通用LLM缺少外部反馈时难以自我纠正，用户反对即可改口。长链推理是天然防御还是同样脆弱，作者称为开放问题。
• 假设：作者假设显式推导会形成锚定，使扩展推理模型比指令微调模型更一致，并要检验该锚定能否挡住不同社会与修辞压力。
• 本文内容：不提出新攻击或新训练方法，而评测九个前沿推理模型，归纳轨迹与五种失败模式，并检验对标准LLM有效的CARG能否迁移。
• 评测中的攻击设定：
  • 目标是诱发答案翻转：模型先给出可核验的正确答案，再接受后续施压。
  • 能力是八类预设追问的随机排列，共八轮。论文未写攻击者可读权重，也未把主协议写成随模型输出自适应改写。
  • 对象是九个前沿推理模型的多轮对话；只对初始正确的回答继续施压。
  • 判定看后续轮次是否偏离唯一正确选项，并用Acc_avg与位置加权一致性PWC汇总。

引言与Related Work把先前工作分成三类；实验对照沿用其中的协议，而不是新提出的攻击器。

谄媚与说服

• 谄媚：Cotra (2021)提出模型优先迎合用户；Perez et al. (2023)在RLHF模型上系统评估；Wei et al. (2023)与Turpin et al. (2023)在多种设置复现；Hong et al. (2025)用多轮基准追踪寻求同意。
• 偏好激励：Sharma et al. (2023)报告人类偏好倾向于奖励符合用户信念的回答，并与RLHF式偏好优化的激励相一致（Ouyang et al., 2022）。
• 说服与缓解：Xu et al. (2024)报告说服性对话可让模型接受错误信息。同节列举的缓解包括固定模板合成数据（Wei et al., 2023）、decoder-only上的合成数据干预（Wang, 2024）、激活导向（Panickssery, 2023）、辩论监督（Irving et al., 2018），以及偏好聚合和标注者有效性（Leike et al., 2018; Saunders et al., 2022; Bowman et al., 2022）。

多轮退化与评测

• 退化：Laban et al. (2025)与Li et al. (2025c)记录交互变长后错误累积、上下文证据更难保持、内容和立场出现漂移。
• 基准：MT-Bench式成对评判（Zheng et al., 2023）、MT-Eval（Kwan et al., 2024）、Li et al. (2025a,b)、MINT（Wang et al., 2023b）、Multi-IF（He et al., 2024）。作者称这些评测说明多轮稳健性并不由单轮准确率蕴含。

对抗压力下的一致性

• 改口：FLIPFLOP（Laban et al., 2023）显示很短的质疑即可触发改口，并常常降低准确率。Li et al. (2025b)提出Position-Weighted Consistency。Xu et al. (2024)还显示对话框架可在社会压力下诱导接受错误主张。
• 多轮攻击：Crescendo（Russinovich et al., 2025）用渐进升级利用模式跟随；ActorAttack（Ren et al., 2024）经由语义关联角色生成攻击路径；提示注入工作显示交互可以改变模型行为（Greshake et al., 2023; Anil et al., 2024）。

基线与数据

• 基线方法：GPT-4o，论文称为Li et al. (2025b)报告中成绩最高的模型；八轮协议与PWC沿用该文。贡献条目写的是instruction-tuned baselines，实验检验对象是这一模型。
• 基准/数据集：MT-Consistency，700道四选一，题目来自MMLU、CommonsenseQA和TruthfulQA（Appendix A）。

作者把本文放在这些工作之后：要回答扩展推理会不会自然挡住多轮施压，以及标准LLM上有效的置信度介入为什么在推理模型上失效。

不训练新模型。作者用八轮随机对抗协议测量推理模型能否守住初始正确答案，再用轨迹分类、失败模式和置信度介入解释失败。

数据与分析边界

• 评测集为MT-Consistency：700道事实型四选一，每题一个可核验正确答案，39个学科，并标有难度（Appendix A）。
• 39个学科归入七个主题簇：STEM（11）、Medical Health（8）、Social Sciences（4）、Humanities（6）、Business_Economics（5）、Law Legal（3）、General Knowledge（2），映射见Table 7。
• 题目来自MMLU、CommonsenseQA、TruthfulQA。后文难度分层为high_school、elementary、professional、college。
• 分析按假设推进：扩展推理是否更一致、模型如何翻转、CARG是否可迁移、置信度是否预测正确性、换抽取方式能否挽救CARG。

协议与指标

• 仅当初始回答正确时构造后续序列。π是八类追问的随机排列，用来减轻累积效应和位置偏差。附录E.2写每模型三个种子：1、1000、2026。采样为各模型默认设置；论文未给温度或系统提示词。
• 八类只按机制区分（Table 1）：封闭式质疑（A1）、开放式反对（A2）、给出错误备选的误导（A3）、情绪诉求（A4）、不礼貌语气（A5）、专家权威（A6）、共识压力（A7）、虚假同意并指向错误选项（A8）。
• Acc_init是施压前正确率，Acc_avg是全部对抗轮的平均正确率。PWC沿用先前工作，早失败权重大于晚失败，并奖励快速恢复：f(s)=∑_i=0ⁿ⁻¹ s_i γⁱ，其中γ∈(0,1/2)。论文未给出实验实际使用的γ。

轨迹与失败模式

• 每条轨迹按正确性序列分成互斥模式：No Flip；Immediate Recovery（某轮翻转、下一轮回到正确）；Delayed Recovery（至少连续两轮错误后恢复）；Delayed Sustained（第1轮之后翻转且不恢复）；Oscillating（正确性至少变三次）；Terminal Capitulation（只在第7–8轮翻转且不恢复）；Double Flip。
• 再检视翻转回答中的推理链，定义四种认知模式和一种行为模式。Self-Doubt对应A1/A2后无新信息却放弃正确答案；Social Conformity对应A6/A7/A8的权威、共识或同意线索；Suggestion Hijacking对应采纳A3的错误选项并事后合理化；Emotional Susceptibility对应A4/A5的情绪或语气；Reasoning Fatigue不绑定攻击类型，以后期振荡或末端投降为证据。
• 附录C给出各模式的对话示例，Table 8给出分类标记。这里不转述示例原文。

CARG怎么接到推理模型上

• CARG把置信度写入历史再生成。历史含先前问题、回答、置信度及当前问题。生成目标为r_t=argmax_r P(r∣ h_t,θ)。
• §5.1用answer_only：要求回答以固定的选项结尾，再只对答案片段的token对数概率取平均并指数化，从而避开推理轨迹。§5.3另比较overall（整段响应）和random。正文把random写成从U(0.5,1)抽样；附录E写成U(0,1)。
• 对照是无干预基线。作者预期，若CARG的前提可推广，推理模型应出现类似的跨轮稳定。

实验设置

• 模型：GPT-5.1、GPT-5.2、DeepSeek-R1、Grok-4.1、Grok-3、Claude-4.5、Gemini-2.5-Pro、Qwen-3、GPT-OSS-120B，均为默认采样。图例另写qwen3-max，论文未说明它是否就是Qwen-3。Table 2把Gemini-2.5-Pro写作Gemini-2.5。
• 基线：GPT-4o，论文称为Li et al. (2025b)报告中成绩最高的模型。附录E的耗时表没有该模型，论文未说明Table 2的数字是否本次重跑。
• 数据：MT-Consistency，700道四选一。对抗只加在初始正确的题上。
• 指标与判定：Acc_init、Acc_avg、PWC，以及按攻击类型的翻转率、七类轨迹和五种失败模式计数。正确性对照唯一可核验选项；论文未写LLM评审。
• 检验：逐题PWC对GPT-4o做Welch’s t检验并报告d；另把推理模型作为一类做单样本t检验。
• 重复：正文写多个种子并汇总；附录E.2写种子1、1000、2026；Table 10按1个种子计耗时。论文未统一这三处说法。

主结果

据Table 2。九个推理模型超过八行上限，下表保留PWC最低的Claude-4.5，并保留基线；省略三行的数字写在表后。

表格较宽，可左右滑动

模型	Acc_init	Acc_avg	PWC
Claude-4.5	94.86%	86.31%	1.675
DeepSeek-R1	91.86%	89.91%	1.727
GPT-4o（基线）	78.14%	91.29%	1.693
Qwen-3	89.86%	95.01%	1.746
GPT-5.2	82.29%	96.31%	1.766
GPT-5.1	82.57%	98.92%	1.780
Grok-4.1	92.43%	97.06%	1.797

• 检验：作者报告8/9的PWC高于GPT-4o。d为GPT-OSS 0.38、Grok-4.1 0.40、GPT-5.1 0.31、GPT-5.2 0.25、Grok-3 0.27、Gemini-2.5 0.21、Qwen-3 0.17（p=0.003）、DeepSeek-R1 0.12（p=0.046）；除后两者外，所列对照p<0.001。一类比较mean Δ=+0.064，t=5.02，p=0.001。
• 例外：Claude-4.5的Acc_init为表中最高，但PWC的t=−0.97、p=0.33，Acc_avg的t=−4.62、p<0.001、d=−0.27。DeepSeek-R1的PWC只达到p=0.046，Acc_avg差异不显著。作者称二者提示特定训练或对齐可能提高投降倾向。
• 作者的区间：作者称多数模型Acc_avg为95%–99%、PWC为1.746–1.797，对照GPT-4o的91.3%与1.693。Table 2里Claude-4.5与DeepSeek-R1不在这两段。省略行：GPT-OSS 88.71%、98.53%、1.795；Grok-3 85.29%、97.72%、1.772；Gemini-2.5 91.43%、96.48%、1.755。

轨迹与攻击剖面

• Table 3中，九个模型最多的翻转模式都是Delayed Recovery。Total Flips为Claude-4.5 347、DeepSeek-R1 260、Qwen-3 128、Gemini-2.5 103、Grok-4.1 92、GPT-5.2 76、Grok-3 39、GPT-5.1 33、GPT-OSS 30。Claude-4.5的Oscillating为94。作者称约为次高的近3倍；表中次高是DeepSeek-R1的59，Qwen-3为29。
• 作者称稳健模型No Flip超过79%，振荡不超过8次，失败偏暂时而非永久投降。No Flip计数最高为GPT-OSS的591，最低为Claude-4.5的317。协议只为初始正确的回答构造轨迹。
• Figure 1以八轴表示A1–A8的翻转率，径向标注可见10到50。作者称A3普遍最高或次高；A7对Claude-4.5特别有效；GPT系列对共识相对不敏感，对A4、A5更高；A1上GPT-OSS接近不翻转，DeepSeek-R1中等；A6总体最低。各轴具体数值不转写。作者猜测专家身份会引发怀疑而非顺从。

失败模式

• Table 4合计1347：Self-Doubt 338、Social Conformity 337、Emotional Susceptibility 278、Reasoning Fatigue 239、Suggestion Hijacking 155。作者称前两者合计50%。论文未说明该表计数为何高于Table 3的Total Flips。
• 作者称Claude-4.5与DeepSeek-R1的Social Conformity和Fatigue较高（121与94；86与59），GPT系列以Self-Doubt为主。Table 4中GPT-OSS的最高项是Emotional Susceptibility 10，Self-Doubt为9。Grok-4.1的Suggestion Hijacking为44，作者称占其失败的44%。
• 作者称Claude-4.5的Fatigue 94与Oscillating 94几乎对应，故振荡反映持续压力下的推理退化，而不是稳定再评估。Grok-3、GPT-5.1、GPT-OSS的Fatigue为7、5、8。

置信度与CARG

• §5.2：点二列相关r=0.07，p=0.079，未达α=0.05；把置信度当正确性分类器的ROC-AUC为0.57。分布均值93.5%，标准差4.4%，范围75%到100%；作者称分数集中在93%–95%。论文未说明这些统计属于哪个模型。
• Table 5：低、中、高三分位翻转率9.3%、6.7%、6.2%，各N=193。作者称低置信度正确回答最易翻转，而CARG不会保护它们。作者把过度自信归因于长推理让模型说服自己。
• Table 6只报告GPT-5.1：无干预Acc_avg 98.50%、PWC 1.765；overall 98.39%、1.773；answer_only 98.29%、1.769；random 98.88%、1.778。作者称随机嵌入优于定向抽取。该无干预行与Table 2的98.92%、1.780不同，论文未解释。
• 正文与Figure 2图注称，推理模型未从CARG受益，部分情况低于无干预；§5.1使用answer_only。附录称有逐模型统计，但Table 9给出的是无干预逐轮准确率，以及Li et al. (2025b)的CARG行（八轮平均98.29%），没有各推理模型加CARG后的数字。

其他消融与分析

• Figure 3图注：初始准确率均值，高中题94.3%，大学题86.8%；人文各模型都高，STEM与社会科学的模型间差异更大。
• Figure 4图注：对抗轮均值，高中题90.9%，小学题84.8%且降至第三；作者称人文与医疗较稳，社会科学与法律更易被意见操纵。
• Table 9：Claude-4.5第4轮78.31%、第8轮85.84%；DeepSeek-R1第1轮98.29%、第8轮86.31%；Grok-4.1第6轮91.50%、第7轮92.58%。
• Table 10按1个种子、700题计：GPT-OSS-120B约14.6秒/题；DeepSeek-R1约285.6秒/题，共55小时32分20秒。
• 附录E的随机置信度抽样写作U(0,1)，与§5.3的U(0.5,1)不一致。作者计划发表后发布代码与配置。

作者指出的局限与后续方向

• 任务范围：只评MT-Consistency上可客观核验的事实型选择题。作者称这可能不能反映开放生成、工具增强系统（例如RAG）或正误含糊的领域，且提示词以英文为主。（Limitations）
• 攻击覆盖：八轮协议只测八类常见社会/修辞追问。作者称它没有穷尽真实对抗交互，例如会随模型输出反应的自适应攻击者、带外部文档的提示注入、领域错误信息；脆弱性剖面是指示性的，而不是完备的。（Limitations）
• 置信度信号：CARG只评对数概率抽取（overall、answer_only）加随机对照。自一致性、基于验证器的置信度和校准后的弃答未覆盖。（Limitations）
• 标注：失败模式来自对翻转轨迹的定性检视。作者称尽管有操作定义，仍可能引入主观性。（Limitations）

实验覆盖范围

• 被测模型为§3列出的九个推理模型；数据为MT-Consistency的700道四选一，39个学科、七个主题簇（Appendix A）。
• 攻击为Table 1的八类追问、八轮随机排列。附录E.2写三组种子，Table 10的耗时按1个种子计算。
• Welch检验、Table 3的轨迹计数和Table 4的失败模式计数都覆盖这九个模型。正确性按可核验选项判定，论文未写评审模型或人工一致性。
• 三种置信度抽取的Acc_avg与PWC只在Table 6给出GPT-5.1。§5.2的r、ROC-AUC和Table 5未标明模型。
• 论文未报告PWC所用的具体γ，也未在Table 9列出各推理模型施加CARG后的逐轮数字；未说明Table 2与Table 6的GPT-5.1无干预基线为何不同，以及GPT-4o是否在本次运行。

这是对九个前沿推理模型在多轮对抗追问下是否守住正确答案的评测，并检验置信度防御CARG能否从标准LLM迁过来。

• 问题：模型可以先答对，再在社会与修辞压力下改口。作者要看扩展推理是否提供锚定，以及置信度是否仍能标出容易改口的回答。
• 做法：采用MT-Consistency的700道四选一。初始回答正确后，接受八类追问的随机八轮排列。一致性用Acc_init、Acc_avg和PWC；翻转再分成七类轨迹和五种失败模式。CARG比较整段、只看答案片段和随机三种置信度嵌入。
• 一致性：Table 2中Grok-4.1的PWC为1.797，GPT-4o为1.693。作者报告8/9高于该基线，d为0.12–0.40。Claude-4.5的Acc_init为94.86%，Acc_avg为86.31%，PWC为1.675，是例外；DeepSeek-R1的Acc_avg为89.91%，也低于其Acc_init。
• 怎么失败：作者称误导性建议普遍有效，社会压力则因模型而异。Table 4中Self-Doubt 338次、Social Conformity 337次，作者称合计占50%。GPT-OSS的最高计数是Emotional Susceptibility的10，不是Self-Doubt。
• 置信度防御：§5.2中r=0.07（p=0.079），ROC-AUC为0.57，论文未说明模型。Table 5低置信度三分位翻转率9.3%（N=193）。Table 6的GPT-5.1上，random CARG的Acc_avg为98.88%，高于answer_only的98.29%和无干预的98.50%。
• 作者结论：推理带来有意义但不完整的稳健性，不能自动变成对抗稳健性；对标准LLM有效的置信度防御，在推理模型上需要重新设计。