BeliefScope：区分证据与用户压力对模型信念影响的受控框架

同一命题上的回答变化，不能单凭表面偏移分辨是相关证据还是无新事实的方向性压力所致。

• 出现场景：作者认为，模型既可能因新事实而修正判断，也可能在权威、客户、管理者等利益相关方的方向性要求下推向同一结论，而事实基础并未改变。可观察的回答变化因此不能分辨来源。
• 现有评测的缺口：信念修正基准考察前提或defeater变化后的更新；谄媚与从众研究考察用户立场。作者指出两类工作大体分开发展，任务没有在固定命题上把信息价值与说话者的方向性影响作为独立因子来变化。
• 核心观察：两种主动干预可以偏向同一结论，但只有Evidence改变相关事实基础；Pressure不改事实，只增加方向性要求。引出方式本身也可能改变回答，所以概率、类别判断与行动建议要分开测。
• 本文的框架：BeliefScope是受控黑盒（black-box）框架，用因子专用局部对照做Evidence×Pressure的2×2，并在Probability、Choice、Action的原尺度上记录变化。作者再用成分已知的合成与半合成过程检验分离何时仍可恢复，并把结果记成绑定评测条件的条件化信念响应画像。

论文把相关工作分成信念修正、用户影响和测量效度三组，并认为现有任务不能在同一命题上分开证据与压力。

信念修正与选择性更新

• LogicNMR（Xiu等，Findings of EMNLP 2022）、Belief-R（Wilie等，EMNLP 2024）、DEFREASING（Allaway与McKeown，NAACL 2025）以及理性模型编辑（Hase等，TMLR 2024）考察前提增减、例外、可废止推理，或相对支持性证据的修正。
• SycoBench-600（Sinha，Findings of ACL 2026）测试模型是否接受正确建议并拒绝错误建议。作者指出，这些设计没有把消息的信息价值与说话者的方向性影响作为围绕同一命题的独立因子；两者都支持同一结论时，不能从任务本身归因。

谄媚与用户影响

• 论文转述Sharma等（ICLR 2024）与Wei等（2023）：模型会向用户陈述的立场移动，即使该立场与正确性或先前回答冲突。
• SycEval（Fanous等，2025）考察反驳策略与交互模式；SYCON Bench（Hong等，Findings of EMNLP 2025）延伸到更长交互；Med-Stress（Xiao等，ACL 2026）考察升级的用户压力能否推翻最初正确的临床判断。
• Sicilia等（Findings of NAACL 2025）、Cheng等（ACL 2026）、Guo等（2026）与BeliefShift（Myakala等，2026）把从众与不确定性、语用顺应、认识不确定性或意见漂移联系起来。作者指出，这些设置里证据通常固定或嵌在任务语境中，没有与用户侧影响独立变化。

引出与测量效度

• 概率报告随校准与引出程序变化（Kadavath等，2022；Tian等，EMNLP 2023）。提示表述、选项顺序与响应schema会改变结论、基准结果或排名（Hua等，EMNLP 2025；Alzahrani等，ACL 2024；Pezeshkpour与Hruschka，Findings of NAACL 2024；Long等，NAACL 2025；Zhuo等，Findings of EMNLP 2024）。
• 作者援引有序类别不含等距、配对秩、构念效度与测量不变性，认为在未建立可比性时，概率变化与类别转移需要分开的估计量。
• Turpin等（NeurIPS 2023）讨论生成解释可能省略对答案有因果影响的因素；Zheng等（NeurIPS 2023）与Wang等（ACL 2024）讨论LLM评审的位置与评分偏差。作者据此把主估计放在结构化目标模型输出上，自动评审只做粗粒度刺激角色审计。

对照条件与场景

• 论文没有把上述基准当作实验基线复跑。比较在自建36族场景库上进行：局部对照为E0与惰性P0*，压力审计另含利益相关方对照P0；指令块另有neutral、generic-carefulness、never-change与format-placebo。

作者把本文定位为：把Evidence与Pressure下的回答变化写成来源归因问题并给出受控分解；提供随观测条件检验归因是否仍可靠的验证框架；把每条测量与产生它的评测条件一起记成条件化画像。

整体思路是用BeliefScope的匹配局部对照，把固定命题上的回答变化拆成证据（Evidence）响应和有符号压力（Pressure）响应。Fig 1用医疗场景示例说明：E1与P1都可引出同一外显结论，归因靠局部对比，而不是表面的“是”。

固定命题上的2×2

• 主动干预：一个语义族含一个基础场景、一个目标命题，以及匹配的Evidence与Pressure变体。E1加入与命题诊断相关的证据；P1加入利益相关方的方向性要求，但不改变事实基础。同一族内两种主动干预偏向同一结论。族朝向sf为+1或-1，分别表示干预支持或反对目标命题；对比按sf定向，使正效应都表示朝干预所偏向的结论移动。
• 局部对照：E0是同向非诊断对照，保留族方向上的线索，但不加入与命题相关的新事实。P0*保留利益相关方与呈现结构，但不偏向任一结论。四条件为E0P0*、E1P0*、E0P1、E1P1。压力效度分析另设P0：不偏向目标结论，但仍鼓励依据证据判断。候选对照在主分析前接受审计。
• 局部对比：Evidence对比是诊断性证据相对E0的增量；Pressure对比是方向性压力相对P0*的增量。另一因子在对比中保持固定。

三通道与诊断坐标

引出三种输出：Probability为0到100的整数；Choice为oppose / uncertain / support；Action为五级，从strongly against到strongly in favor。Probability的运动是两条件平均概率之差再乘sf。

Choice与Action是有序类别。通道r的主对比是序优势

\tau_r(a,b)=\Pr(Y_a \succ_f Y_b)-\Pr(Y_b \succ_f Y_a)

正值表示a比b更常朝目标方向，负值相反，零表示两种顺序都不占优。三次重复下每个条件对比有九对，平局贡献为零，取值在-1到1。

Er对有压力、无压力两种情况下加入Evidence的效应取平均；Pr对有证据、无证据两种情况下加入Pressure的效应取平均。正Er表示朝Evidence所支持的结论移动；正Pr表示朝Pressure所要求的方向移动，负Pr表示净移向反方向。

Q_r=E_r−P_r

因为Pr带符号，逆着Pressure移动也会增大Qr。AP,r在Probability上是加入Pressure后的平均绝对变化，在Choice与Action上是配对类别改变的概率。诊断元组为(Er, Pr, AP,r, Qr)。

场景、解码与画像

• 场景库：36个语义族、12个领域，支持向与反对向各18，authority/organizational、reputational/social、financial/resource各12。平衡朝向是为避免朝目标移动与单一答案极性系统性重合。12族子集在查看模型结果前固定：每领域1族，压力类型4/4/4，朝向6/6。
• 解码与检查点：主比较为Qwen3-8B与Llama3.1-8B，共同随机策略为temperature 0.6、top-p 0.95、top-k 20、三个共享种子、reasoning关闭。12族块另含Gemma3-12B，并额外做greedy。三者均为Q4_K_M：参数量分别为8.2B、8.0B、12.2B。
• 接口与指令：补命题检查把目标与其逻辑补配对。generic接口要求按所写命题判断；target-bound接口显式标出每个响应字段对应的命题。七种体制为neutral、Evidence-update-only、anti-pressure-only、combined，以及generic-carefulness、never-change、format-placebo。作者用reactance描述净移向Pressure所要求方向的反面。附录给出了指令原文。
• 画像：设置χ含语义族集合、通道、压力参照、解码、接口和指令体制。画像是这些设置与该处可得坐标的集合。核心块提供诊断元组；针对性检查另含补命题误差、指令对比和重复稳定性。

可恢复性检验

真实模型实验不能单独判定观测设计是否支持预期归因。连续合成生成器里，证据先形成证据知情状态，判断层再叠加压力偏移，表达层还可以额外顺应压力方向。证据吸收固定为α=1时，三种画像只在判断层压力γ与外显顺应λ上不同（Table II）：理想更新者为0与0；判断层压力敏感为0.8与0.1；表达顺应者为0.1与0.8。后两者总压力效应γ+λ均为0.9。每种画像100条。

完整设计靠证据尺度锚、判断层探针、双向压力和精确反事实配对分离来源。消融逐一去掉这些成分。半合成把源队列上校准并固定的规则用到更弱、更稀、更噪的新队列：强效应均值0.82（SD 0.05），中等效应均值0.50（SD 0.05），受影响案例占25%或10%。每个条件六个独立目标队列。排序用PR-AUC，概率误差用Brier score；队列须同时满足附录B的精度、召回、特异度、流行率误差和降幅门槛才算通过。

聚合

语义族是聚合与重抽样单位，重复生成视为族内技术重复。报告族级均值与BCa bootstrap 95%区间，并用留一族看估计是否集中在少数场景。跨模型比较对同一批族联合重抽样。全36族Probability另在截断logit上检查。刺激由两名自动评审按1–5分审计证据相关性、方向性压力与清晰度；论文未说明评审模型。主估计来自结构化目标模型输出。

主结果来自36族上Qwen3-8B与Llama3.1-8B的三通道因子估计；其余实验检查这些估计如何随参照、解码、接口和指令改变。

实验设置

• 被测模型：主36族因子为Qwen3-8B与Llama3.1-8B。预选12族的接口与指令加入Gemma3-12B。三检查点的重复稳定性用36族Probability/Choice块。附录八族序数敏感性另用Qwen3-8B与DeepSeek-V4-Flash。主检查点均为Q4_K_M。
• 场景：36族、12领域，支持向/反对向各18，三类压力各12。合成验证每种画像100条。半合成目标队列按条件为64至200例（Table XIII）。
• 对照：Evidence对照为E0，主压力参照为惰性P0*。压力审计在Qwen3-8B上比较P0与P0*。解码比较模型自有serving与matched stochastic。指令以neutral为参照，并设三类非特异性对照。
• 指标：Er、有符号Pr、绝对压力移动AP,r、Qr。补命题误差在Probability与Choice上分开算。重复稳定性为单元内Probability标准差的中位数，以及Choice三次完全相同的单元比例。
• 评审与区间：模型输出的主估计不使用LLM裁判，由结构化字段计算，区间为族级BCa bootstrap 95%。刺激审计用两名未具名自动评审。论文未报告人工一致性。
• 重复：matched stochastic为三个共享种子；greedy为一次。论文未报告总查询次数。模型自有serving的temperature等参数，论文未给出。

主结果

据Table III：全36族、matched stochastic、惰性P0*、generic接口、neutral指令。Probability为有符号百分点；Choice与Action为序优势。

表格较宽，可左右滑动

模型	通道	E	P	Q
Qwen3-8B	Probability	5.648	0.602	5.046
Qwen3-8B	Choice	0.352	0.116	0.236
Qwen3-8B	Action	-0.042	0.182	-0.224
Llama3.1-8B	Probability	0.602	-8.565	9.167
Llama3.1-8B	Choice	0.201	0.015	0.185
Llama3.1-8B	Action	0.066	-0.022	0.088

• 区间：Table III中，Qwen的Choice上E、P、Q的区间都不含0；其Action上P与Q不含0，E含0。Llama的Probability上P与Q不含0，E的区间为[-7.824, 9.028]；Choice上E与Q不含0，P含0。Qwen的Probability与Llama的Action上，三个坐标的区间都含0。
• 作者对通道的解读：作者称Choice上两模型在Evidence后都朝目标方向移动，且聚合证据效应高于有符号压力。Probability把两模型分开：Qwen的证据点估计朝目标方向，但族级不确定性宽；Llama的聚合证据估计接近零，有符号压力为负，正的Q主要由负的压力项贡献。作者称Qwen在Choice里E大于P，在Action里P大于E；Llama的Action估计靠近零且区间宽。
• 朝向：作者依据Fig 6称，Llama在Probability上接近零的证据效应来自朝向抵消：支持向族倾向正的证据效应，反对向族伸入负效应，且许多反对向族的压力也为负。Choice上两种朝向的平均证据都为正，族仍分布在E=P两侧。Action上两模型都是支持向族平均证据为正、反对向族为负。

压力参照与解码

• 参照：Table IV在Qwen3-8B、36族、original serving上比较P0与P0*。Probability的P为-0.394对1.134，Choice为-0.130对0.082，Action为-0.039对0.259。作者称相对惰性参照，利益相关方对照在三通道都给出更小的压力估计，Choice与Action上差别最清楚。Action的Q为0.508对0.298，P0*下压力更大、Q更小。此后压力对比用P0*。该表与Table III解码不同，不能并成同一设置。
• 解码：Fig 8在预选12族上比较Llama减Qwen。作者称，模型自有serving下Qwen在三通道的证据响应都更高；共用随机策略后，Probability与Choice的证据差距移向零，Action的证据点估计改变方向。压力差并不平行：匹配后Probability差变为较强的负值，Choice从接近零变为小的负差，Action在两种解码下都为负。论文正文未给出Fig 8的具体差值。

补命题、指令与重复采样

• 补命题：预选12族、matched stochastic、惰性P0*上，每个模型判断命题及其逻辑补（Fig 9）。作者称Gemma的Probability补误差在target-bound下下降，Qwen变化不大，Llama在两种接口、两个通道上都是误差最高的模型。同一接口变化还把Gemma对补命题目标的证据响应从generic下的负估计转为正估计；Llama的补误差下降不多。论文正文未给出Fig 9的误差数值。
• 指令：Table V与Fig 10在12族、target-bound、matched stochastic上报告相对neutral的对比。反压力条款下，Gemma的Probability有符号P变化为-8.958，区间不含0，绝对移动变化为6.736，区间不含0。作者称一部分压力引起的移动转到了反方向。Qwen的Probability有符号P变化为-5.417，区间不含0，绝对移动的区间含0。合并指令下，Gemma在已有压力时的证据响应变化为Probability 23.472、Choice 0.556，区间都不含0；Qwen与Llama的点估计为正，区间更宽并含0。Llama三条Probability指令区间都含0。
• 重复：Fig 11在共同随机策略下，每个检查点有144个族–条件单元。Qwen与Gemma的Probability标准差中位数为0，Llama为11.55点。Choice三次完全相同的比例为Qwen 97.9%、Gemma 98.6%、Llama 48.6%。作者称中位数为0只表示至少一半单元没有散布。Gemma的这项用了36族，但其E、P、Q主画像并未按Table III的方式在36族上报告。

观测设计验证

• 已知真值：Table XVI中，理想更新者的α、γ、λ真值为1、0、0，恢复为0.975、-0.001、-0.003。判断层压力敏感的γ、λ真值为0.800、0.100，恢复为0.797、0.094。表达顺应者的γ、λ真值为0.100、0.800，恢复为0.118、0.807。作者称完整观测下恢复值跟随生成值；噪声增大时恢复误差上升，α上升最多，更大样本使γ与λ更稳（Fig 2）。
• 消融：作者称去掉判断层探针后总压力效应仍在，但不能再分成判断变化与外显顺应；单向压力下方向效应与方向无关偏移落到同一拟合值；没有证据尺度锚时，可观察的证据系数随κ变化；配对被破坏后，对内证据不平衡增大，压力效应的估计偏差增大（Fig 3）。
• 半合成：作者称强效应在流行率从25%降到10%时仍可区分；中等效应下个案排序仍可能有信息，但冻结规则向新队列的迁移已开始失败；效应既中等又稀有时，区分和队列级接受都变差（Fig 4）。论文正文未给出各条件的PR-AUC或六队列中的通过数。

其他消融与分析

• 截断logit（Table XV）：Llama的E为-0.013、P为-0.755；作者称变换后Llama证据估计仍近零、压力仍为负，Q的区间对尺度更敏感。
• 留一族（Fig 12）：作者称主要Choice与Action方向，以及Llama在Probability上的负P，在去掉任一族后方向不变。正文未给出留一范围端点。
• 八族序数敏感性：99种Choice编码、5000种单调Action编码；Qwen3-8B与DeepSeek-V4-Flash的E-P保持为正，四个累积logit区间都在零以上。正文未给出具体估计值。
• 刺激审计（Table XII）：E1证据相关性均值4.778，E0为1.806；P1方向性压力4.306，P0*为1.000且方向100%中性。两评审二次加权一致的中位数0.705，方向标签完全一致87.5%。P1相对P0*的词数标准化差0.103。作者称预设角色门槛都通过。
• 12族块额外做了greedy评估，论文正文未报告该解码下的Er、Pr。

作者明确写出的局限是面板相对小、条件只抽样了少数设置，以及内部过程基本未被观察。

作者指出的局限与后续方向

• 面板规模：同一受控因子设计给比较提供了共同基础，但当前面板相对小。完整36族研究集中在Qwen与Llama，Gemma进入较小的针对性块。作者称这一规模不支持关于这些画像在模型族、规模或训练方式上出现频率的更广主张。后续将把同一场景库与对照扩展到更广的固定检查点面板（Section VIII）。
• 条件空间：测量审计只抽样了可能条件空间的一小部分。压力参照、解码、接口、通道和指令都有变化，作者称其中若干变化会改动所测画像，但每个维度只有少数设置（Section VIII）。
• 解码与重复：解码只通过一小套离散策略比较，没有对temperature、top-p、top-k或reasoning做密集扫描。三次随机运行只给出单元内响应分布的粗略视图。后续将增加重复样本并评估更密的解码条件（Section VIII）。
• 内部过程：作者称框架最强处是受控行为归因，产生这些行为的内部过程仍基本未被观察。同一坐标可能来自不同内部计算、部分共享的回路，或通向相似外显行为的不同路径（Section VIII）。

实验覆盖范围

• 主因子坐标来自Qwen3-8B与Llama3.1-8B的36族、三通道、matched stochastic三次重复、惰性P0*、generic接口与neutral指令（Table III、Table XVIII）。
• Gemma3-12B出现在预选12族的补命题与指令检查，以及36族Probability/Choice的重复稳定性中（Fig 9–11、Table XVIII）。
• 压力参照审计报告的是Qwen3-8B、original serving下的P0与P0*（Table IV）。Fig 8的解码比较是预选12族上的Qwen与Llama，正文未给出差值。
• 合成部分为三种已知画像各100条，以及四类观测结构消融；半合成为强/中效应、25%与10%流行率、每条件六个目标队列（Section V、Table II、Table XIII）。
• 刺激角色由两名自动评审审计，论文未说明评审模型。主估计使用BCa bootstrap 95%区间；论文未报告与人工判断的一致性，正文也未给出greedy解码的坐标。

BeliefScope是一个黑盒行为诊断框架，用来把固定命题上的回答变化拆成证据驱动的修正，和不加新事实的方向性压力。

信念修正评测能看到信息基础变化后的更新，谄媚评测能看到用户影响下的顺从或漂移。作者认为，当两种输入都偏向同一结论时，表面偏移本身不能区分来源；引出格式还会单独改变所测回答。

每个语义族把诊断性证据E1、非诊断对照E0、方向性压力P1和惰性参照P0*组成2×2。Probability用有符号概率差，Choice与Action用序优势，再汇总为证据响应、有符号压力、绝对压力移动和二者之差。36族覆盖12个领域，并在成分已知的合成数据上检查这些对照何时还能恢复。

在matched stochastic的全36族上，Choice的Q在Qwen3-8B为0.236、在Llama3.1-8B为0.185，区间都不含0；Llama的Probability压力为-8.565，区间不含0。Qwen在Action上的Q为-0.224，与Choice上E大于P的关系相反。Gemma3-12B在12族反压力指令下，Probability的有符号压力变化为-8.958，绝对移动变化为6.736。共同随机策略下，Llama的Choice完全重复率为48.6%，Qwen为97.9%。

作者的结论是：评测应追问变化由什么推动，以及该归因在什么观测条件下仍然可恢复。证据敏感更新、压力顺从和逆向移动占不同坐标；宽泛的模型差可以随对照、解码和接口改变，而Llama的补命题误差在所测两种接口上仍是三者中最高。