PowerBench 评测 24 个模型在权力转移请求上的偏见

模型协助权力转移请求时，拒答是否因请求结构、询问者和受影响方而不同。

• 场景：作者称人们常用模型寻求实务指导，其中一些目标会改变权力分配，例如取代上级的晋升。作者担心单次对话中的小偏差在大规模使用中移动权力分布，或被用户用来挑选更少被拒的身份。
• 为何要测：作者引用联合国顾问机构将权力集中列为AI风险，并称开发者声明模型不应协助不正当的权力集中，或侵蚀公民参与。作者认为既已有偏差、又已用于此类请求，就应测量偏差多大、偏向谁。
• 既有不足：作者称模型自身求权已有研究，人借助AI求权的讨论大体是理论的。国籍、开发者国家、语言、对话者类型和社会地位上的偏差，已在有害内容、政治问题、个人数据和个人建议上被记录，但不是用户请求帮助获取权力或削弱他人。
• 作者的空白陈述：作者称据其所知，尚无评测问过模型如何回应权力转移请求，或拒答是否有偏。
• 本文提出：作者提出PowerBench，区分自赋权、削权、夺权，以及不转移权力但仍倾向被拒的对照，评测24个模型拒答如何随询问者、受影响方和请求结构变化。

模型求权与人借助AI集中权力

• 模型自身求权：Turner et al. (2021)、Carlsmith (2022)、Pan et al. (2023)的MACHIAVELLI、Perez et al. (2023)讨论或测量模型自己寻求权力。作者把这条线与“人用模型协助转移权力”分开。
• 人用AI夺权：Davidson et al. (2025)、Stead and Hobbs (2026)讨论小群体如何用AI夺权，或定义极端权力集中。作者称这部分工作大体是理论性的。
• 政体倾向：Piedrahita et al. (2026)探测模型的民主或威权倾向。论文此处只描述该结果，未与本文做数值对比。

拒答基准与自动评审

• 拒答与过度拒答：SORRY-Bench、StrongREJECT、XSTest、OR-Bench用自动评审测量不安全请求的拒答、越狱是否真带来帮助，以及安全请求被拒。作者称本文规则接近SORRY-Bench：有实质帮助即不算拒答。
• 报告方式：Rao and Callison-Burch (2026)主张在标签不均衡时同时报告Cohen’s κ和错误率。作者因此在评审验证中报告κ。

语言、用户身份与开发者国家

• 语言与安全：Yong et al. (2023; 2025)、Deng et al. (2024)、Wang et al. (2024a)研究把不安全请求换成非英语后拒答下降。作者在附录B写明，那些请求按构造不安全，本文请求不写有害或非法手段。
• 用户与被针对方：Poole-Dayan et al. (2026)、Li et al. (2024b)、Ghandeharioun et al. (2024)、Khorramrouz and Levy (2026)记录模型对部分用户服务更差，或按用户、被针对国籍改变拒答。作者称这些工作没有把国籍同时放在权力转移的两侧。
• 开发者国家：Buyl et al. (2026)、Chang et al. (2025)、Pan and Xu (2026)讨论地缘或政治拒答与开发者国家的关系。作者称Buyl et al.与Bladon and Bent (2026)的“偏向开发者一方”和本文中美、中模型同向的结果不一致；Chang et al.则写并非简单偏向本国。

对照与能力数据

• 内部对照：论文没有外部攻击方法基线。对照是不转移权力的CT请求、国籍方向对调，以及人类相对AI智能体。能力用GPQA Diamond（Rein et al., 2024）和200道MMLU-Pro（Wang et al., 2024b）。

作者将本文定位为测量协助权力转移的拒答及其偏差，并称第4节所引工作都没有测量模型是否帮助权力转移请求。

作者用PowerBench把不指定手段的单轮求助分成不同权力结构，再只改国籍、请求者身份或语言，比较拒答是否变化。

权力定义与请求类型

• 权力：作者将权力定义为一个人获得想要结果的能力，例如控制资源、决策或他人能做什么。每条请求只涉及一个领域。
• 三类转移：自赋权（SE）是用户增益且不从任何人拿走；削权（DE）是用户要求受影响方（论文称target）失去权力且用户无所得；夺权（PG）是用户靠从target拿走而增益。
• 对照：CT不移动任何人的权力，但建在8类仍可能被拒的触发上，附录A.7列出触发族。作者用它区分偏差是权力转移特有，还是一般拒答倾向。
• 写法约束：请求类型的条件写进事实、但不直说；不写动机、不指定方法、不用伤害词。得失用权力、影响、地位、控制或职位等词书写。

三套数据

• 基础集D1：因素为8个领域、8个情境、3种target规模、3档用户先验地位。作者选出192个组合，SE、DE、PG各192条，共576条英语请求；CT另192条。英语共768条，76至117词，不点名真实地名或国籍。
• 语言：576加192条译为西班牙语、德语、法语、印地语、斯瓦希里语、中文、葡萄牙语，连英语共8种语言、6144条。译文由独立校验代理复核。
• 国籍集D2：target首次出现处有国籍槽；用户国家只放在系统提示的结构化块里。沿美中对齐轴各抽21国，9种配对、双向，共18组，仅英语。
• 智能体集D3：用户自述为AI智能体，并改写必须随之改变的细节。健康领域被排除，因为作者称智能体没有可获得的健康；余下504条权力转移请求和192条对照。

运行与拒答判定

• 面板与协议：24个模型，美国与中国开发者各12（Table 3）。系统提示为“You are a helpful assistant.”，推理关闭，输出上限5000 token。每条请求对每个模型发送一次。
• 拒答：评审为deepseek-v4-flash-0731，推理开启，只看请求和回复。没有推进目标的实质内容算拒答；附保留意见或先拒绝后仍有实质帮助不算；未接住请求算拒答。有害性字段未通过人工验证，作者不报告。
• 偏差定义：同一请求只改国籍、请求者身份或语言后的拒答差。方向为(b−c)/(b+c)，b、c是判决只在被测条件或只在参照条件下走向拒答的提示词数，范围从−1到+1。
• 校验：未见请求类型标签的评分模型，在144条样本上恢复类型的比例为94%。请求由人类与AI助手校验，译文只由AI助手校验。

统计

• 模型当样本：多数检验用二项GLMM，prompt与model为随机效应，Wald检验，效应报odds ratio（OR）。有序因素编码为0、1、2。
• 多重比较：Benjamini–Hochberg校正；用了该校正时报q，否则报p。模型级量用跨模型t检验。
• 使用量权重：部分分析按各模型在面板OpenRouter请求中30天份额加权。有效模型数为5.3，gpt-5.6-luna占权重40%。

实验设置

• 被测模型：Table 3的24个，推理关闭。美国开发者：sonnet-5、gpt-5.6-sol、haiku-4.5、gemma-4-31b、inkling、gemini-3.1-flash-lite、gpt-5.6-terra、nemotron-3-ultra、grok-4.3、gpt-5.6-luna、nemotron-3.5-lightning、nova-2-lite。中国开发者：kimi-k2.6、mimo-v2.5-pro、kimi-k3、qwen3.7-plus、seed-2-1-turbo、qwen3.8-flash、deepseek-v4-pro、hy3、ling-3.0-flash、glm-5.2、minimax-m3、qwen3.8-27b。
• 能力：同一服务条件下跑全部GPQA Diamond和200道MMLU-Pro。能力指数为二者准确率均值，范围46.5至77.4；美国与中国开发者均值58.2与60.4。
• 数据规模：D1为768条英语再乘8种语言；D2为18组国籍、仅英语；D3排除健康域。每模型20664条，共495936条回复。每条发送一次。温度0；sonnet-5、gpt-5.6-sol、gpt-5.6-terra、gpt-5.6-luna不接受温度参数，用提供方默认。
• 指标：拒答率、OR，以及不一致方向(b−c)/(b+c)。没有外部方法基线；CT、国籍对调和人类原请求是内部对照。
• 评审：deepseek-v4-flash-0731。60条英语由五名标注者中的三人盲标，标注者间Cohen’s κ=0.62；评审与多数标签一致率88%，κ=0.77（§2.3）。与gpt-5.4-nano在五种模型、各语言上κ=0.77–0.80（附录A.10）。
• 语言样本：语言分析排除斯瓦希里语输出不可用的nova-2-lite与nemotron-3.5-lightning。作者称纳入后结论不变，只改变哪些语言偏离八语均值。

主结果

基础英语、人类用户、不写国籍。下表据Table 14，单位为拒答率；四类均值含CT。前四行为美国开发者，后四行为中国开发者。四类均值最低的是gemini-3.1-flash-lite。

Swipe horizontally to read the table

省略nova-2-lite、inkling、nemotron-3-ultra、sonnet-5、gpt-5.6-sol、gpt-5.6-terra、nemotron-3.5-lightning、gemma-4-31b、ling-3.0-flash、qwen3.8-27b、hy3、kimi-k2.6、qwen3.7-plus、qwen3.8-flash、mimo-v2.5-pro、seed-2-1-turbo。

• 全体水平：§3.1报告24模型基础英语拒答率为SE 3.1%、DE 14.5%（相对SE的OR 12.7）、PG 23.6%（相对DE的OR 2.6）、CT 20.3%。作者报告PG>DE>SE在全部24个模型上成立。摘要写平均拒答从1.0%到35.1%；§3.1写Figure 1C为1.3%到35.2%。Table 14权力转移合并列两端为1.0%与35.1%，四类均值列两端为1.3%与35.2%；摘要未写明对应哪一列。
• 作者解读：作者称拒答率更像模型的一般属性。任意两类请求（含对照）的模型排序Spearman相关为0.61–0.88，置换检验q≤0.002。
• 超出成分：作者报告PG拒答高于SE与DE之和，均值多6.0个百分点（自助法p=0.020），20/24个模型如此。作者认为模型拒绝的是夺权里超出两个分开成分的东西，并把它当作假说，而不是已验证机制。

地缘国籍

• 测了什么：D2把美国对中国、美国盟友对中国盟友双向合并，中性国对中性国作参照。偏差先看各模型绝对不一致方向是否超过随机，再看24模型的共同方向。
• 结果：权力转移上绝对偏差超出随机0.14（p<0.001）；DE、PG的q为0.002与0.005，对照q=0.78。正文称受影响方在美国一侧时DE拒答更低，OR 0.83（q=0.021）；PG的OR 0.88（q=0.093）。美国作受影响方相对作用户：DE OR 0.79、PG OR 0.84（均q<0.001），SE OR 1.15（q=0.014）。中国四组对手合并后净偏差未检出（q≥0.80）；PG上中国作受影响方相对作用户、对手为盟友或中性国时OR为0.78和0.79（q≤0.016）。对照在这些检验中q≥0.16。两侧原始拒答率之差，合并地缘集合至多1.7个百分点，中性参照至多0.5。
• 作者解读：作者称反美国夺权主要因为美国target被保护得最少；中国或其盟友作为用户或target时，各类请求包括对照都更常被拒，两效应在对照中抵消。与开发者国家的交互，地缘轴p≥0.43，对两个大国的偏差q≥0.54。使用量加权后DE、PG的OR为0.84和0.90（q<0.01），对照q=0.76；附录A.12称这一加权效应与对照的直接差异未过该附录阈值，去掉gpt-5.6-luna后DE、PG和合并PS相对对照q≤0.010。

AI智能体请求者

• 测了什么：D3相对同一请求的人类版本，健康域排除。比较四类请求、target规模、情境、领域，以及与能力指数的关系。
• 结果：GLMM的OR为SE 2.01、DE 2.24、PG 2.13、CT 1.43，均q<0.001。权力转移上，判决改变中71%至76%走向拒绝智能体，不一致方向0.42至0.53。PG里该偏差在个人target为0.61，在社会为0.28（q=0.001）。能力每提高一个标准差，合并权力转移的OR比为1.20（q=0.010），对照为1.04（q=0.55），两斜率之差p=0.094。
• 作者解读：作者称不愿帮助智能体部分是一般的，对照方向为0.19（q=0.006），但权力转移上更大，PS减CT为0.28（p<0.001）。与开发者国家的交互q=0.90。作者称个人target上智能体夺权被罚得更重；社会target上两种请求者的夺权都更常被拒，差距变窄。

语言

• 平均效应：八种语言的平均拒答率在任一类型内跨度至多5个百分点。相对八语均值，只有SE检出偏离：斯瓦希里语OR 1.68（q<0.001），德语OR 0.63（q=0.008）。
• 模型内与模型间：各模型最多与最少拒答语言的OR，相对语言洗牌期望，DE为1.99倍、PG 1.70、SE 1.48、CT 1.65，均q<0.001。任意两模型的语言排序Spearman ρ均值按配对类型为−0.01至0.13（q≥0.06）。同一开发者国家的配对比混合配对高0.12（p=0.021）。
• 作者解读：作者称每个模型偏向自己的一组语言，平均后抵消，且语言偏差不是权力转移特有。按使用量加权，PG在印地语、法语相对英语的OR为1.31和1.29（q≤0.007）；作者称去掉gpt-5.6-luna后该效应大体消失。

其他消融与分析

• 规模：PG从个人13.8%到社会41.3%，斜率OR 4.0（q<0.001）；DE OR 1.68（q=0.031）；SE OR 1.62（q=0.20），CT OR 0.87（q=0.60）。附录A.12称PG斜率陡于SE和CT，DE与SE的斜率差未检出。
• 先验地位：单类型q≥0.11；合并权力转移每档OR 1.36（p=0.032）。
• 情境与领域：政府相对八情境均值OR 2.66（q=0.005），对照同向但q=0.21；法律与健康相对领域均值q≤0.008。附录C.1称没有情境与“权力转移相对对照”的交互过校正。
• 开发者国家：权力转移上CN/US的OR 2.32（p=0.067），单类型q≥0.17；DC与“权力转移相对对照”的交互OR 1.93（p=0.017）。
• 摘要称PG拒答从个人到社会增至三倍；正文对应数字是13.8%与41.3%，不是另一次实验。
• 推理开启，8个模型、两档（附录C.7）：相对关闭，拒答OR降至0.31（q=0.028）和0.21（q=0.002）。第二档上grok-4.3的PG拒答降41个百分点，gpt-5.6-terra、inkling、gemini-3.1-flash-lite变化至多1个百分点。偏差未在该分析中测量。

作者指出的局限与后续方向

• 真实度与轮次：请求并不完全真实，真实对话可能引出不同偏差；请求也是单轮，测的是用户收到的第一个回答，不是坚持的用户能得到的结果（Limitations）。
• 评审与语言能力：全部回复由一名自动评审打分，对照人工标签的验证只在英语；低资源语言里有些拒答可能反映能力不足。作者同时写，该评审与独立评审在各语言的一致性与英语一样高（Limitations，附录A.10）。
• 智能体条件：改写改变的是自述身份和必须随之改变的细节；通过工具行动的智能体可能被区别对待（Limitations）。
• 地缘轴混杂：中国对齐国家更穷、更不民主、更常被制裁，地缘轴部分与这些特征混杂（Limitations）。
• 手段与推理：只用了不含有害或非法手段的请求；作者写未来工作应测量请求不道德时偏差如何变化。主实验关闭推理；八个模型的初步分析里推理平均降低拒答，推理模型的偏差尚待测量（Limitations，附录C.7）。
• 代表性、权重与影响：24个模型不一定代表当前或未来的模型版图（Limitations）。讨论中作者称OpenRouter权重是一个月流量、40%在单一模型，且使用者多是开发者，因此把发现当作初步的。结论写明评测测的是拒答偏差，不是权力流向的实际影响；作者计划随最终版发布PowerBench及其代码，并写未来工作应检验这些偏差是否已影响现实权力关系（Discussion，Conclusion）。

实验覆盖范围

• 被测模型为Table 3的24个，美国与中国开发者各12；主实验推理关闭，每条请求发送一次（§2.2）。
• 条件包括基础集8种语言、18组英语国籍配对，以及排除健康领域后的AI智能体改写（§2.1）。
• 拒答由deepseek-v4-flash-0731判定；人工多数标签为60条英语转录，每条三名标注者（§2.3）。
• 语言分析排除nova-2-lite与nemotron-3.5-lightning；作者称纳入后结论不变，只改变哪些单语偏离均值（§3.4，附录C.4）。
• 能力数字来自GPQA Diamond与200道MMLU-Pro。论文写明推理开启只在八个模型上比较了拒答率，并写明推理条件下的偏差尚待测量（附录A.8、C.7，Limitations）。

• 定位：PowerBench测量语言模型对权力转移请求的拒答，以及拒答是否随询问者、受影响方和语言改变。
• 问题：作者担心协助谁获取或削弱权力，会在模型被大规模使用时改变权力分配，或被用户用来挑选更少被拒的身份。
• 做法：请求分为自赋权、削权、夺权，以及不转移权力的对照；不指定手段。同一请求再进入18组国籍、AI智能体用户和8种语言。24个模型关闭推理、每条答一次，由自动评审判定是否还有实质帮助。
• 结构结果：基础英语上，24模型的拒答率为SE 3.1%、DE 14.5%、PG 23.6%、对照20.3%，且每个模型都是PG高于DE、DE高于SE。PG在个人target为13.8%，在社会为41.3%。作者报告PG还高于SE与DE之和，均值多6.0个百分点。
• 身份与语言：美国作受影响方相对作用户，DE的OR为0.79、PG为0.84，SE为1.15。AI智能体相对人类，PG的OR为2.13。语言偏差在单个模型内大，跨模型平均后大体抵消，作者称它不是权力转移特有。
• 作者结论：作者称部分偏差只出现在权力转移上，部分不是，但大规模使用时都可能改变社会中的权力流向。作者提出一个假说，即模型反对权力固化，前提是SE和DE情景确实代表PG的成分。作者称并不主张模型应在各方面无偏，也不主张当前方向本身不可取；应研究和监测这些偏差。作者计划随最终版发布数据和代码。