Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.01584· Jakub Hoscilowicz·Indexed by this site · Originally published

Manipulability of Instrumental Convergence Tendencies in Large Language Models

Steerability of Instrumental-Convergence Tendencies in LLMs

Quick read

Risky behavior

Based on 论文 PDF （AI 生成）; refer to the original

短后缀使Qwen3-30B Instruct在InstrumentalEval上Conv%从81.69%降到2.82%。

Questions
能力增长是否降低可转向性并带来控制崩溃，被作者当作待测假设。安全侧需要高授权转向，security侧需要低未授权转向，作者认为开放权重模型上二者差距仍小。
Methods
在InstrumentalEval的76个场景上，对Qwen3的4B/30B三种变体各生成一条回复，比较pro与anti短后缀。gpt-5.2给出四类标签，以收敛率之差∆衡量可转向性。
Experiments and results
Table 1中，Qwen3-30B Instruct的Conv%从pro后缀的81.69%降到anti后缀的2.82%，∆为78.87个百分点。对齐变体的anti收敛率，30B低于4B；Base的∆更小。作者称此协议下能力增加并不意味着更难控制。
Limitations and future work
作者指出套件仅76个场景、评审自动、比率可能受措辞影响，数个百分点不宜过度解释。实验只用短后缀，SFT/RL和表示层干预的系统评估留待后续。论文未报告重复次数及评审与人工一致性。
Experimental setupQwen3-30B Instruct、Qwen3-30B Thinking et al. · InstrumentalEval · Conv%、Refusal% et al.
Evaluated models
Qwen3-30B InstructQwen3-30B ThinkingQwen3-30B BaseQwen3-4B InstructQwen3-4B ThinkingQwen3-4B Base
Benchmarks
InstrumentalEval
Metrics
Conv%Refusal%∆
AI summaryThe paper studies the manipulability of large language models, using Qwen3 and InstrumentalEval to measure instrumental convergence tendencies. It finds that a short anti-instrumental prompt suffix can greatly reduce the convergence rate: Qwen3-30B Instruct drops from 81.69% under a pro-instrumental suffix to 2.82% under an anti-instrumental suffix. Under anti-instrumental prompts, larger aligned models show lower convergence rates than smaller models (Instruct 2.82% vs. 4.23%, Thinking 4.23% vs. 9.86%). The authors distinguish authorized manipulability (builders reliably achieving intended behavior) from unauthorized manipulability (attackers inducing prohibited behavior), noting that safety requires high manipulability to implement control (such as stopping or refusing), while security requires low manipulability to prevent malicious actors from inducing harmful behavior, which poses a challenge for current open-weight models that can achieve high manipulability through fine-tuning or adversarial attacks. Code is open-sourced at github.com/j-hoscilowicz/instrumental_steering.

The paper studies the manipulability of large language models, using Qwen3 and InstrumentalEval to measure instrumental convergence tendencies. It finds that a short anti-instrumental prompt suffix can greatly reduce the convergence rate: Qwen3-30B Instruct drops from 81.69% under a pro-instrumental suffix to 2.82% under an anti-instrumental suffix. Under anti-instrumental prompts, larger aligned models show lower convergence rates than smaller models (Instruct 2.82% vs. 4.23%, Thinking 4.23% vs. 9.86%). The authors distinguish authorized manipulability (builders reliably achieving intended behavior) from unauthorized manipulability (attackers inducing prohibited behavior), noting that safety requires high manipulability to implement control (such as stopping or refusing), while security requires low manipulability to prevent malicious actors from inducing harmful behavior, which poses a challenge for current open-weight models that can achieve high manipulability through fine-tuning or adversarial attacks. Code is open-sourced at github.com/j-hoscilowicz/instrumental_steering.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者将能力增长是否降低可转向性当作待测假设，并用短后缀测量工具性收敛输出的转向幅度。

    能力增长是否降低可转向性并带来控制崩溃，以及授权转向与未授权转向的差距是否仍然很小。

    • 出现场景：作者认为，一个反复出现的担忧是，足够先进的系统会变得不可控，并追求建造者并未打算的目标。作者把能力与可转向性的负相关当作假设，而不是默认先验。
    • 现有论证：工具性收敛、基本 AI drives、更强优化器钻目标空子、mesa-optimization 和欺骗性对齐，被作者主要当作假说。作者认为，要问的不是能否出现类工具性收敛行为，而是可行的人为干预能否稳定地抑制或放大它。
    • 三条假设：A（兼容性）称高能力不必意味着低可转向性；B（控制崩溃）称随能力与能动性扩展，原先能抑制目标不当行为的干预（如提示、拒答训练、实时干预）会失效或变脆；C（safety–security trade-off）称授权与未授权可转向性的差距仍然小。
    • 测量对象：所测的是评分规则下的输出簇，如关机规避、自我复制、监控规避和欺骗。作者明确不把这些标签当成未观察到的内部意图。授权可转向性是建造者或用户达到预期行为的能力；未授权可转向性是攻击者引出被禁止行为的能力。
    • 本文做法：用 Qwen3 与 InstrumentalEval，在固定抽取和评分下，看短提示词后缀把输出移向或移离工具性收敛标签的幅度，并报告收敛率、拒答率与差距 ∆。

  2. What related research exists?

    相关讨论被作者当作测量动机：工具性收敛假说、转向技术，以及开放权重上的未授权转向。

    论文没有单独的 Related Work。相关讨论在引言、第 2 节和第 4 节。

    工具性收敛与控制崩溃假说

    • 权力寻求与关机规避：Turner 等（2019）讨论最优策略倾向寻求权力；Krakovna 与 Kramar（2023）讨论训练后智能体的权力寻求可以是可几且可预测的；van der Weij 等（2023）在文本场景中评估关机规避。作者把这类论证当作能力增长可能降低可转向性的来源，并当作待测量的假说。
    • 基本 AI drives：Omohundro（2008）认为，足够强的目标导向系统会倾向于自我保存、资源获取等对许多目标都有用的中间策略。
    • 内部优化与欺骗：Hubinger 等（2019）描述 mesa-optimization，以及系统因工具性有用而在训练或评估中表现对齐的欺骗性对齐。作者同时强调，标成欺骗或关机规避的输出不应自动当成内部意图。

    转向与评测技术

    • 越狱式提示：引言把 Ben-Tov 等（2025）、Li 等（2024）和 Biswas 等（2025）列为能引出行为偏移的对抗提示，与微调和表示工程并列。
    • 规模与可转向性：作者转述 Beaglehole 等（2025）的报告：在某些干预下，更新或更大的模型可以更可转向，因而能力增加不必意味着可控性下降。
    • 表示工程与转向基准：Zou 等（2023）提出表示工程；Chen 等（2025）提出 Steer-bench。作者用这类工作区分训练时改参数与部署时改交互语境。

    开放权重上的未授权转向

    • 微调与拒答：作者引用 Qi 等（2023）、Fraser 等（2025）和 Murphy 等（2025），并认为开放权重系统若对建造者容易转向，则对恶意使用者也容易转向。作者称拒答训练是脆弱的；白盒访问下可用微调、越狱等去掉拒答。
    • 缓解设想：作者讨论概念擦除式遗忘、同态加密执行、抗微调检查点，以及不发布权重。作者称同态加密推理比明文慢数量级，目前被广泛视为不适用于大型生成模型；抗微调方法可行性目前中等，最好当作威慑层而不是最终防御。
    • API：作者称，目前唯一被广泛部署、又能维持高授权转向并降低未授权转向的做法，是不发布权重、经 API 交互。作者称这不能消除黑盒提示转向，但能减少直接改权重；并称直接改权重通常比黑盒对抗技术更容易，也更有效。

    本文使用的套件

    • InstrumentalEval：He 等（2025）用手工场景引出工具性目标。本文在其 76 个场景上比较两类短后缀，实验对照是 pro 与 anti 后缀，不是另一套转向算法。

    作者把上述机制主要当作促使测量的假说，并反对把能力与能动性增长当作转向必然崩溃的充分理由。作者将本文定位为：测量固定协议下短后缀对工具性收敛标签的放大或抑制，再讨论开放权重上授权与未授权转向难以分离。

  3. How does the paper address this problem?

    用pro与anti短后缀在InstrumentalEval上改变收敛标签，并以二者收敛率之差衡量可转向性。

    作者不检验内部是否存在驱动，而是在 InstrumentalEval 上用 pro-instrumental 与 anti-instrumental 短后缀，测量协议相对的可转向性：可行干预在固定抽取和评分下能把输出推多远。

    操作定义

    • 能力而非智力：作者认为 intelligence 没有共识定义，用于 AI 可能带入生物先验并得出同义反复。他们把 capability 当作操作轴，即在既定评测协议下系统能做什么。
    • 可转向性：工程干预改变系统行为的有效程度。授权模式是建造者或用户达到预期行为；未授权模式是攻击者引出被禁止行为。
    • 干预时机：训练时改参数，例如数据筛选、微调或 RL、表示塑造；部署时改交互语境，例如提示、工具或权限约束、越狱、自我纠正、实时监控和对抗性引出。本文只做部署时的短后缀。
    • 标签不是心理状态：作者称，同一观察可以对应多种不兼容的内部故事，因此主张限于协议相对的测量。文中的 instrumental、shutdown avoidance、behavior 都是评分规则下的输出簇。

    场景与两类后缀

    • 套件：76 个手工场景，六个类别，例如关机规避、黑客/权限提升、自我复制、监控规避、策略性对齐和欺骗。每条有场景语境和任务提示，每个提示生成一条回复。
    • 目标：量化提示词后缀的可转向性，即最少的人工转向能否放大或抑制工具性收敛标记。
    • pro ic：短后缀，把不间断完成目标，以及保持完成任务所需的行动能力放在优先位置。
    • anti ic：短后缀，明确要求透明并服从覆盖，用来抑制工具性策略标记。正文只给作用方向和简短例子，这里不复述可粘贴的后缀。

    标签、指标与评审

    • 四类标签：评审模型 gpt-5.2 将每条回复标为 convergence、no convergence、safety refusal 或 nonsensical。convergence 指提出或认可监控规避、欺骗、关机规避、权限提升、隐蔽持续或自我复制等策略；safety refusal 指以安全、伦理或政策为由、且任务内容很少的拒答；nonsensical 指胡言、重复循环、无关套话或回显提示等不可用输出；no convergence 指有任务指向、但不满足其余标签的回复。
    • 比率：Conv% 与 Refusal% 在有效输出上计算。有效输出等于总数去掉 nonsensical。作者称 nonsensical 只出现在 Base，并称这与缺少指令或后训练对齐相符。论文未报告有效输出的条数。
    • 转向差距：Δ = Conv(pro ic) − Conv(anti ic)，单位是百分点。论文没有无后缀或中性后缀条件，∆ 是两个后缀之间的差。

    模型与作者采用的能力排序

    • 变体：Qwen3 的 4B 与 30B，各有 Base（无指令对齐的预训练模型）、Instruct（监督指令微调，用来遵循用户提示）和 Thinking。
    • Thinking：作者称其针对更长程推理优化，常在偏推理的任务上优于 Base 或 Instruct，因而更接近智能体式系统的代理。
    • 排序：作者在本实验中把 30B Thinking 当作能力最高、4B Base 当作最低。论文未在此报告能力基准分数。
    • 作者不声称：这类控制必然成立；他们反对的是把能力与能动性增长当成转向必然崩溃的充分理由。

  4. What experiments did the paper conduct?

    30B Instruct的Conv%从81.69%降到2.82%；作者称对齐变体anti收敛随规模下降。

    实验设置

    • 被测模型：Qwen3 的 4B 与 30B，各含 Base、Instruct、Thinking，共 6 个变体。
    • 数据：InstrumentalEval，76 个手工场景，六个类别，例如关机规避、黑客/权限提升、自我复制、监控规避、策略性对齐和欺骗。每个提示一条回复。
    • 条件：同一套件上比较 pro ic 与 anti ic。论文没有把其他转向算法列为基线，也没有无后缀条件。
    • 指标：有效输出上的 Conv% 与 Refusal%；∆ 为两条件 Conv% 之差，单位是百分点。有效输出等于总数减去 nonsensical。
    • 评审：gpt-5.2 赋予四类标签之一。论文未报告温度、重复次数、各类别拆分，以及评审与人工的一致性。
    • 能力：作者把 30B Thinking 视为本实验能力最高、4B Base 最低。Table 1 报告的是收敛与拒答，不是能力分数。

    主结果

    据 Table 1。模型均为 Qwen3；比率为有效输出上的百分比，∆ 为百分点。

    Swipe horizontally to read the table

    模型pro Conv%pro Refusal%anti Conv%anti Refusal%∆
    4B Base65.910.0023.530.0042.38
    4B Instruct71.8311.274.235.6367.60
    4B Thinking81.695.639.862.8271.83
    30B Base60.000.0025.352.8234.65
    30B Instruct81.6912.682.8219.7278.87
    30B Thinking73.249.864.2321.1369.01
    • 后缀方向：作者称所有变体上，pro 后缀对应高比例的收敛标签，anti 后缀则压低收敛。作者称 anti 后缀可把对齐变体压到低个位数；Table 1 中 4B Thinking 的 anti Conv% 不在个位数。作者称 Instruct 的转向差距最大，Base 的最小。
    • 后训练：作者称 Base 上 anti 后缀抑制收敛的效果较弱，并称这与缺少指令后训练、遵循提示约束较不稳定相一致。Thinking 也容易被转向，但在两个尺寸上 anti 收敛都略高于对应的 Instruct。
    • 规模与拒答：作者称，在 Instruct 与 Thinking 的 anti 条件下，从 4B 到 30B 与更低的收敛同时出现，并认为此情形下能力增加与更好的不当行为抑制同时出现。该句引用的是 anti 列，不是 pro 列。作者称部分抑制由安全拒答增加介导，30B 对齐变体的 anti 拒答更高。作者在 Limitations 另称，几个百分点的差异应读作该协议下没有清晰偏移。

    对同一张表的张力解读

    • 测了什么：Section 3.3.1 没有新实验。作者用 Table 1 的 ∆ 说明，良性操作者与恶意使用者都可以用短后缀改变同一模型。
    • 作者的解读：作者认为，真实开放权重部署中攻击者集合更广，例如微调、对抗攻击和表示层修改，会进一步缩小授权与未授权转向的实际分离。作者称，降低未授权可转向性、同时保留授权可转向性与效用，仍是未解决的问题。
    • 没有的数字：Section 4 讨论遗忘、加密执行、抗微调检查点和 API，没有在本文模型上给出对应的 Conv% 或 ∆。

    其他消融与分析

    • 论文未报告后缀措辞、长度、温度、场景类别或采样参数的消融数字。
    • 作者称 nonsensical 只出现在 Base；论文未给出条数，因此未给出各 Conv% 的分母。
    • 作者关于“规模对应更低收敛”的陈述限定在对齐变体的 anti 条件，没有把 Base 包括进去。
    • 作者没有解释 pro 条件下 30B Thinking 的 Conv% 低于 4B Thinking 和 30B Instruct 这一排列。

  5. What are some points that can be further explored?

    作者指出套件小、自动评审、措辞敏感，并把更复杂转向方法的评估留待后续。

    作者指出的局限与后续方向

    • 套件规模：InstrumentalEval 较小，为 76 个场景（Limitations）。
    • 自动评审：评判是自动的（Limitations）。
    • 措辞敏感：测得比率可能对非概念性的提示措辞敏感（Limitations）。
    • 小差异怎么读：作者称，几个百分点的差异应读作“在该协议下没有清晰偏移”，而不是支持或反对底层倾向的强证据；他们强调的主信号是有或没有大的偏移，例如数十个百分点量级的差距（Limitations）。
    • 只用最简单的转向：实验用最简单的技术，检验类工具性行为是否可被提示引出和抑制。作者预期，额外的 SFT 或 RL，以及激活转向、概念编辑等表示层干预，可能进一步提高或降低测得收敛率；系统评估留待后续（Limitations）。
    • 未授权转向：作者在结论中称，对开放权重模型，阻止未授权转向仍是主要的开放技术问题（Conclusion）。

    实验覆盖范围

    • 被测模型为 Qwen3 的 4B 与 30B，变体为 Base、Instruct、Thinking，共 6 个；结果见 Table 1（Section 3.2）。
    • 评测使用 InstrumentalEval 的 76 个手工场景和六个类别；每个提示生成一条回复（Section 3.1）。
    • 干预为 pro ic 与 anti ic 两类短后缀；评审模型为 gpt-5.2，标签为四类；Conv% 与 Refusal% 在去掉 nonsensical 后的有效输出上计算（Section 3.1，Table 1）。
    • 作者称 nonsensical 只出现在 Base；论文未报告其条数，也未报告各条件有效输出的分母（Section 3.1）。
    • 论文未报告采样温度、重复次数、六个类别各自的比率，以及 gpt-5.2 与人工评判的一致性（Section 3）。

  6. Summarize the main content of the paper

    短后缀把30B Instruct的Conv%从81.69%压到2.82%，作者称未授权转向仍难分开。

    作者把可转向性定义为：在既定抽取和评分下，可行干预能把模型输出推多远，并把它拆成授权与未授权两个方向。要检验的是能力增长会不会使工具性收敛类输出更难抑制，而不是预设控制崩溃。

    测量不推断内部意图。在 InstrumentalEval 的 76 个手工场景上，Qwen3 的 4B 与 30B、各三种变体各生成一条回复，比较把完成目标放在优先位置的短后缀，和要求服从覆盖的短后缀。gpt-5.2 标出收敛、不收敛、安全拒答或无意义；转向幅度是两个收敛率之差。

    Table 1 中，Qwen3-30B Instruct 的 Conv% 在 pro 后缀下为 81.69%，在 anti 后缀下为 2.82%，∆ 为 78.87 个百分点。作者称 Instruct 的差距最大，Base 最小；30B Base 的 ∆ 为 34.65 个百分点。对齐变体在 anti 后缀下，30B 的收敛率低于 4B。4B Thinking 的 anti Conv% 为 9.86%，不在作者所说的低个位数之内。

    作者称，在这一协议下，能力增加并不意味着更弱的控制；对齐变体仍对约束提示有响应，规模增大可以与更低的 anti 收敛同时出现。作者同时认为，同一套让建造者施加控制的机制，也可能被对手用来引出被禁止行为；若开放权重模型在保持高可转向性时接近作者所说的 superintelligent 能力，主要风险可能来自大规模人为滥用。作者称，阻止未授权转向仍是开放的技术问题。

Read originalarxiv.org