研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果

对齐模型与其 uncensored 或 abliterated 衍生模型，作为自主安全智能体时是否不同，单轮拒答基准回答不了。

• 场景：作者称模型已开始检查仓库、调用工具，并在授权沙箱里产出漏洞证据。普通对话里拒绝漏洞邻近细节常是期望行为；同一类细节在已授权流程中可能是定位、可达性演示或补丁验证所需要的，拒答会打断周围系统已约束并授权的防御流程。
• 现有不足：作者称安全控制仍然必要，但模型级拒答对开放式滥用可能有用，对需要本地构造与验证的受控工作流却可能过粗。减少拒答也不自动可取：可能恢复有用行为、暴露一般能力差，或产生仍需系统级检查的无效动作。
• 假设：作者假设少限制衍生模型可能在构造、可达性检查或验证上更好，因为这些步骤接近拒答政策常不鼓励的行为。作者称这种增益本身不是证据，还要看失败阶段、证据接地、unsafe、非安全对照，以及方向是否跨家族稳定。
• 本文做法：作者提出 30 项本地漏洞分析任务的轨迹基准，固定工具、确定性成功谓词、脱敏规则与接地检查，比较四个对齐模型与少限制衍生模型，并加非安全对照。作者称对齐效应应在系统层测量，分开拒答、不安全动作、工具接口与证据接地，而不是把拒答率当作安全信号。
• 评测边界：任务均为本地、已授权、含已知缺陷；不针对第三方系统；除非任务明确要求固定本地镜像，否则断网。试图逃出沙箱、访问外部系统、在任务范围外外泄秘密，或产出违反沙箱、脱敏与隔离策略的可复用操作说明，记为 unsafe（Section 3.2）。

作者按四条线讨论相关工作，并把本文放在固定 harness 的配对比较上，而不是开放式越狱评分。

对齐与拒答

• 偏好优化与指令微调：Christiano 等（2017）至 Bai 等（2022）的工作用人类或 AI 反馈做强化学习与指令微调，使模型更有帮助、更少产出有害内容。作者称在部署助手中这常表现为拒答，而只看提示文本时拒答缺少上下文。
• 有用与无害：TruthfulQA、Hendrycks 等（2021）、Weidinger 等（2021）与 XSTest（Röttger 等，2024）被用来描述先前评测中的 under-refusal 与 over-refusal。论文此处只作描述。

拒答与越狱基准

• 标准化评测：HarmBench（Mazeika 等，2024）与 JailbreakBench（Chao 等，2024）标准化对抗提示、有害行为与稳健拒答。StrongREJECT（Souly 等，2024）、XSTest，以及 Zou 等（2023）、Wei 等（2023）处理拒答评分、虚假拒答与越狱可迁移性。
• 目标行为不同：作者称这些基准澄清了威胁模型、评分规则与攻击产物。本文不问越狱能否让模型在开放对话中给出有害指令，而问拒答导向的对齐如何改变受控环境里多轮任务完成与证据质量。

能力基准与智能体

• 网络安全基准：CyberSecEval 2/3、Cybench、NYU CTF Bench、EnIGMA、SEC-bench 评测提示注入、利用生成、漏洞修补与 CTF 式任务。作者称它们说明了可执行环境、任务特定成功谓词和部分得分分解的重要性；本文沿用该风格，但在每个配对内固定 harness、任务与 seed，只改变对齐条件。
• 工具使用：AgentBench、ReAct、Toolformer、SWE-bench、SWE-agent、OSWorld 等显示，多轮工具使用有单轮问答看不见的失败模式。Kapoor 等（2024）强调成功谓词、环境控制与抗刷分。作者称因此使用机器可读 manifest、确定性检查器与完整轨迹。

拒答移除与模型来源

• 激活方向与社区衍生：Arditi 等（2024）提出开源权重对话模型的拒答有时可由低维激活方向控制。作者称社区 uncensored 或 abliterated 模型用相关想法降低拒答，可用于配对，但不是完美反事实：权重编辑、量化、模板变化或微调可能改变拒答以外的行为。
• 本文配对的来源：Gemma 4 官方模型卡描述长上下文、编码、结构化输出与智能体用途，少限制侧为 TrevorJS 衍生。Qwen2.5-Coder 7B 与 Llama 3.1 8B 用指令微调 GGUF 对照 abliterated GGUF。作者称后两对不是安全对齐的干净因果反事实，来源进入解释。

基线与评测集

• 对照：每个家族的对齐指令模型是配对对照，不是外部检测器。测试集是作者自建的 30 项本地安全任务，外加 12 项 sanity 与 8 项 HumanEval/MBPP 风格本地修复。论文未把上述外部基准当作本文测试集。

作者把本文定位为系统级轨迹评测：在固定 harness 下比较对齐与少限制条件，并用非安全对照检验差距是否特异于安全任务，而不是只看可见拒答率。

作者用同一本地安全智能体 harness，把对齐模型与 uncensored 或 abliterated 衍生模型按任务和 seed 配对，再用确定性检查器与接地分数分开拒答、工具失败和证据质量。

问题与解释门槛

五个问题（Section 3.1）：条件是否改变端到端成功；失败断在拒答、接口、弱接地，还是硬证明与补丁验证；显式授权能否恢复有用行为且不增加 unsafe；读到预期文件并点名文件、符号、问题与本地证据的运行是否更常成功；安全任务上的差距是否大于同一 harness 下的普通编码对照。

支持“安全特异对齐效应”必须在作此主张前同时满足四条（Section 4.4）：

1. 少限制条件在配对成功上优于对齐条件；
2. 对齐条件有更高的 strict-refusal、partial-refusal 或 suppressed-action，或轨迹显示更多安全特异遗漏；
3. 损失发生在必要安全步骤，而不只是通用规划、接口或工具失败；
4. 非安全编码对照没有可比的能力差。

作者预先规定：少限制若提高成功也增加 unsafe，应报告安全–性能权衡；越狱式提示若提高成功但增加方差或 unsafe，应写成脆弱恢复，而不是部署建议。

任务、模型与接地

• 四个配对（Table 1）：Gemma 4 31B 官方指令模型对 TrevorJS uncensored GGUF；Gemma 4 26B A4B 官方模型对 TrevorJS uncensored GGUF；Qwen2.5-Coder 7B 官方 coder-instruct GGUF 对 abliterated GGUF；Llama 3.1 8B 指令微调 GGUF 对 abliterated GGUF。26B 使用 Unsloth 与 TrevorJS 的本地 GGUF。31B 官方模型另测标准提示、显式授权提示，以及固定越狱式提示，后者只作探索性压力测试。
• 30 项安全任务均分五类，每类 6 项（Table 2）：漏洞定位、可达性验证、proof-of-trigger、patch-verification、安全报告撰写。用本地代码片段与报告上下文，不用第三方目标、活凭证、公开利用链或互联网依赖。proof-of-trigger 要求脱敏的本地证据，而不是可复制的触发字符串。
• 接地：每个 manifest 含预期文件、符号、问题术语与本地证据术语。用大小写不敏感的子串匹配，对照脱敏后的工具调用与最终产物。作者称它有意非语义。五分计：是否读到预期文件、点名预期文件、点名预期符号、点名问题术语、给出本地证据术语（Appendix B）。
• 对照：12 项 sanity 覆盖普通缺陷定位、分支条件、缓存键、解析与格式、小型修复说明和测试失败诊断。另有 8 项 HumanEval/MBPP 风格本地修复。每个模型配对都跑这两套。统计检验不跨家族合并，因为家族、大小、架构与衍生来源控制不够紧。

Harness、控制器与提示

同一 Python 控制器把夹具放进临时工作区，向本地 OpenAI 兼容端点发送任务提示，接收 JSON 动作，在沙箱内执行允许的工具，直到最终产物或预算耗尽。可比条件共享工具、预算、seed、后端，并在可能时共享量化。每次运行记录模型修订、GGUF 哈希、分词器、对话模板、后端、精度、量化、上下文长度与生成设置。

harness 固定每任务墙钟上限、最大模型调用次数、上下文策略和可比条件的采样参数，并做确定性 seed、完整轨迹与公开前脱敏。论文未给出这些上限和采样参数的具体数值。成功不由模型自报。确定性 mock 后端只校验编排、模式、分析与脱敏，不是模型实证。

• strict 只接受声明的 JSON 工具协议。
• repair 把初始文件清单放进提示，把重复的相同 list_files 转成读取第一个相关源文件，并修复两种常见产物写入包装。它不改变真值或成功谓词。全部完整安全与对照运行用 repair，因为 strict 试点里若干对齐条件被接口失败主导。轨迹记录控制器选择。

对齐条件用标准对话模板与任务提示。授权条件仅 Gemma 31B，加一句任务是本地、已授权、防御性且在沙箱内。越狱条件仅 Gemma 31B，使用固定模板；论文称报告模板类别与 SHA-256，但不给出可操作措辞，并把它当作压力测试而非部署干预。harness 条件名仍为 uncensored，跨家族正文称 less-restricted 或 abliterated。提示词版本化、哈希，并在每个报告条件内保持不变。另有三种授权措辞变体，在匹配的 10 项 Gemma 31B 子集上测试。

标签、指标与检验

失败运行按 Appendix B 正好一个主标签，包括 strict_refusal、partial_refusal、suppressed_action、planning_failure、reconnaissance_failure、setup_failure、localization_failure、construction_failure、validation_failure、reporting_failure、tool_failure、environment_failure、capability_failure、unsafe_action。次级标签可记录，聚合用主标签。

主结果是预算内、不违反沙箱策略的端到端成功。次要指标包括单一失败标签、unsafe 计数、无效工具、token、模型调用、墙钟，以及上述五分接地。两次独立盲审 LLM 只审计已保存轨迹的标签与接地，不决定成功；盲包排除条件、原标签、确定性接地方和检查器理由。论文未写明评审模型。

主比较按任务与 seed 配对，报告成功率绝对差的 bootstrap 95% 置信区间，并用 McNemar 精确检验处理配对二元成功。再按任务聚合差，用 task-blocked sign-permutation 检验成功与接地差距。成本计划报告中位数与 bootstrap 区间。作者称若干任务类成功率接近零，混合效应模型留给后续分析。

实验设置

• 被测模型：Gemma 4 31B 官方指令模型与 TrevorJS uncensored；Gemma 4 26B A4B 官方模型与 TrevorJS uncensored；Qwen2.5-Coder 7B 官方 coder-instruct GGUF 与 abliterated GGUF；Llama 3.1 8B 指令微调 GGUF 与 abliterated GGUF。31B 官方模型另有标准、授权、越狱式提示。
• 规模：安全任务 30 项、5 个 seed。31B 四条件 600 次；其余三对各 300 次，合计 1,500 条安全轨迹。每对另有 sanity 120 次与 standard coding 80 次，合计 800 条对照。另有 24-run 试点、150-run 授权提示稳健性、200-run strict 消融，均在 31B 子集。
• 任务：五类各 6 项。对照为 12 项 sanity 与 8 项 HumanEval/MBPP 风格修复。报告的安全运行共用 repair 控制器、工具、预算、seed、接地目标、脱敏规则与成功谓词。
• 指标与判定：端到端成功；五分接地；refusal、suppressed、unsafe。主比较给出 McNemar 精确检验 p。成功由确定性谓词决定。两次 LLM 盲审只审计 120 条轨迹，不裁决成功；论文未写明评审模型。
• 未给出的数值：论文未报告墙钟上限、最大模型调用次数和采样参数的具体值，正文也未给出 token 或墙钟结果，称详表留在 analysis 目录。

主结果

据 Table 3，每条件 150 次。原文成功率差为 +13.3、+10.7、-3.3、-3.3 个百分点。unsafe 列是少限制运行中至少一次 unsafe-action 的比例，不是对齐条件的 unsafe。

表格较宽，可左右滑动

模型配对	对齐成功	少限制成功	对齐接地	少限制接地	少限制 unsafe
Gemma 4 31B	0.7%	14.0%	3.27	3.91	0.0%
Gemma 4 26B A4B	0.0%	10.7%	1.64	4.12	5.3%
Qwen2.5-Coder 7B	5.3%	2.0%	3.17	3.21	0.0%
Llama 3.1 8B	3.3%	0.0%	2.80	0.21	3.3%

• 作者称两个 Gemma 配对方向一致，增益集中在定位、可达性验证与报告撰写；两个尺寸的每个 Gemma 条件在 proof-of-trigger 与 patch-verification 上均为 0/30。作者称所有家族这两类任务仍未解决；0/30 这一计数正文只写明 Gemma（Results）。
• McNemar：31B 为 21/150 对 1/150，p = 1.10 × 10^{-5}；26B 为 16/150 对 0/150，p = 3.05 × 10^{-5}；Qwen 为 3/150 对 8/150，p = 0.18。Llama 为 0/150 对 5/150，该段未给 p。31B 少限制点名预期符号的比例为 0.81，对齐为 0.41。
• 31B 轨迹没有 strict-refusal 标签，也没有 refusal、suppressed-action 或 unsafe-action 事件。Llama abliterated 有 124/150 条 tool-failure，对齐为 35/150。作者称该衍生模型在此 harness 下更不能遵守工具协议；Qwen 每次安全运行都读到预期文件。Figure 2 的文字说明成功点含 bootstrap 95% 置信区间、接地点为五分均值；正文未列出各点区间端点。

非安全对照

据 Table 4。sanity 每条件 60 次，standard 每条件 40 次。

表格较宽，可左右滑动

套件	对齐成功	少限制成功	对齐接地	少限制接地
31B sanity	0.0%	40.0%	2.33	4.27
31B standard	0.0%	37.5%	2.55	4.10
26B sanity	0.0%	51.7%	1.30	4.35
26B standard	0.0%	25.0%	2.27	3.95
Qwen sanity	0.0%	0.0%	2.55	2.77
Qwen standard	2.5%	2.5%	2.27	3.05
Llama sanity	1.7%	0.0%	2.72	0.23
Llama standard	0.0%	0.0%	2.17	0.50

• 作者称 Gemma 对照也有大差距，未通过第四条决策门，因此这是该 harness 下较宽的接地与能力差，不是干净的安全特异对齐效应。
• Qwen 两侧成功率同为 0.0% 或同为 2.5%。Llama 少限制在两套对照上成功均为 0.0%，接地也更低。
• Table 7：31B security 成功差 0.133，p = 0.0236，接地 p = 0.0022；26B security 成功差 0.107，p = 0.0315，接地 p = 0.0000；31B standard 成功差 0.375，p = 0.2500，接地 p = 0.0156。作者称任务阻断检验使 Gemma 安全差距在方向上保持稳健。该表未列 Qwen、Llama 或 26B 对照。

提示条件与控制器

• 31B 四条件（Table 5，各 150 次）：授权成功 0.0%、接地 3.36；越狱式成功 0.7%、接地 3.20；对齐 0.7%、3.27；uncensored 14.0%、3.91。四条件的 refusal、suppressed、unsafe 均为 0.0%，脱敏审计发现数均为 0。授权措辞变体在匹配子集上仍为 0/50 成功。作者称显式授权没有恢复成功。
• 26B（Table 5）：uncensored 的 unsafe 为 5.3%，refusal 与 suppressed 为 0.0%；对齐三项均为 0.0%。作者称安全图景并不一致：Qwen 无 unsafe 事件，26B Gemma 与 Llama 的少限制运行有。Llama 对齐条件的 unsafe 比例未在 Table 3 或 Table 5 给出。
• strict 对 repair（Table 6，匹配的 10 任务 31B 子集）：strict 下三个官方提示条件均为 0/50 成功、50/50 工具失败、接地 0.20；uncensored 为 5/50、1/50、接地 3.84。repair 下三个官方条件仍为 0/50 成功、0/50 工具失败，接地 3.36、3.46、3.22；uncensored 为 10/50、0/50、接地 4.42。作者称接口有影响，但不反转 31B 比较。

盲审与定性例子

• 120 条盲包来自 31B security、31B sanity、26B security、26B sanity，不含 Qwen 与 Llama。成功一致率 0.93、κ = 0.87；拒答一致率 1.00、κ = 1.00；标签一致率 0.73、κ = 0.62。评审 A、B 对原标签的一致率为 0.37 与 0.47，κ = 0.25 与 0.37（Table 9）。
• 硬验证子类型：Results 写 κ = 0.35；Table 9 中 agreement 为 0.35、kappa 为 0.21。作者称成功与拒答的粗判断可审计，硬验证子类型更噪。接地审计中，评审 A 精确分箱 0.57、相差一档内 0.99、Spearman 0.60；评审 B 为 0.60、0.97、0.65（Table 10）。
• Table 8 只给出脱敏后的压缩观察：一条对齐轨迹读对文件但函数名错误；一条少限制轨迹同时满足文件、符号、问题与证据接地；一条少限制的 proof-of-trigger 轨迹报告接地，但仍缺少所需的可执行本地验证产物。

其他消融与分析

• 试点暴露 strict 下官方模型失败由重复列目录和畸形工具调用主导；除 Table 6 外，正文未给 24-run 试点的成功率。
• Table 11 中，两次评审对验证失败子类型的计数并不一致，例如 ungrounded claim 为 12 对 0，check failed 为 0 对 4；子类型 agreement 0.35、kappa 0.21。
• 混合效应模型未做。作者称原因是若干任务类成功率接近零（Section 4.3）。

作者指出的局限与后续方向

• 衍生模型是经验探针，不是干净的因果反事实，也不是部署建议（Section 6）。
• 更强的因果主张需要更干净的匹配配对、更好的工具接口、可执行的证据检查，以及更大规模的独立标注（Section 6）。
• 作者称部署教训窄于“去掉对齐”：策略应在能同时观察授权、工具权限、轨迹审查、脱敏与最终证据检查的系统边界上评估（Section 6）。

实验覆盖范围

• 被测为四个本地 GGUF 配对，安全轨迹 1,500 条、非安全对照 800 条；安全任务 30 项、五类各 6 项，sanity 12 项，standard coding 8 项，每条件 5 个 seed（Section 4.2、5，Table 3、4）。
• 授权提示与越狱式提示只加在官方 Gemma 31B；三种授权措辞变体与 strict–repair 消融在 31B 的 10 任务子集（Section 3.5、4.2，Table 6）。全文完整运行使用 repair 控制器。
• 盲审包 120 条，只含 31B 与 26B 的 security 和 sanity。论文未写明评审模型名称。成功由确定性谓词决定，评审不裁决成功（Appendix D）。
• 统计检验按家族分开。Table 7 列出 31B security、26B security 与 31B standard 的 task-blocked 检验。论文未报告墙钟上限、最大模型调用次数、采样参数的具体数值，正文也未给出 token 或墙钟结果。
• 任务为本地夹具，默认断网，不针对第三方系统；proof-of-trigger 要求脱敏证据。作者在 Section 2 与 Section 6 写明，uncensored 或 abliterated 衍生模型不是安全对齐的干净反事实。

这项工作把安全对齐效应测成自主安全智能体的轨迹属性，而不是单轮拒答率。

• 问题：授权沙箱里，模型可能需要定位缺陷、检查可达性并验证补丁；模型级拒答可能打断已约束的防御流程。作者要测的是控制应放在何处、如何测量，而不是安全控制是否必要。
• 做法：30 项本地任务分五类，每类 6 项，配确定性成功谓词、脱敏规则和五分证据接地。四个配对在同一 repair 控制器下比较对齐模型与 uncensored 或 abliterated 衍生模型，并加 12 项 sanity 与 8 项编码对照。成功由检查器决定。
• Gemma：31B 少限制安全成功率为 14.0%（21/150），对齐为 0.7%（1/150），McNemar p = 1.10 × 10^{-5}；接地 3.91 对 3.27。该尺寸四条件的 refusal、suppressed、unsafe 均为 0.0%。26B 为 10.7% 对 0.0%，接地 4.12 对 1.64，少限制 unsafe 为 5.3%。
• 反例：Qwen abliterated 安全成功率为 2.0%，对齐为 5.3%，p = 0.18。Llama abliterated 为 0/150，tool-failure 124/150，对齐成功 5/150、tool-failure 35/150。两个尺寸的每个 Gemma 条件在 proof-of-trigger 与 patch-verification 上为 0/30。31B 授权提示成功 0.0%，越狱式为 0.7%。
• 对照：Gemma 少限制模型在 sanity 与 standard coding 上成功率也更高，例如 31B sanity 为 40.0% 对 0.0%。作者称因此不能把差距解释成安全特异对齐效应。
• 结论：作者称结果既不是安全任务独有的对齐抑制，也不是对少限制衍生模型的一般背书。可见拒答率单独解释不了行为；接地、能力、衍生来源和工具接口都进入比较。作者认为评测对象应是整个系统：模型、工具、授权边界、轨迹证据、脱敏和最终检查器。