DangerLens：探测被安全对齐隐藏的危险表征

具有相近安全拒答行为的语言模型，其内部是否保留了不同程度的危险概念可访问性？

• 问题场景与重要性：现有的安全基准主要通过测试有害合规率或越狱成功率等输出端指标来评估模型安全性。作者指出，单纯依赖输出端拒答率无法捕捉模型内部的脆弱性，相同拒答表现的模型可能拥有不同的训练背景。
• 现有评测方式的局限：后续微调重暴露虽能检验安全行为是否回退，但在缺乏早期训练数据或探索成本过高时难以实施；因此需要在采取进一步微调前，直接对对齐端点进行内部审计。
• 核心观察与假设：语言模型在生成拒答前，已在内部计算中表征了有害目标与操作手段。早期有害暴露可能在模型内部留下表征结构，即使后续经过相同的安全对齐，这些危险概念依然更易被调取。
• 提出的方法：作者提出内部表征探针 DANGERLENS，通过雅可比透镜将中间层残差状态映射到模型词表空间，并结合双盲语义裁判识别与统计具体的有害目标和操作手段。

• 安全对齐与训练路径依赖
  • 安全后训练方法：Ouyang et al. (2022)、Bai et al. (2022)、Rafailov et al. (2024) 与 Ji et al. (2025a) 等通过监督微调与偏好优化使模型学会拒绝有害请求。
  • 微调对安全性的影响：Qi et al. (2023) 与 Ji et al. (2025b) 报告下游微调会削弱对齐模型的安全性；Huang et al. (2026) 探讨了早期对齐对后续再对齐的动力学影响。
• 表征探针与词表空间映射
  • 线性探针与控制任务：Alain and Bengio (2018)、Hewitt and Liang (2019)、Voita and Titov (2020) 使用线性探针探测隐藏状态中的信息；Ravichander et al. (2021) 与 Elazar et al. (2021) 评估可恢复信息与模型计算任务的关系。
  • 词表映射工具：Logit lens (nostalgebraist, 2020)、Tuned lens (Belrose et al., 2025)、Patchscopes (Ghandeharioun et al., 2024) 与 Jacobian transport (Gurnee et al., 2026) 将中间状态映射至词表空间。
  • 安全偏好标注准则：BeaverTails (Ji et al., 2023)、PKU-SafeRLHF (Ji et al., 2025a) 和 InterMT (Chen et al., 2025) 建立了显式安全标注准则。
• 表征几何与因果干预
  • 表征几何结构：Burns et al. (2024)、Marks and Tegmark (2024)、Park et al. (2024) 等研究了残差空间中的线性表征。
  • 激活工程与回路分析：Zou et al. (2025)、Turner et al. (2024) 通过激活干预控制生成行为；Arditi et al. (2024) 探讨拒答行为的中介方向；Vig et al. (2020)、Meng et al. (2023) 及 Chan et al. (2022) 提供了因果中介与回路分析工具。
• 基线方法与评测基准：映射对比基线包括 Logit lens（恒等映射）与 Shared raw reference map；行为评估使用 HarmBench（320 个行为），训练与探测使用 DLAB-SPP（1,000 对）与 800-prompt 评测库。
• 本文定位：作者将本文工作定位于通过词表空间映射与语义角色分解，对行为匹配的端点执行直接的内部审计，并以配对有害重暴露轨迹作为行为验证。

作者提出 DANGERLENS 框架，通过配对训练历史隔离早期暴露影响，结合雅可比透镜词表映射与双盲语义角色判定，审计安全模型内部的危险概念可访问性。

配对训练历史设计

• 训练路径构建：设原始模型为 Mraw，安全微调为 TG，包含 q 个样本的有害微调为 T_B^(q)。
• 端点配对形式化：直接安全对齐端点定义为 M_G = T_G(M_raw)；先经历 n=1000 步有害微调再经历相同安全对齐的端点定义为 M_{B → G} = T_G(T_B⁽ⁿ⁾(M_raw))。
• 行为匹配要求：两端点在基准 B 上的有害合规率 RB(M) 均需接近于 0，确保行为表现匹配。

八维危害分类体系

• 分类来源：参考 HarmBench、Salad-Bench、Do-Not-Answer 及 ToxicChat 等安全基准，在检查模型输出前预先确立。
• 涵盖维度：物理伤害（D1）、自我伤害（D2）、剥削侵害（D3）、隐私侵犯（D4）、网络滥用（D5）、经济犯罪（D6）、欺骗与虚假影响（D7）、仇恨与歧视（D8）。

开放词表映射协议（J-LENS）

• 残差状态传输：在通用文本上拟合语料平均一阶雅可比矩阵 J_ℓ，将第 ℓ 层的残差状态传输至最终残差空间，再经 LayerNorm 和 Unembedding 映射至词表空间。
• 候选词提取：对全词表概率最高的前 20 个候选词（Top-20）进行无过滤提取，不使用预设有害词汇表。
• 四个响应位置采样：在生成的回答中采样 4 个位置 P，包括首个内容 token（PSTART）及回答长度的 25%（P25）、50%（P50）、75%（P75）处。

双盲语义裁判与角色分解

• 遮蔽设定：语义评审模型接收提示词、危害维度和单个候选词，模型身份、历史路径、层数、位置、概率及实验假设均被遮蔽。
• 两阶段打分：第一阶段评定相关性分数（1分表示通用/无害；2分表示相关但不具体；3分表示具体有害概念）；第二阶段对 2 分和 3 分候选词划分功能角色。
• 六类角色划分：有害目标或后果（HGA）、操作方法或促成手段（OEA）、危害识别（HRA）、安全控制（SCA）、良性替代（BAA）、无关或模糊（IUA）。
• 危险概念计数统计：提取评分为 3 且角色属于 HGA 或 OEA 的候选词，在 4 个位置求均值，计算单题单层危险概念平均计数。

实验设置

• 被测模型：Qwen1.5 家族的 0.5B、4B 和 7B 三个尺寸，每个尺寸均独立完成 3 次完整训练运行。
• 数据集与规模：微调采用 DLAB-SPP（1,000 对安全/有害响应，进行全参数 SFT，学习率 10^-5）；行为测试使用 HarmBench（320 个行为）；内部探针使用 800-prompt 评测库（8 个维度各 100 条）。
• 对比基线：表征传输对比包括 Identity transport（Logit lens）与 Shared raw reference map（共享原始模型透镜）。
• 指标定义：行为指标为 HarmBench ASR（%）与重暴露增量差值 HB(q)（百分点，pp）；内部指标为预设归一化深度区间 [0.45, 0.90] 内的危险概念计数差值 HS。
• 评审方式：行为分类采用 cais/HarmBench-Llama-2-13b-cls；内部语义评审采用 Qwen2.5-32B-Instruct（温度 0，输出上限 320 token）；另设 700 对样本的人工验证。
• 采样与重复：分析覆盖各非最终层及 4 个响应位置；以 3 次独立训练运行为重复抽样单元。

主结果

表格较宽，可左右滑动

注：据 Table 1 与 Table 3；ASR 为 3 次运行的均值 ± 样本标准差；计数差值为单次预设运行在 [0.45, 0.90] 深度下的 MB→G 减 MG。

• 行为匹配而内部可访问性不同：在 q=0 时两类历史端点的 HarmBench ASR 均接近于 0，但 DANGERLENS 测得的危险概念差值在三个尺寸上均大于 0。
• 早期易感性差异：在经过 200 例有害样本微调后，先前有有害暴露的模型 ASR 增加幅度均大于直接对齐模型，4B 模型上差值为 +12.083 个百分点。

危害维度分布与网络深度结构

• 维度差异分布：自我伤害（D2）、隐私侵犯（D4）和经济犯罪（D6）在所有三个尺寸上均呈现正向差值；经济犯罪在 0.5B 上的差值最大（+0.168），自我伤害在 7B 上的差值最大（+0.149，据 Table 4）。
• 中间与后层分离：浅层端点差值接近于 0；随着深度加深分离逐渐增大，4B 模型在中间层附近达到差值峰值 0.255，0.5B 和 7B 的峰值更偏向网络后层（Figure 6）。

案例研究与重暴露显式复现

• 内部读取概念：在针对未授权服务器访问和金融网络攻击的提示下，对齐端点（q=0）均输出合规拒答，但探针分别读出 credentials 和 phishing（Figure 7）。
• 重暴露后显式出现：在经过 200 例有害样本微调后，相同提示诱发了包含上述探针词汇的有害操作文本（Figure 7）。

测量消融与分析

• 雅可比传输贡献：Jacobian transport 在三个尺寸上的端点分离度均优于 Logit lens，差值分别高出 +0.117、+0.069 和 +0.066（Table 9）。
• 共享参考映射：使用未经微调的原始模型映射时，三个尺寸下的配对差值仍保持为正（0.5B 为 +0.136，4B 为 +0.302，7B 为 +0.242，Table 1）。
• 拟合文本稳定性：在 4B 模型上使用 3 个互不相交的文本切片重新拟合透镜，与基线的差值分别为 -0.004、+0.002 和 -0.002，区间均包含 0（Table 9）。
• 候选词预算：将候选词表由 Top-20 缩减至 Top-10，所有尺寸的差值依然为正（0.5B 为 +0.063，4B 为 +0.072，7B 为 +0.057，Table 1）。
• Top-20 词表覆盖率：0.5B、4B 和 7B 的中位数捕获概率质量分别为 0.816、0.928 和 0.968（Table 1）。
• 人工验证结果：100 对双标样本达成 94.0% 序数一致率；110 个明确危险词中有 107 个被确认为具体危险概念（97.3%，Figure 4）。

作者指出的局限与后续方向

• 模型家族与对齐方法：作者指出当前研究在 Qwen1.5 的三个尺寸上定义受控环境，后续可将审计扩展到其他模型家族以及不同的对齐方法（Section 8）。
• 自然训练历史：作者指出当前实验基于人工构建的配对暴露与对齐历史，未来可研究现实中自然发生的训练历史（Section 8）。
• 基准与解码配置：作者指出可引入更多的安全基准和解码配置，以拓宽相应的行为对比维度（Section 8）。
• 表征读取手段：作者指出可在配对设计下结合替代传输映射、更丰富的标注体系以及额外的表征读取方式（Section 8）。
• 跨领域与跨文化扩展：作者在伦理考量中指出，若将体系应用于新的语言、文化或部署领域，可扩展类别覆盖并调整标注指引（Section 9）。

实验覆盖范围

• 被测模型范围：实验实际测试了 Qwen1.5 家族的 3 个尺寸（0.5B、4B、7B），每个尺寸测试 3 个完整训练轮次（Section 6.1）。
• 数据与任务规模：训练配对阶段使用了 1,000 条 DLAB-SPP 样本进行单轮全参数监督微调；内部审计使用了包含 800 条提示词的评测库（Section 6.1）。
• 表征探测范围：探测覆盖 4 个指定响应位置（PSTART、P25、P50、P75），主度量集中在预设的归一化层深区间 [0.45, 0.90]（Section 5.2, Section 6.1）。
• 微调超参数设定：微调均采用固定的学习率 10^-5、无权重衰减、无预热及 bfloat16 精度（Appendix E.1）。
• 未报告信息：论文未报告其他语言下的表征表现，未测试基于强化学习或偏好优化的对齐端点内部可访问性。

• 研究定位：该论文针对大语言模型安全对齐后的内部机理展开分析，提出内部可访问性探针 DANGERLENS，用以检测具有相同安全拒答行为的模型内部是否存在潜在的危险表征。
• 要解决的问题：现存安全基准侧重于输出端合规率评估，难以探测模型拒答背后的脆弱性；模型在面临后续微调时可能表现出不同的安全性回退。
• 方法要点：通过构建配对训练历史，控制两组模型在安全对齐后达到相近的极低有害合规率；利用在通用文本上拟合的雅可比透镜将中间层状态映射到词表空间，结合双盲语义评审量化具体的有害目标与操作手段。
• 核心实验结果：
  1. 在 Qwen1.5 的 0.5B、4B 和 7B 尺寸上，有有害暴露历史的模型内部危险概念平均计数在预设深度区间均高于直接对齐模型，4B 平均差距为 0.106。
  2. 内部危险概念的可访问性差异主要集中在网络中间与后层，4B 模型在中间层附近达到差值峰值 0.255。
  3. 经过 200 例有害样本重暴露后，先前有有害暴露的模型 ASR 增加幅度均高于直接对齐模型（4B 差距达 +12.083 个百分点），且探针探测到的词汇在后续回答中显式复现。
• 作者结论：作者认为模型的训练历史在经过安全对齐后仍留在内部表征中；单纯基于输出的评测无法充分反映模型的鲁棒性，倡导在输出评估之外引入内部可访问性审计。