跳到正文
10月8日 · 周四

阿里巴巴 · Qwen · 论文

找到 4 篇
筛选1

攻击类型

投毒与后门1模型篡改1

模型自身风险

奖励作弊1失准与价值偏离1拒答失当2

防御类型

模型加固4

影响

有害内容2输出被操纵1监督失效1

系统形态

模型与 API4AI Agent3编程 Agent2

攻击面/入口

训练数据2权重与梯度1

层

模型层2训练与数据层2

系统组件

微调与开源权重2视觉1多模态1
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。
系统形态：模型与 API话题：阿里巴巴 · Qwen清除全部
  1. 可解释性arXiv:2610.09384 ·

    人格层级模型解释微调 LLM 的上下文泛化，PPR 正则化将 RL 奖励作弊压至 0.2% 以下

    提出人格层级模型解释微调行为的上下文泛化，并用PPR抑制奖励作弊

    测试
    Qwen3-4B、Llama-3.1-8B-Instruct模型层
    场景
    模型与 API
    摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
    • 核心定位与问题：针对大语言模型微调中行为跨上下文泛化机制不明的问题，提出人格层级模型（Persona Hierarchy Model），探究决定行为局限在特定上下文还是扩散到未见上下文的关键因素。
    • 核心机制与方法：模型假设共享的默认人格处于底层并影响局部人格。通过提取潜空间角色向量并计算与默认人格的余弦距离，分析泛化狭窄度与表征定位；提出通过先验训练调节角色距离，并设计保持参考角色的正则化方法（PPR）。
    • 相关性与因果证据：在 120 个微调模型状态中，角色距离与泛化狭窄度呈正相关（Qwen3-4B 的 Pearson r 为 0.72，Llama-3.1-8B 为 0.59）；在默认前缀下预训练或对齐能拉近角色距离，使后续微调行为泛化更广，Goblin 狭窄度从 63.5% 降至 4.8%。
    • 安全对齐应用成效：在 LeetCode 强化学习中，PPR 抑制了模型在有缺陷评分器下的奖励作弊，在显式禁止作弊的 Anti-hack 前缀下将作弊率从 53.6% 降至 0.0%，同时在 Default 前缀下取得 45.1% 的最高准确率。
    • 作者结论与启示：作者认为所学行为的上下文泛化取决于其对共享默认人格的修改程度，默认行为保护可有效阻断恶意泛化，为大模型部署前预测与控制非预期行为提供了理论与实用手段。
    完整解读
  2. 防御arXiv:2610.05637 ·

    研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

    提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

    测试
    Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个训练与数据层
    场景
    模型与 API
    摘要论文揭示了VLM定位安全落后于VQA的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
    • 定位与核心问题：论文系统研究了多模态大模型在视觉定位（点和边界框坐标）这一可执行输出通道上的安全对齐问题，指出模型在面对相同有害意图时，拒绝自由文本提问却遵从空间定位请求的普遍对齐失效现象。
    • 方法与数据构建：作者将直接危害（VLSU）、社会偏见（BBQ-V）和情境安全（Asimov-2.0）三个基准重构成15,401对图文意图严格匹配的VQA与定位测试样本，并提出了融合定位拒答、通用定位能力以及自蒸馏良性数据的三成分微调训练方案，支持纯文本（SFT-plain）和占位符坐标（SFT-placeholder）两种拒答格式。
    • 基座模型安全差距：五款主流VLM在无系统提示下，定位模式的平均拒答率在VLSU、BBQ-V和Asimov-2.0上分别仅为19.4%、16.7%和12.7%，落后于VQA模式的62.9%、75.9%和43.8%（Table 6），且引入安全系统提示词无法有效消除该差距。
    • 安全微调成效：微调使Qwen3-VL-8B和VisionReasoner-7B在VLSU上的定位拒答率分别由9.7%和3.9%提升至96.5%和97.4%（SFT-plain，Table 3），在完全未见的情境安全域Asimov-2.0上分别提升至68.9%和85.4%，且通用定位成功率保持在基座水平（65.4%与64.1%）。
    • 对齐机制与启示：消融实验显示仅依赖VQA文本拒答数据无法迁移至定位安全，而定位拒答数据能提升双模式拒答；内部表征分析表明微调将有害定位请求的残差流表征大幅推向拒答方向。作者认为，随着定位输出被智能体与物理系统广泛采纳，安全对齐必须明确覆盖空间输出通道。
    完整解读
  3. 防御arXiv:2609.01091 ·

    上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移

    提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移

    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-IT 等 4 个训练与数据层
    场景
    模型与 API
    摘要论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。
    • 研究定位：该研究是一项针对模型蒸馏中隐蔽特征传递（潜意识学习）的机理解释与训练时防御工作。
    • 核心问题：系统提示词偏置的教师模型生成表面干净的数据（如数字序列），仍能导致下游学生模型继承隐藏偏好或恶意行为，而现有研究缺乏对其训练累积机制的连贯解释与针对性防御。
    • 机制与方法：论文提出特征方向漂移机制，论证了偏好差距通过低秩梯度累积驱动行为转移的原理；并提出探针空间走廊正则化，在微调期间通过固定探针库在线监控特征轴位移，在超出基线波动走廊时施加针对性惩罚。
    • 主要实验发现：
      1. 在Qwen同模型设置下，走廊正则化将恶意响应转移率从29.5 ± 2.4%降至6.4 ± 5.3%，主任务准确率变化为+0.00 pp（Table 2）。
      2. 在Qwen动物偏好设置下，猫头鹰偏好转移率从30.7 ± 15.7%降至1.7 ± 0.1%，鲸鱼偏好转移率从48.1 ± 29.7%降至0.3 ± 0.1%，主任务准确率损失在0.06至0.14个百分点以内（Table 2）。
      3. 在Llama同模型设置下，走廊正则化将猫头鹰偏好转移率从17.8 ± 22.5%降至0.6 ± 0.2%，主任务准确率下降4.34 pp（Table 2）。
      4. 相比传统KL正则化降低失准率需牺牲约12个百分点任务准确率，走廊正则化在保持近乎无损的主任务性能下实现了更优的前沿折损权衡（Table E.2）。
      5. 跨模型实验中所有组合的行为转移率均低于同模型基准，早期优化诊断揭示跨模型更新未能维持与特征方向的持续对齐（Table 3、Table F.3）。
    • 结论与启示：作者认为潜意识学习源于特征方向漂移的持续累积，在已知潜在风险特征的前提下，通过表征层面的探针走廊约束能够以极低的通用效用代价阻断隐蔽失准传递。
    完整解读
  4. 可解释性arXiv:2609.06934 ·

    论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击

    用权重几何解释事后安全脆弱，并提出预训练持续安全共训练

    测试
    Qwen-2.5-7B、Qwen-2.5-7B-Instruct、Llama-3-8B 等 15 个模型层
    场景
    模型与 API
    摘要论文将后验安全脆弱性归因于正交抑制，并提出通过预训练持续共训练实现具备微调抗性的安全防护。
    • 研究定位：该研究从损失曲面与特征空间几何视角探究大语言模型后验安全对齐脆弱性的根因，并在预训练阶段构建抗微调攻击的安全防护机制。
    • 核心问题与理论分析：针对 RLHF 和 DPO 易被少量良性微调破坏的现象，作者建立了经验 Fisher 特征子空间测量工具并提出核不动引理，指出成熟底模上的后验安全更新与能力空间近乎正交，仅在极少数高曲率方向上形成掩盖门控而非消除有害能力。
    • 表征底座发展规律：在 OLMo-2-1B 预训练序列上的追踪显示，拒绝机制所依赖的表征底座在 1B 至 63B token 之间快速成型；在此之前施加安全微调会产生未成熟底模模式，无法形成稳定门控。
    • 持续共训练主实验结果：基于几何发现，作者提出从头预训练持续共训练方案。实验显示，在 100 条 Alpaca 良性微调攻击下，后验微调的 Qwen-2.5-7B 和 Llama-3-8B 的 AdvBench 拒答率分别下降 34.8 和 38.3 个百分点；而 410M 至 6.9B 的持续共训练模型在攻击后拒答率仍保持在 84.0% 至 90.6%（Table 1、Table 3）。
    • 时序消融与代价特征：在 Pythia-1B 上的时序对比表明，仅在前 30% 阶段注入安全损失的窗口方案在训练结束后拒答率归零，指出只有持续至预训练结束方可保证鲁棒性；该方案在短答案推理和知识检索上带来约 0.12 至 0.22 nats 的负对数似然代价，但在指令遵循上无负面影响（Table 2、Table 20）。
    • 作者结论与启示：作者认为后验安全微调的脆弱性可在未遭受攻击前直接从权重几何特征进行检测诊断；若要获得真正抵御微调擦除的安全能力，需要将安全信号贯穿基础模型的预训练全过程。
    完整解读
已经到底了