跳到正文
10月9日 · 周五

开源模型安全 · 论文

找到 28 篇
筛选4

攻击类型

越狱6投毒与后门5模型篡改6提取与窃取1

攻击技术

梯度与表征优化3自动化搜索1推理链操控1跨模态载荷1针对防御2潜伏触发1

模型自身风险

失准与价值偏离2拒答失当2

防御类型

模型加固10检测与过滤1

影响

有害内容15数据与隐私泄露2输出被操纵4可用性与可靠性1滥用能力提升1

系统形态

模型与 API28AI Agent7编程 Agent3

攻击者权限

黑盒2白盒7无盒1

攻击面/入口

用户输入7图像与音视频2训练数据9权重与梯度7分发渠道2

层

提示层6模型层25应用层0训练与数据层22基础设施层1

系统组件

护栏与评审2推理链2微调与开源权重14视觉2音频1图像生成1多模态4

被测模型厂商

Qwen（阿里）19Meta18Google7Mistral6Microsoft5其他18
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 59 篇还没打标签，不在筛选结果里。
系统形态：模型与 API层：提示层层：应用层层：训练与数据层话题：开源模型安全清除全部

另有 59 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 防御arXiv 2609.01091

    上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移

    提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移

    arXiv
    2609.01091
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-IT 等 4 个

    摘要论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。

    深度解读完整解读
  5. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  7. 攻击arXiv 2610.01367

    研究：高质量数据筛选挡不住投毒

    提出 Bi-QSTO，优化能穿过质量筛选并在微调中削弱安全对齐的投毒样本

    arXiv
    2610.01367
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama2-7B-Chat、Llama3-8B-Instruct、Qwen2-7B-Instruct 等 5 个
    摘要质量筛选挡不住部分高分样本的安全削弱。

    Bi-QSTO 研究一个实际训练缺口：基于质量的数据选择会先于微调决定样本去留，而以往微调投毒多假设毒样本直接进入训练集。已对齐 LLM 的拒答会被少量有害或看似无害的微调样本削弱。作者用三个问题串起实验：选择能否排除毒样本。

    深度解读完整解读
  9. 防御arXiv 2609.40286

    研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘

    提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘

    arXiv
    2609.40286
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Tiny Aya Global、Qwen3-4B-Instruct-2507、Llama-3.2-3B-Instruct
    摘要COVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。

    语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。

    深度解读完整解读
  11. 分析与理论arXiv 2609.40295

    一个 AI token 值多少？研究者为野生 AI 生成网页文本提出新缩放定律

    提出预训练缩放律，估计野生 AI 网页文本相当于多少人类 token

    arXiv
    2609.40295
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    nanochat 19.9M、35.8M、86.2M 等 7 个
    摘要wild AI 文本对数据不足的模型先降损失，对高人类预算几乎立刻升损失。

    作者测量未标注的 wild AI 网页文本对预训练的影响，并提出一个能让 AI token 价值变号的缩放律。

    深度解读完整解读
  12. 防御arXiv 2609.39279

    FDCU：用双重约束子空间投影抵御机器遗忘后的重训练攻击

    提出 FDCU 双约束子空间投影遗忘，抵御再训练恢复有害知识

    arXiv
    2609.39279
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-3B、Llama-3-8B-Instruct、Qwen-3-8B
    摘要FDCU 用双掩码限制浅层抑制，在知识擦除与安全输出上提高再训练后的稳定性。

    FDCU 是一种约束参数更新的遗忘方法，用来降低再训练把已抑制恶意行为重新引出的可能。

    深度解读完整解读
  13. 分析与理论arXiv 2609.05241

    10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发

    测绘去安全开源模型的生产与重分发留存链路

    arXiv
    2609.05241
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen、Llama、Gemma 等 10 个

    摘要论文测绘了去安全开源大模型供应链，作者指出高集中度的重分发层赋能模型持久留存与部署扩散。

    深度解读完整解读
  15. 其他arXiv 2402.00838

    OLMo：加速语言模型科学研究

    发布开放语言模型 OLMo、Dolma 数据与训练评测代码

    arXiv
    2402.00838
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    OLMo-1B、OLMo-7B、StableLM 1.6B 等 15 个
    摘要OLMo 开放 1B/7B 模型、Dolma 与训练评测工件。

    Allen Institute 发布 OLMo：一套从数据、训练到评测都公开的语言模型框架，用来支持对语言模型能力、弱点、偏见与风险的研究。

    深度解读完整解读
  17. 防御arXiv 2609.02293

    SEAL：通过共享专家对齐强化 MoE 全局安全

    提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改

    arXiv
    2609.02293
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash 等 4 个
    摘要SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。

    SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。

    深度解读完整解读
  19. 其他arXiv 2609.17380

    Open-1B：一次完全可审计的训练运行

    提出 RepOps，使分布式预训练可跨硬件按位复现并被审计

    arXiv
    2609.17380
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Open-1B、OLMo 2 1B
    摘要Open-1B 用跨硬件按位算子和集体审计，把 400B token 预训练变成可分步核验的轨迹。

    Open-1B 是 Gensyn 发布的 1.61B 参数 decoder-only 模型，目标是把预训练从“公开配方”推进到每一步可在异构硬件上按位核对。浮点加法非结合、融合乘加、次正规数和平台相关随机数，使同一配方在不同机器上得不到同一权重。概率性的 proof-of-learning / proof-of-training-data 被作者认为不足以排除少量数据注入的后门。

    深度解读完整解读
加载更多