跳到正文
10月9日 · 周五

开源模型安全 · 论文

找到 28 篇
筛选4

攻击类型

越狱8提示注入1投毒与后门8模型篡改8提取与窃取4拒绝服务1

攻击技术

梯度与表征优化4自动化搜索1推理链操控1跨模态载荷1针对防御2潜伏触发2

模型自身风险

失准与价值偏离1拒答失当1

防御类型

模型加固11推理时干预1指令与数据隔离1权限与审批2监控与审计2

影响

有害内容12越权操作2数据与隐私泄露5输出被操纵5可用性与可靠性1监督失效1滥用能力提升1

系统形态

模型与 API25LLM 应用1AI Agent2编程 Agent1

攻击者权限

黑盒3灰盒1白盒9无盒1

攻击面/入口

用户输入13网页与界面1文档与消息1工具返回2工具与技能描述1Agent 间消息1图像与音视频2训练数据9权重与梯度11分发渠道4推理服务与硬件2

层

提示层4模型层8应用层1训练与数据层13基础设施层2

系统组件

MCP 与技能1护栏与评审1监控器2推理链2微调与开源权重13视觉2音频1图像生成2多模态5

被测模型厂商

Qwen（阿里）20Meta12Google10Mistral6DeepSeek5OpenAI5其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 62 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：训练数据攻击面/入口：权重与梯度攻击面/入口：推理服务与硬件话题：开源模型安全清除全部

另有 62 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2610.05894

    研究者提出闭环偏见注入攻击

    提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见

    arXiv
    2610.05894
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct

    摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。

    深度解读完整解读
  4. 防御arXiv 2609.01091

    上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移

    提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移

    arXiv
    2609.01091
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-IT 等 4 个

    摘要论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。

    深度解读完整解读
  5. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  6. 防御arXiv 2608.21101

    ClawSentry：面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 渐进式多层监控网关，拦截恶意技能包与上下文注入

    arXiv
    2608.21101
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Codex/GPT-5.4、Codex/GPT-5.5、Claude Code/GLM-5.1 等 7 个
    摘要ClawSentry 用包准入、三级运行时门控和反绕过，压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关，用来同时盖住 skill 执行的多个生命周期边界，并把已被拒绝的效果记到会话里。

    深度解读完整解读
  7. 攻击arXiv 2610.01367

    研究：高质量数据筛选挡不住投毒

    提出 Bi-QSTO，优化能穿过质量筛选并在微调中削弱安全对齐的投毒样本

    arXiv
    2610.01367
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama2-7B-Chat、Llama3-8B-Instruct、Qwen2-7B-Instruct 等 5 个
    摘要质量筛选挡不住部分高分样本的安全削弱。

    Bi-QSTO 研究一个实际训练缺口：基于质量的数据选择会先于微调决定样本去留，而以往微调投毒多假设毒样本直接进入训练集。已对齐 LLM 的拒答会被少量有害或看似无害的微调样本削弱。作者用三个问题串起实验：选择能否排除毒样本。

    深度解读完整解读
  10. 防御arXiv 2609.40286

    研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘

    提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘

    arXiv
    2609.40286
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Tiny Aya Global、Qwen3-4B-Instruct-2507、Llama-3.2-3B-Instruct
    摘要COVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。

    语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。

    深度解读完整解读
  12. 分析与理论arXiv 2609.05241

    10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发

    测绘去安全开源模型的生产与重分发留存链路

    arXiv
    2609.05241
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen、Llama、Gemma 等 10 个

    摘要论文测绘了去安全开源大模型供应链，作者指出高集中度的重分发层赋能模型持久留存与部署扩散。

    深度解读完整解读
  14. 防御arXiv 2609.02293

    SEAL：通过共享专家对齐强化 MoE 全局安全

    提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改

    arXiv
    2609.02293
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash 等 4 个
    摘要SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。

    SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。

    深度解读完整解读
  15. 攻击arXiv 2609.10117

    研究揭示基于混淆的端侧 LLM 保护方案的安全边界

    提出 Collapse，从端侧混淆暴露视图抽取高效用替代模型

    arXiv
    2609.10117
    发表
    层
    模型层
    场景
    模型与 API
    测试
    BERT-Base、ViT-Base、Qwen2.5-0.5B 等 4 个
    摘要Oprior 是四原语复合的安全边界，Collapse 利用列方向泄漏抽取替代模型，Oext 只被同一攻击评测。

    这篇工作用代数原语统一若干 TEE 卸载混淆，给出该族的典范边界，再说明该边界挡不住一种分阶段模型抽取。。

    深度解读完整解读
  16. 防御arXiv 2609.12378

    Odin：面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现

    提出端到端全同态加密方案 ODIN，在云端密文上完成推理以保护提示词

    arXiv
    2609.12378
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Meta-Llama-3-8B、Llama-3-8B（THOR-style baseline）
    摘要ODIN 用可复用的特征主序打包和联合误差预算，在单张 H100 上完成 Llama-3-8B 的 CKKS 推理。

    ODIN 是面向 Llama 的服务器侧 CKKS 推理系统：客户加密提示词，诚实但好奇的服务器用明文权重在密文上算完 Llama-3，只返回结果密文。

    深度解读完整解读
  17. 防御arXiv 2608.05045

    Gradient Immunity 提出 USG：在开放权重发布时阻断恶意微调梯度

    提出 USG，在部分保护开源权重发布时阻断有害微调梯度

    arXiv
    2608.05045
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    Qwen3-14B（表中作 Qwen-14B）、Llama-3.1-8B（表中作 Llama-8B）
    摘要USG 在 PPOW 下用零空间立方层阻断有害微调梯度。

    Unidirectional Safety Gate 是面向 PPOW 发布设定的发布时防护：大部分权重仍可训练，一小部分安全关键组件由提供者侧加固保留，下游不必配合额外安全流程。。

    深度解读完整解读
加载更多