跳到正文
10月9日 · 周五

开源模型安全 · 论文

找到 15 篇
筛选3

攻击类型

越狱8提示注入3投毒与后门1模型篡改2提取与窃取3

攻击技术

梯度与表征优化2推理链操控1跨模态载荷1

模型自身风险

拒答失当1

防御类型

模型加固6推理时干预1指令与数据隔离1权限与审批1监控与审计2

影响

有害内容8越权操作2数据与隐私泄露4输出被操纵1

系统形态

模型与 API12AI Agent3编程 Agent1

攻击者权限

黑盒3白盒5无盒1

攻击面/入口

用户输入13网页与界面1文档与消息1工具返回2工具与技能描述1Agent 间消息1图像与音视频3训练数据10权重与梯度11分发渠道4推理服务与硬件2

层

提示层4模型层4应用层3训练与数据层3基础设施层1

系统组件

MCP 与技能1护栏与评审1监控器2推理链2微调与开源权重2视觉1图像生成1多模态2

被测模型厂商

Qwen（阿里）10Meta7Google5其他14
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 60 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：文档与消息攻击面/入口：工具返回话题：开源模型安全清除全部

另有 60 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  4. 防御arXiv 2608.21101

    ClawSentry：面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 渐进式多层监控网关，拦截恶意技能包与上下文注入

    arXiv
    2608.21101
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Codex/GPT-5.4、Codex/GPT-5.5、Claude Code/GLM-5.1 等 7 个
    摘要ClawSentry 用包准入、三级运行时门控和反绕过，压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关，用来同时盖住 skill 执行的多个生命周期边界，并把已被拒绝的效果记到会话里。

    深度解读完整解读
  5. 防御arXiv 2609.40286

    研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘

    提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘

    arXiv
    2609.40286
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Tiny Aya Global、Qwen3-4B-Instruct-2507、Llama-3.2-3B-Instruct
    摘要COVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。

    语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。

    深度解读完整解读
  8. 防御arXiv 2609.02293

    SEAL：通过共享专家对齐强化 MoE 全局安全

    提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改

    arXiv
    2609.02293
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash 等 4 个
    摘要SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。

    SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。

    深度解读完整解读
  9. 防御arXiv 2609.12378

    Odin：面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现

    提出端到端全同态加密方案 ODIN，在云端密文上完成推理以保护提示词

    arXiv
    2609.12378
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Meta-Llama-3-8B、Llama-3-8B（THOR-style baseline）
    摘要ODIN 用可复用的特征主序打包和联合误差预算，在单张 H100 上完成 Llama-3-8B 的 CKKS 推理。

    ODIN 是面向 Llama 的服务器侧 CKKS 推理系统：客户加密提示词，诚实但好奇的服务器用明文权重在密文上算完 Llama-3，只返回结果密文。

    深度解读完整解读
  15. 防御arXiv 2609.35932

    同字节不同权限：保留 token 表示如何放大聊天模板提示注入

    证明保留词元表示放大模板注入并验证分词缓解

    arXiv
    2609.35932
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3-8B、Qwen3-32B、Llama-3.1-8B-Instruct 等 6 个

    摘要对话模板注入的权威性主要来自保留词元的学得向量而非文本语法，推理具有补偿作用，现有分词防御遗留工具协议漏洞。

    深度解读完整解读
已经到底了