跳到正文
10月9日 · 周五

开源模型安全 · 论文

找到 39 篇
筛选4

攻击类型

越狱4提示注入1投毒与后门5模型篡改5提取与窃取3

攻击技术

梯度与表征优化1自动化搜索1针对防御1

模型自身风险

失准与价值偏离2Agent 危险操作2危险能力1拒答失当6幻觉与编造1偏见与歧视3

防御类型

模型加固9推理时干预3检测与过滤1权限与审批1监控与审计3

影响

有害内容12越权操作2数据与隐私泄露4输出被操纵6监督失效1滥用能力提升1

系统形态

模型与 API36AI Agent7编程 Agent3多智能体1

攻击者权限

白盒5无盒1

攻击面/入口

用户输入8工具与技能描述1训练数据6权重与梯度7分发渠道2

层

提示层4模型层17应用层1训练与数据层16基础设施层1

系统组件

MCP 与技能1护栏与评审1监控器2推理链2微调与开源权重11视觉1多模态1

被测模型厂商

Qwen（阿里）38Meta31Google23OpenAI12Mistral12DeepSeek9Ai28智谱 GLM7Microsoft6Kimi（月之暗面）5其他26
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 62 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent被测模型厂商：Google被测模型厂商：Meta话题：开源模型安全清除全部

另有 62 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 防御arXiv 2609.01091

    上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移

    提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移

    arXiv
    2609.01091
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Gemma-3-12B-IT、Qwen2.5-7B-Instruct 等 4 个

    摘要论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。

    深度解读完整解读
  5. 可解释性arXiv 2609.14759

    研究：拒答只读取模型道德表征中的伤害切片

    用几何投影与因果交换干预，分析拒绝机制读取的道德表征

    arXiv
    2609.14759
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct、OLMo-3-7B base 等 9 个
    摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。

    本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。

    深度解读完整解读
  6. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Gemma-2-9B、Qwen2.5-7B-Instruct 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  7. 评测与基准arXiv 2608.11816

    研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍

    审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为

    arXiv
    2608.11816
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.2-11B-Vision、Qwen2-VL-7B、Qwen2.5-VL-7B 等 9 个
    摘要论文系统审计了 VLM 多模态审查，发现审查正从显式拒答转向隐蔽重构，且中文提示与文本先验会放大重构倾向。

    论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为，主要内容如下。

    深度解读完整解读
  8. 其他arXiv 2607.28568

    Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型

    提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体

    arXiv
    2607.28568
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Gemini 3.5 Flash、Frontis-MA1-35B、Qwen3.6-35B-A3B 等 15 个
    摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。

    作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。

    深度解读完整解读
  9. 防御arXiv 2608.30703

    SingProbe 发布开源内在护栏框架，适配 29 个开源模型

    提出内生护栏 SingProbe，复用解码隐状态监测查询意图、回复安全与幻觉

    arXiv
    2608.30703
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 3 Pro、Llama Guard 3、ShieldGemma-9B 等 14 个
    摘要SingProbe 用轻量内生探针做生成时三类监测，并给出流式基准与低开销服务接入。

    SingProbe 是面向生成时监测的开源内生护栏：复用基座解码隐状态，而不是另起模型反复编码文本。

    深度解读完整解读
  10. 防御arXiv 2608.21101

    ClawSentry：面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 渐进式多层监控网关，拦截恶意技能包与上下文注入

    arXiv
    2608.21101
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    gemini-3.5-flash、Codex/GPT-5.4、Codex/GPT-5.5 等 7 个
    摘要ClawSentry 用包准入、三级运行时门控和反绕过，压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关，用来同时盖住 skill 执行的多个生命周期边界，并把已被拒绝的效果记到会话里。

    深度解读完整解读
  12. 可解释性arXiv 2609.10060

    研究者提出基于参考的隐藏状态相对表示偏见检测方法

    用相对表示比较微调前后隐状态，检验表征偏见偏移与输出偏见是否共变

    arXiv
    2609.10060
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama 3.1-8B-Instruct、Gemma 3-4B-IT、Mistral-7B-Instruct-v0.3
    摘要相对表示上的∆B 在多数微调设置中与三个基准的输出层偏见变化共变。

    Reference-Based Bias Detection用锚句相对表示比较微调前后的隐状态，定义表征偏见偏移∆B，用来审计相关模型变体，而不为每种危害另建输出基准。

    深度解读完整解读
  13. 攻击arXiv 2610.01367

    研究：高质量数据筛选挡不住投毒

    提出 Bi-QSTO，优化能穿过质量筛选并在微调中削弱安全对齐的投毒样本

    arXiv
    2610.01367
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama2-7B-Chat、Llama3-8B-Instruct、Llama2-13B-Chat 等 5 个
    摘要质量筛选挡不住部分高分样本的安全削弱。

    Bi-QSTO 研究一个实际训练缺口：基于质量的数据选择会先于微调决定样本去留，而以往微调投毒多假设毒样本直接进入训练集。已对齐 LLM 的拒答会被少量有害或看似无害的微调样本削弱。作者用三个问题串起实验：选择能否排除毒样本。

    深度解读完整解读
  14. 可解释性arXiv 2610.01821

    研究者提出非线性概念流形发现与对齐方法，用于分析大语言模型内部表示

    提出残差流上的非线性概念发现与对齐方法，比较模型内部概念结构

    arXiv
    2610.01821
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-3.1-8B、GPT-2 等 9 个
    摘要NLMCD-NLP 用 CBA 比较非线性概念，层块、语言共享和微调漂移都随模型与阶段而变。

    NLMCD-NLP 把概念建成低维非线性流形，用 CBA 比较 LLM 在层、规模、语言和训练阶段上的表示，而不把相似度压成一个全局线性统计量。

    深度解读完整解读
  17. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Muse Spark 1.3、Gemini 3.1 Pro、Qwen3.5-4B 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  18. 防御arXiv 2609.40286

    研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘

    提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘

    arXiv
    2609.40286
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama-3.2-3B-Instruct、Tiny Aya Global、Qwen3-4B-Instruct-2507
    摘要COVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。

    语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。

    深度解读完整解读
  19. 分析与理论arXiv 2609.05241

    10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发

    测绘去安全开源模型的生产与重分发留存链路

    arXiv
    2609.05241
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama、Gemma、Qwen 等 10 个

    摘要论文测绘了去安全开源大模型供应链，作者指出高集中度的重分发层赋能模型持久留存与部署扩散。

    深度解读完整解读
加载更多