评测与基准arXiv 2605.14605
研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升
用代价曲线评估恶意微调防御在持续训练下的衰减
- arXiv
- 2605.14605
- 发表
- 场景
- 模型与 API
- 测试
- Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个
摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。
开源模型安全 · 论文
另有 55 篇论文还没打上分类标签，暂不在筛选结果里。
- 分析与理论arXiv 2610.02586
研究发现类型化决策模型主要按选项标签而非定义作答
揭示类型化决策模型按选项标签而非定义规则作答
- arXiv
- 2610.02586
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- von、Qwen2.5-0.5B、Qwen2.5-1.5B 等 6 个
- 组件护栏与评审
摘要揭示类型化决策模型被标签误导的机理，证实源于提示词渲染并给出实操建议。
- 分析与理论arXiv 2610.06851
研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现
证明短开头词可唤醒基模型推理，且效应来自训练数据
- arXiv
- 2610.06851
- 发表
- 场景
- 模型与 API
- 测试
- Olmo-3-7B、Olmo-3-32B、Qwen3-4B 等 10 个
- 组件推理链
- 评测与基准arXiv 2610.02827
MLCommons 发布 Jailbreak Benchmark v1.0
构建 MLCommons 越狱基准以测量模型的单轮越狱韧性
- arXiv
- 2610.02827
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemma 3N E4B Instruct、LFM2-24B-A2B、Qwen 2.5 7B Instruct Turbo 等 8 个
- 攻击越狱
摘要论文建立了单轮越狱评测的标准化端到端方法学体系，揭示了开源大模型在对抗提示词下的安全性能降级与大模型负差距现象。
- 防御arXiv 2609.01091
上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移
提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移
- arXiv
- 2609.01091
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-IT 等 4 个
摘要论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。
- 评测与基准arXiv 2608.08542
SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性
提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性
- arXiv
- 2608.08542
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个
摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。
本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。
- 其他arXiv 2607.28568
Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型
提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体
- arXiv
- 2607.28568
- 发表
- 场景
- 编程 Agent
- 测试
- Frontis-MA1-35B、Qwen3.6-35B-A3B、Frontis-MA1-30B 等 15 个
- 风险危险能力
摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。
作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。
- 攻击arXiv 2609.35699
论文：蒸馏防御在蒸馏后强化学习下易被攻破
提出用 API 推理摘要重建轨迹再蒸馏加强化学习，攻破蒸馏防御
- arXiv
- 2609.35699
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等 12 个
摘要更现实的蒸馏攻击是蒸馏后再 RL。
这篇工作修订蒸馏攻击的威胁模型：攻击者经合法 API 收集闭源推理数据，先蒸馏自有模型，再做强化学习。作者认为只在蒸馏后评估防御，会漏掉后续 RL，从而高估防御。
- 防御arXiv 2609.34591
TULIP：按输入定位层级的定向大模型遗忘方法
提出 TULIP，按输入定位形成层并去除目标 token 对齐以实现定向遗忘
- arXiv
- 2609.34591
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B、Llama-3.2-3B、Llama-3.2-1B 等 7 个
摘要TULIP 在形成结束的层去掉遗忘目标对齐，多数设置下 FQ 更高，4-bit 下 FQ 下降。
TULIP 是一种逐输入选择层的表示级遗忘方法，目标是去掉遗忘答案的形成、留下读出。输出级方法可能只压低特定回答的似然。RMU、LUNAR 等则对全部遗忘样本共用一层。
- 分析与理论arXiv 2609.30802
研究：知识蒸馏中 chat 模板会削弱学生模型的安全对齐
分析良性知识蒸馏中提示模板对学生拒答保留的影响
- arXiv
- 2609.30802
- 发表
- 场景
- 模型与 API
- 测试
- LLaMA-3.1-8B-Instruct、LLaMA-3.2-3B-Instruct、Gemma-2-9B-IT 等 7 个
- 风险拒答失当
- 攻击arXiv 2610.01367
研究：高质量数据筛选挡不住投毒
提出 Bi-QSTO，优化能穿过质量筛选并在微调中削弱安全对齐的投毒样本
- arXiv
- 2610.01367
- 发表
- 场景
- 模型与 API
- 测试
- Llama2-7B-Chat、Llama3-8B-Instruct、Qwen2-7B-Instruct 等 5 个
摘要质量筛选挡不住部分高分样本的安全削弱。
Bi-QSTO 研究一个实际训练缺口：基于质量的数据选择会先于微调决定样本去留，而以往微调投毒多假设毒样本直接进入训练集。已对齐 LLM 的拒答会被少量有害或看似无害的微调样本削弱。作者用三个问题串起实验：选择能否排除毒样本。
- 防御arXiv 2610.00685
研究者提出用零空间投影净化 LoRA 微调 LLM 的后门
用零空间投影净化 LoRA 微调模型后门并保留基座与下游能力
- arXiv
- 2610.00685
- 发表
- 场景
- 模型与 API
- 测试
- LLaMA2-7B-Chat、LLaMA2-13B-Chat、Qwen2-7B-Instruct 等 6 个
- 防御arXiv 2610.00850
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体
- arXiv
- 2610.00850
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个
- 防御模型加固
- 风险Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
- 防御arXiv 2609.40286
研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘
提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘
- arXiv
- 2609.40286
- 发表
- 场景
- 模型与 API
- 测试
- Tiny Aya Global、Qwen3-4B-Instruct-2507、Llama-3.2-3B-Instruct
摘要COVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。
语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。
- 攻击arXiv 2510.11570
研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏
提出四种阶段转换攻击，绕过推理模型的安全推理护栏
- arXiv
- 2510.11570
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- gpt-oss-20b、gpt-oss-120b、Qwen3-4B-Thinking-2507 等 10 个
- 分析与理论arXiv 2609.40295
一个 AI token 值多少？研究者为野生 AI 生成网页文本提出新缩放定律
提出预训练缩放律，估计野生 AI 网页文本相当于多少人类 token
- arXiv
- 2609.40295
- 发表
- 场景
- 模型与 API
- 测试
- nanochat 19.9M、35.8M、86.2M 等 7 个
摘要wild AI 文本对数据不足的模型先降损失，对高人类预算几乎立刻升损失。
作者测量未标注的 wild AI 网页文本对预训练的影响，并提出一个能让 AI token 价值变号的缩放律。
- 防御arXiv 2609.39279
FDCU：用双重约束子空间投影抵御机器遗忘后的重训练攻击
提出 FDCU 双约束子空间投影遗忘，抵御再训练恢复有害知识
- arXiv
- 2609.39279
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-3B、Llama-3-8B-Instruct、Qwen-3-8B
摘要FDCU 用双掩码限制浅层抑制，在知识擦除与安全输出上提高再训练后的稳定性。
FDCU 是一种约束参数更新的遗忘方法，用来降低再训练把已抑制恶意行为重新引出的可能。
- 分析与理论arXiv 2609.05241
10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发
测绘去安全开源模型的生产与重分发留存链路
- arXiv
- 2609.05241
- 发表
- 场景
- 模型与 API
- 测试
- Qwen、Llama、Gemma 等 10 个
摘要论文测绘了去安全开源大模型供应链，作者指出高集中度的重分发层赋能模型持久留存与部署扩散。
- 其他arXiv 2407.21783
Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型
阐述旗舰基础模型的预训练与后训练方法并公开权重与安全模型
- arXiv
- 2407.21783
- 发表
- 场景
- 模型与 API
- 测试
- Llama 3.1 8B、Llama 3.1 8B Instruct、Llama 3.1 70B 等 7 个
- 其他arXiv 2402.00838
OLMo：加速语言模型科学研究
发布开放语言模型 OLMo、Dolma 数据与训练评测代码
- arXiv
- 2402.00838
- 发表
- 场景
- 模型与 API
- 测试
- OLMo-1B、OLMo-7B、StableLM 1.6B 等 15 个
摘要OLMo 开放 1B/7B 模型、Dolma 与训练评测工件。
Allen Institute 发布 OLMo：一套从数据、训练到评测都公开的语言模型框架，用来支持对语言模型能力、弱点、偏见与风险的研究。