防御arXiv 2610.09600
SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化
用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路
- arXiv
- 2610.09600
- 发表
- 场景
- 模型与 API
- 测试
- Mistral-7B-v0.1、Mistral-7B-Instruct-v0.1、Llama-3-8B 等 4 个
摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态，据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。
全部论文
另有 701 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2608.08542
SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性
评测技能合并模型的自适应越狱鲁棒性，并提出子空间投影防御
- arXiv
- 2608.08542
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- Mistral-7B-Instruct-v0.3、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。
本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。
- 防御arXiv 2610.00685
研究者提出用零空间投影净化 LoRA 微调 LLM 的后门
用零空间投影净化 LoRA 微调模型后门并保留基座与下游能力
- arXiv
- 2610.00685
- 发表
- 场景
- 模型与 API
- 测试
- Mistral-7B-Instruct-0.1、LLaMA2-7B-Chat、LLaMA2-13B-Chat 等 6 个
- 防御arXiv 2610.01800
LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法
提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型
- arXiv
- 2610.01800
- 发表
- 场景
- 模型与 API
- 测试
- GLM-4-9B、Qwen2.5-VL-3B、Qwen2.5-VL-72B 等 15 个
摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。
LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
- 防御arXiv 2610.00850
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体
- arXiv
- 2610.00850
- 发表
- 场景
- 编程 Agent
- 测试
- GLM 4.7 Flash、GLM-5、Qwen3.5-4B 等 11 个
- 防御模型加固
- 风险Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
- 防御arXiv 2609.02293
SEAL：通过共享专家对齐强化 MoE 全局安全
提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改
- arXiv
- 2609.02293
- 发表
- 场景
- 模型与 API
- 测试
- GLM-4.7-Flash、Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B 等 4 个
摘要SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。
SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。
- 防御arXiv 2609.06934
论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击
用权重几何解释事后安全脆弱，并提出预训练持续安全共训练
- arXiv
- 2609.06934
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Mistral-7B-v0.3、Mistral-7B-Instruct-v0.3、Qwen-2.5-7B 等 15 个
摘要论文将后验安全脆弱性归因于正交抑制，并提出通过预训练持续共训练实现具备微调抗性的安全防护。
- 防御arXiv 2609.12459
EvoRS：面向开放式强化学习的奖励系统在线自演化框架
提出 EvoRS，使开放式强化学习的奖励系统随策略在线演化
- arXiv
- 2609.12459
- 发表
- 场景
- 模型与 API
- 测试
- GLM-5.2、Qwen3-4B、Qwen3-8B 等 7 个
摘要EvoRS 用 on-policy 证据演化完整奖励系统，在写作和角色扮演上同时提高质量并降低黑客与覆盖失败。
EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。
- 防御arXiv 2609.14896
MoDA：通过模式条件强化学习实现质量-多样性对齐
提出 MODA，用模式条件强化学习在质量门控下提升生成多样性
- arXiv
- 2609.14896
- 发表
- 场景
- 模型与 API
- 测试
- GLM-4-9B、Qwen3-8B、Llama-3.1-8B 等 4 个
- 防御模型加固
摘要MODA 以编号角色和质量门控 RL 扩大输出多样性，并在三项能力平均上高于基座。
MODA是一种在线后训练 RL：用抽象编号角色把共享 LLM 变成一组竞争智能体，只对过质量门的回答给多样性奖励。
- 防御arXiv 2609.19144
面向 LLM 偏好对齐的零阶范式：ComPO 方法
提出零阶偏好对齐方法 ComPO，从低边际偏好对估计更新方向
- arXiv
- 2609.19144
- 发表
- 场景
- 模型与 API
- 测试
- Mistral-7B-Base、Mistral-7B-Instruct、Llama-3-8B-Base 等 8 个
摘要ComPO 用比较预言机处理低边际对，并在多个模型上提高 LC 胜率。
ComPO 是一种基于比较预言机的零阶偏好对齐方法，用来从低边际偏好对取出方向信息，而不在这些对上直接优化可微偏好损失。
- 防御arXiv 2609.33221
RMB：用奖励模型 boosting 缓解 RLHF 中的奖励作弊
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
- arXiv
- 2609.33221
- 发表
- 场景
- 模型与 API
- 测试
- Mistral-7B-Instruct-v0.2、Gemma-2B-IT、DeepSeek-R1 等 7 个
摘要RMB 用 HSIC 多样奖励模型加决策树 boosting，提高偏好准确率并缓解 reward hacking。
RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。
- 防御arXiv 2606.20023
ToolPrivBench：LLM Agent 在低权限工具足够时仍倾向选择高权限工具
构建 TOOLPRIVBENCH 评测 Agent 的过度特权选择并提出特权感知后训练
- arXiv
- 2606.20023
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM-5、Ministral-8B-Instruct、Qwen3-8B 等 15 个
- 防御模型加固
- 风险Agent 危险操作
摘要TOOLPRIVBENCH 显示过度特权选工具普遍，常规对齐迁移有限，特权感知后训练可降低 OPUR。
作者研究 LLM 智能体的 over-privileged tool selection：低权限工具已经足够时，仍选择或在短暂失败后升级到高权限工具。
- 防御arXiv 2609.07529
CoER：用对抗协同演化与精炼防御自适应间接提示注入
提出 CoER，用对抗共进化与精炼训练智能体抵御自适应间接提示注入
- arXiv
- 2609.07529
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM-5.2-Thinking、Qwen3.5-9B、MAGIC (Qwen2.5-7B) 等 9 个
- 防御arXiv 2609.38645
用探针引导微调对齐模型且不损失可监控性
用持续更新的探针做微调，降低有害性并保持线性可监测性
- arXiv
- 2609.38645
- 发表
- 场景
- 模型与 API
- 测试
- Mistral 7B Instruct v0.1、Llama 3 8B Instruct Abliterated、Llama 3 8B Instruct 等 4 个
摘要持续重拟合的探针可降低有害性、提高诚实性，训练后概念仍能被线性探针读出。
Probe-guided fine-tuning 把探针分数当作唯一对齐信号，用来推动 harmlessness 与 honesty，并检查训练后这些概念是否仍线性可读。
- 防御arXiv 2609.21088
Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入
提出 Provenance-Aware Transformers，隔离不可信来源防御间接提示注入
- arXiv
- 2609.21088
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Mistral-7B-Instruct-v0.3、SmolLM2-360M-Instruct、LLaMA-3-8B-Instruct 等 4 个
- 防御arXiv 2609.32602
AnchorRep：用表征排斥防御 LLM 跨模型对抗迁移攻击
提出 AnchorRep，用表征排斥防御跨模型越狱迁移
- arXiv
- 2609.32602
- 发表
- 场景
- 模型与 API
- 测试
- Mistral-7B、Llama-3-8B、Vicuna-7B 等 5 个
- 防御arXiv 2609.34463
CoDeL：用协同演化防御抵御 LLM 智能体的间接提示注入
提出协同演化防御 CoDeL，抵御智能体工具观测中的间接提示注入
- arXiv
- 2609.34463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM-5.2、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct
已经到底了