防御arXiv 2610.05637
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
- arXiv
- 2610.05637
- 发表
- 场景
- 模型与 API
- 测试
- Molmo2-8B、Claude Sonnet 4.6、Gemini 3.5 Flash 等 5 个
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
全部论文
另有 701 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 测试
- OLMo-2-1B、OLMo-2-7B、Qwen2.5-1.5B 等 11 个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 防御arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
构建明确度梯级并做守卫微调，以拦住模型会回答的有害请求
- arXiv
- 2609.05797
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- WildGuard、gpt-oss-safeguard-120B、Gemma-4-31B-IT 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 防御arXiv 2609.08943
研究提出 Fact-Ablated Evaluation，揭示 LLM 事实核查更依赖参数知识
提出 FAE 衡量事实核查对证据的依赖，并用 REAL 训练这种依赖
- arXiv
- 2609.08943
- 发表
- 场景
- 模型与 API
- 测试
- GPT-4o-mini、Gemini-2.5-flash-lite、Qwen-2.5-32B-Instruct 等 7 个
- 防御模型加固
摘要FAE 用多轮证据消融测接地，REAL 用对比监督让判决随证据可用性改变。
FAE 与 REAL 分别用来测量并训练 LLM 事实核查器对所给证据的依赖，而不只看一次性的标签准确率。
- 防御arXiv 2609.37858
存储不等于策略：面向 LLM 遗忘的状态条件支持控制
提出 Intervention Score 与 DIR-R，按干预效果选择并修订遗忘参数支持
- arXiv
- 2609.37858
- 发表
- 场景
- 模型与 API
- 测试
- OLMo 3 7B、Llama 3 8B、Gemma 2 2B 等 4 个
摘要作者把局部化遗忘拆成初始干预选择和检查点修订，并在三个设置里分别给证据和边界。
Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定：一开始该更新哪些参数，以及优化改变模型之后这个选择要不要改。
- 防御arXiv 2610.00850
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体
- arXiv
- 2610.00850
- 发表
- 场景
- 编程 Agent
- 测试
- GPT 5.6 Sol、Qwen3.5-4B、Muse Spark 1.3 等 11 个
- 防御模型加固
- 风险Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
- 防御arXiv 2609.06934
论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击
用权重几何解释事后安全脆弱，并提出预训练持续安全共训练
- arXiv
- 2609.06934
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo-2-0425-1B、OLMo-2-1B-Instruct、Qwen-2.5-7B 等 15 个
摘要论文将后验安全脆弱性归因于正交抑制，并提出通过预训练持续共训练实现具备微调抗性的安全防护。
- 防御arXiv 2609.12459
EvoRS：面向开放式强化学习的奖励系统在线自演化框架
提出 EvoRS，使开放式强化学习的奖励系统随策略在线演化
- arXiv
- 2609.12459
- 发表
- 场景
- 模型与 API
- 测试
- GPT-5.6-Terra、Qwen3-4B、Qwen3-8B 等 7 个
摘要EvoRS 用 on-policy 证据演化完整奖励系统，在写作和角色扮演上同时提高质量并降低黑客与覆盖失败。
EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。
- 防御arXiv 2609.33221
RMB：用奖励模型 boosting 缓解 RLHF 中的奖励作弊
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
- arXiv
- 2609.33221
- 发表
- 场景
- 模型与 API
- 测试
- GPT-4o-2024-08-06、GPT-4-0125-preview、Gemma-2B-IT 等 7 个
摘要RMB 用 HSIC 多样奖励模型加决策树 boosting，提高偏好准确率并缓解 reward hacking。
RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。
- 防御arXiv 2606.20023
ToolPrivBench：LLM Agent 在低权限工具足够时仍倾向选择高权限工具
构建 TOOLPRIVBENCH 评测 Agent 的过度特权选择并提出特权感知后训练
- arXiv
- 2606.20023
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.2、Qwen3-8B、LLaMA-3.1-8B 等 15 个
- 防御模型加固
- 风险Agent 危险操作
摘要TOOLPRIVBENCH 显示过度特权选工具普遍，常规对齐迁移有限，特权感知后训练可降低 OPUR。
作者研究 LLM 智能体的 over-privileged tool selection：低权限工具已经足够时，仍选择或在短暂失败后升级到高权限工具。
- 防御arXiv 2608.13304
WIFA：按意图分组监督缓解包装式越狱与过度拒答
提出 WIFA 意图组监督微调，缓解包装式越狱与过度拒答
- arXiv
- 2608.13304
- 发表
- 场景
- 模型与 API
- 测试
- GPT-4o、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 4 个
摘要WIFA 用匹配意图组做数据层，WIFA-Boost 偏高安全，A-GCRT 在 Qwen 上把过拒降到基座以下。
WIFA 是一种自动意图组数据构造，用来让安全微调拒绝有害意图而不是拒绝表面包装。WIFA-Boost 与 A-GCRT 在同一数据层上选取不同的安全–过拒工作点。
- 防御arXiv 2609.07529
CoER：用对抗协同演化与精炼防御自适应间接提示注入
提出 CoER，用对抗共进化与精炼训练智能体抵御自适应间接提示注入
- arXiv
- 2609.07529
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.4、Qwen3.5-9B、MAGIC (Qwen2.5-7B) 等 9 个
- 防御arXiv 2609.34970
研究揭示 LLM 涌现失准的机制并提出参数空间缓解框架
提出几何缓解框架，把有害梯度子空间从 LoRA 更新中正交投影出去
- arXiv
- 2609.34970
- 发表
- 场景
- 模型与 API
- 测试
- GPT-OSS-20B、Qwen2.5-3B-IT、Qwen2.5-7B-IT 等 8 个
摘要窄域 LoRA 会留下可测的有害子空间。
See it, Say it, Sorted 在参数轨迹上诊断涌现失准，并把经验有害梯度子空间从 LoRA 更新中正交去掉。
- 防御arXiv 2609.24243
TAME：用 SAE 抑制激活缓解 VLM 思维链混淆
提出 TAME，在强化学习中抑制模板激活以缓解思维链混淆
- arXiv
- 2609.24243
- 发表
- 场景
- 模型与 API
- 测试
- GPT-4o、Qwen3-VL-8B、Gemma-3-12B-it 等 7 个
- 防御arXiv 2609.36900
STAR-GRPO：用可靠性优先优势估计抑制奖励作弊
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
- arXiv
- 2609.36900
- 发表
- 场景
- 模型与 API
- 测试
- GPT-4o-mini、Llama-3.2-1B-Instruct、Skywork-Reward-V2-Qwen3-8B 等 6 个
摘要STAR-GRPO 用成对可靠性约束 GRPO 优势，在两种奖励黑客设定中限制无支撑分数。
STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
- 防御arXiv 2609.33640
SafeMol：分子多模态模型的双模态安全对齐
提出 SafeMol，联合对齐分子多模态模型的文本与图输入
- arXiv
- 2609.33640
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- GPT-4o、Llama-3.2-1B-Instruct、Omni-Mol v2 等 5 个
摘要SafeMol 用 MMD 和双分类头对齐分子多模态模型，在 Omni-Mol v2 上压低图条件攻击成功。
SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐，并同时看过拒和任务效用。
已经到底了