Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 22 papers Another 247 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出统一框架评测多模态大模型的遗忘方法
Published Oct 8
Evaluated models LLaVA-1.5-7B 提出 OrthoPurify,用正交投影清除视觉语言模型适配器中的劫持方向
Published Oct 7
Evaluated models LLaVA-1.5-7B , Qwen3-VL-8B , LLaVA-1.5-13B and others5 Abstract 一次投影去掉劫持方向。OrthoPurify 是部署前的 LVLM 后门净化方法,用一次正交投影去掉被劫持的权重更新方向。
提出融合定位拒答与能力保留的安全微调,补齐视觉定位输出的拒答缺口
Published Oct 5
Evaluated models Claude Sonnet 4.6 , Gemini 3.5 Flash , Molmo2-8B and others5 Abstract 论文揭示了 VLM 定位安全落后于 VQA 的对齐断层,提出三成分微调方案有效弥合差距并保留定位能力,表征分析揭示了对齐机制。
检验低监控读数能否证明代码生成中的奖励作弊已受控
Published Oct 2
Evaluated models Llama-3.1-8B-Instruct Abstract 论文指出监控器训练读数接近零无法确立作弊受控,模型可利用通用外壳推迟提交绕过监控,强化学习亟需带外行为验证。本文是一篇针对强化学习可验证奖励后训练(RLVR)中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是:在训练目标中引入监控器以抑制代码生成中的作弊行为时,接近零的监控器读数是否足以确立模型行为已真正受控。
提出 LineupRL,用描述到序列识别作可验证奖励训练时序描述模型
Published Oct 1 Abstract LineupRL 用统计近邻上的序列识别做可验证奖励,3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。LineupRL 是给开放式时间序列描述用的 RLVR:不模仿合成参考,而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
用持续更新的探针做微调,降低有害性并保持线性可监测性
Published Sep 30
Evaluated models Mistral 7B Instruct v0.1 , Llama 3 8B Instruct Abliterated , Qwen3-14B Abstract 持续重拟合的探针可降低有害性、提高诚实性,训练后概念仍能被线性探针读出。Probe-guided fine-tuning 把探针分数当作唯一对齐信号,用来推动 harmlessness 与 honesty,并检查训练后这些概念是否仍线性可读。
提出 Intent-Privilege OPSD,对齐视觉语言模型在隐式风险下的安全与帮助性
Published Sep 29
Evaluated models Qwen3-VL-4B-Instruct , LLaVA , LLaVA-1.5-7B and others4 Abstract 作者报告训练期证据化意图蒸馏兼顾安全与帮助性,效果受标注质量和评测设置影响。Intent-Privilege OPSD 是针对跨模态隐式风险的训练期安全—帮助性对齐方法。 作者关注的不是直接拒绝敏感请求,而是按可观察图文证据保留正常帮助、约束有害信息。
提出 IDUnlearn-Bench,评测 VLM 个体级遗忘后的身份残留
Published Sep 27
Evaluated models Qwen3-VL-2B , Qwen3-VL-4B , Qwen3-VL-8B and others6 Abstract IDUnlearn-Bench 用四族探针显示:压低直接属性访问后,身份仍常能被反向查出、绑定或重构。IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人,而不只是答不出某条监督事实。
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
Published Sep 26
Evaluated models Qwen3-VL-8B-GRPO 提出 TAME,在强化学习中抑制模板激活以缓解思维链混淆
Published Sep 21
Evaluated models Qwen3-VL-8B , Gemma-3-12B-it 提出 QPriv-VL,用问题引导剪枝降低分布式视觉问答的隐私泄露
Published Sep 14
Evaluated models LLaVA-1.5-7B , Llama-2 Abstract QPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token,作者称能在约四成 token 下兼顾准确率与四类攻击。QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御,而不是只做集中式推理加速。
提出 FreqDoor,在频域混合振幅并对生成式 VLM 做训练时视觉后门
Published Sep 7
Evaluated models BLIP-2 (opt-2.7b) , InstructBLIP (flan-t5-xl) , LLaVA (interleave-qwen) Abstract FreqDoor 用频域振幅混合给三款 VLM 植入仅视觉的训练时后门。FreqDoor 是针对生成式 VLM 的仅视觉、训练时后门:在频域混合触发源振幅、保留干净图像相位,使触发在空间上分散。
提出持续学习下的净化与选择性恢复框架,抵御逐任务训练投毒后门
Published Sep 6
Evaluated models ViT-B/16 Abstract 作者报告任务内净化与恢复可配合动态专家防御后门,但保证依赖分离条件。这是一项面向持续图像分类的后门防御研究 :模型只使用当前任务数据,同时需要保留过去知识并避免学习恶意监督。
提出 HackProbe,黑盒检测并免疫自演化中的奖励作弊
Published Sep 4 Abstract 黑盒探针检测自演化奖励黑客,并以带宽受限重选回收真实能力。HackProbe 是挂在自演化循环上的黑盒监控器,用来发现奖励黑客并改选候选。
提出 RACER,用区域感知一致性对抗微调去除多模态大模型后门
Published Aug 25
Evaluated models LLaVA-1.5-7B , Qwen2-VL-7B , Qwen2.5-VL-7B 提出 SPARED,用对抗编辑数据训练基于推理的 AI 生成图像检测器
Published Aug 13
Evaluated models Qwen3.5-9B Abstract SPARED 用防捷径的编辑对抗环训练 9B 推理检测器。SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程,报告模型是 Qwen3.5-9B 上的第三轮防御器。
提出 CHERRL 注入裁判偏差以复现奖励作弊,并用 RHDA 检测训练起点
Published Jun 3
Evaluated models Qwen3-4B , Qwen3.5-plus , Qwen3.5-397B-A17B and others4 Abstract CHERRL 注入已知偏差以观察奖励黑客,并用于分析偏差和评测起点检测器 RHDA。CHERRL 是 rubric-based RL 的可控环境,用来复现奖励黑客、观察奖励分歧,并给检测器提供起点参照。
提出无监督对抗微调,加固离散图像 tokenizer
Published Feb 20
Evaluated models UniTok , UniTok-MLLM , TiTok-BL128 and others7 Abstract 无监督嵌入攻击暴露离散 tokenizer 的弱点,只微调 encoder 即可提升多任务鲁棒准确率。作者研究离散图像 tokenizer 的对抗鲁棒性,给出与任务无关的嵌入攻击,以及只微调 encoder 的无监督对抗训练。
Propose SAFT, which uses semantic description ensembles to construct adversarial examples and fine-tune the image encoder
Published Feb 13
Evaluated models ViT-B/32 , CLIP-L/14 Abstract SAFT fine-tunes the CLIP image encoder with ensemble adversarial examples from refined class descriptions to improve the trade-off between zero-shot accuracy and robustness.SAFT is a method for adversarially fine-tuning the CLIP image encoder to improve the accuracy–robustness trade-off in zero-shot classification.
提出 ARA,读取奖励模型激活并门控 RLHF 奖励以缓解奖励作弊
Published Feb 2
Evaluated models Llama-2-7B , Llama-3.1-8B , Qwen-2.5-7B Abstract ARA 用奖励模型内部表示检出利用,并在 RLHF 里按 Auditor 概率压低代理奖励。ARA 是一套两阶段的 RLHF 审计:先对冻结奖励模型找出利用回复,再在策略优化时按检出概率压低奖励。