Translation in progress Some entries still include text in the original language.
Oct 13 · Tuesday
All papers Found 49 papers Another 227 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 Safety-Aware Pruning,缓解视觉 token 剪枝放大的多模态越狱
Published Oct 7
Evaluated models LLaVA-1.5-7B Abstract 剪枝去掉背景 token 后注意力塌向恶意前景。这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为,并给出推理时防御 SAP。
提出 Persist-3 序贯检验,从隐藏表示识别未见越狱源
Published Oct 7
Evaluated models Llama2-7B-chat , Qwen2.5-7B-Instruct , Gemma-2-9B-it and others4 Abstract Persist-3 用有限窗口检验攻击流是否超出已知越狱源,检出率低于全历史 SR-DKW,但决策只依赖最近观测。Persist-3 是一个有限记忆的序贯检测器,用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。 。
AI summary 研究者提出一种轻量级路由 logits 安全检测器,在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号,在生成前判断多模态请求是否安全,且不修改模型参数或专家路由。
Published Oct 6
Evaluated models Qwen3-VL-30B-A3B-Instruct , Kimi-VL-A3B-Instruct Abstract 读出而非操纵 router logits,可在不改模型的情况下降低两模型的组合式安全错误。作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类:图文各自可安全,合在一起才不安全,或不安全内容只在图像里。
主张多模态安全评测应衡量可控性,并用 SAE 建立四轴画像
Published Oct 5
Evaluated models LlavaGuard-v1.2-7B-OV , Qwen3.5-9B Abstract 四轴画像把读出与选择性控制分开。作者主张多模态安全评测在行为分类之外,单独报告可控性画像,而不是把检测准确当成控制证据。
提出 VERA,审计 LLM 漏洞解释里的虚构推理
Published Oct 5
Evaluated models sonnet-5 , gemma-4-26b , llama-4-maverick and others8 构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器
Published Oct 5
Evaluated models SpeechForensics , AVH-Align , (B)RAVEn Abstract BabelFake 为五语同意采集基准。BabelFake 是经同意与 IRB 批准采集的多语音视频 DeepFake 检测基准,用来把视觉操纵和语音合成拆开比较。
提出 Geodesic Unlearning,沿测地线编辑权重以提升缺模态鲁棒性
Published Oct 4
Evaluated models RoBERTa , ResNet50 , Qwen2.5-3B and others6 Abstract GU 用测地线子空间编辑应对部署时缺模态下降,并尽量保住全模态精度。这项工作讨论多模态模型在部署时整段缺一个模态的性能下降,并把校正写成训练后的子空间编辑。
提出 PyINE 基准,训练捷径跟随模型并比较监督者
Published Oct 4
Evaluated models shortcut-following model organism , gpt-4o , gpt-5 and others12 Abstract PyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。PyINE 是用可执行程序研究推理模型引出与监督的框架,PyINE-v1 是其第一次发布。
提出 Spatial-SAE,用空间依赖先验改进视觉概念分解
Published Oct 3 Abstract Spatial-SAE 用空间 Markov 先验替换 patch 独立先验,换取更对齐的视觉概念。Spatial-SAE 针对视觉 SAE 的概念碎片化:tokenwise 目标在 LRH 之外把各 patch 的码当成独立,而作者报告冻结视觉 Transformer 的激活仍保留邻域可预测性。
提出 Patch-to-Prune,旁路 VLM 部分层的视觉投影计算
Published Oct 2
Evaluated models Qwen2.5-VL-3B-Instruct , Qwen2.5-VL-7B-Instruct , LLaVA-v1.6-Vicuna-7B-HF and others4 Abstract P2P 用深度上的激活修补旁路视觉投影,以可调容忍度交换准确率与计算量。P2P 是面向 VLM 推理的训练无关计算旁路:不删除视觉 token,而在选定 decoder 层用固定激活代理代替视觉投影。
提出 OmniConfess,冻结候选并按通道重打分以缓解全模态幻觉
Published Oct 2
Evaluated models Qwen2.5-Omni-7B , Qwen3-Omni-30B-A3B , Nemotron-3-Nano-Omni-30B 系统评估循环语言模型加深 loop 后的 CoT 可监控性
Published Oct 2
Evaluated models Ouro-1.4B-Thinking , Ouro-2.6B-Thinking , Nanbeige4.2-3B and others4 Abstract 加深 loop 可在部分压力测试任务降低可监测性,循环架构本身并不必然更难监测。这项工作评估 LoopLM 的 CoT 可监测性:加深共享层的重复次数,以及“有循环结构”本身,会不会让决策关键因素更少出现在可监测文本里。
用分类后缀提升激活探针对分布外恶意输入的检测
Published Oct 2
Evaluated models Llama-3.1-8B , Qwen3.5-9B , Gemma-4-12B Abstract 作者称排序增益来自分类格式,低 FPR 精度来自点名准则。用户轮后的分类后缀,被作者用作激活探针的分布外检测干预:排序看格式,低 FPR 精度看是否点名恶意/良性。
提出 DiDAE,对冻结视觉基础模型做无梯度解耦反事实解释
Published Oct 1
Evaluated models ResNet-18 , DINOv3 ViT-L/16 Abstract DiDAE 用无梯度字典编辑生成解耦反事实,并用于修正与排序。DiDAE 用冻结视觉基础模型和一个解耦字典,生成按分量编辑的视觉反事实,再拿去修正依赖伪相关的分类器,或给字典原子按“是否真能翻转该分类器”排序。
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
Published Sep 30
Evaluated models Qwen3-4B , Qwen3.5-27B Abstract CATCH 用双运行金标签研究编码 RL 的奖励黑客,并观察到监控会被注释适应削弱。CATCH 是面向编码 RL 奖励黑客的可控分析测试床,用可利用环境、可调初始倾向和基于执行的金标签,在训练全程比较黑客动态与干预。
研究视觉语言模型在协作中能否表示并说出指称不确定性
Published Sep 30
Evaluated models GPT-4.1 (2025-04-14) , GPT-5 (2025-08-07) , GPT-5.5 (2026-04-24) Abstract 指称不确定性可被引出,但很少说出来。
提出训练无关的 SECRET,对问题表征做源条件转向以缓解音视频模型幻觉
Published Sep 29
Evaluated models VideoLLaMA2-AV-7B , Qwen2.5-Omni-7B , Qwen3-Omni-30B-A3B Abstract SECRET 在问题状态上做源条件转向,三个 AVLLM 上减轻了跨模态接地幻觉。SECRET 是一种训练无关的问题状态转向方法,用来减轻 AVLLM 的 source-confused grounding hallucination。
分析隐蔽推理在思维链监控下的信息足迹下界与不可读性
Published Sep 29
Evaluated models Qwen2.5-7B-Instruct , Llama-3.1-8B-Instruct , Qwen 3.5 397B-A17B and others12 Abstract 论文从理论与实证探明了思维链监控的边界:复杂隐蔽计算必然泄露信息足迹且需承担长度税,但该足迹可被在线加密而不可读。
证明 LLM 仅凭先前监控反馈即可编辑激活规避潜空间监控
Published Sep 29
Evaluated models llama-3.1-8b-instruct , gemma-3-27b-instruct , qwen3-14b and others4 Abstract 论文指出 LLM 可仅凭历史二元反馈推断潜空间监控规则并通过激活编辑实现规避,提出潜空间安全监控需应对交互式规避。这篇论文研究了语言模型如何仅利用多轮上下文中的二元反馈信息规避内部潜空间监控器。
检验视觉 SAE 的可解释性,对照人类判断比较 AIS 与标准指标
Published Sep 28
Evaluated models Vanilla SAE , TopK SAE , MP-SAE Abstract 视觉 SAE 重构很好,但 AIS、MS 与字典指标互不对齐,单一代理不足以核验 LRH。这篇工作把 NLP 的 AIS 改到视觉 SAE,用来检查 LRH 的结构代理是否等于人类可解释性。 。