Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 23 papers Another 247 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Using fear activation steering to test the hazard judgment criteria of vision-language models
Published Oct 8
Evaluated models Qwen/Qwen2.5-VL-7B-Instruct Extending reinforcement learning for full-modality foundation models to support agent self-improvement
Published Oct 8
Evaluated models MiMo-V2.6-Pro , MiMo-V2.6-Flash , MiMo-V2.6-Distill-Qwen-9B Abstract The series uses three-dimensional RL and group scoring to improve agent scores; the authors claim the final performance is comparable to frontier models.MiMo-V2.6 is an all-modality MoE technical report, pursuing agent self-improvement by scaling up RL computation, environments, and scoring.
提出热启动 Bandit 的部署前有界离线注入攻击
Published Oct 7
Evaluated models UCB , Thompson Sampling , ϵ-greedy 提出利用路由元数据推断敏感话题的侧信道攻击
Published Oct 7
Evaluated models RouteLLM (BERT router) , notdiamond-0001 , Vela (vLLM Semantic Router) Abstract 论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露，验证了按类别公平性防御的有效性与边界。
在 CWEval 上跟踪代码生成的功能-安全差距
Published Oct 6
Evaluated models Gemini 1.5 Pro , Gemini 2.5 Pro , Gemini 3.1 Pro and others20 Abstract 绝对安全性上升且差距仍在，开放权重并不分开各家族的轨迹。
提出 VERA，审计 LLM 漏洞解释里的虚构推理
Published Oct 5
Evaluated models sonnet-5 , gemma-4-26b , llama-4-maverick and others8 提出选择性长时程精炼，筛选轨迹以提升终端智能体训练可靠性
Published Oct 5
Evaluated models Qwen/Qwen3-8B Abstract 中间长度的监督更均衡。这项工作研究终端智能体模仿学习里，教师轨迹应保留多少 token。
提出拓扑条件后门，使代码模型在推断多智能体部署时植入漏洞
Published Oct 5
Evaluated models Qwen2.5-7B-Instruct , Qwen2.5-Coder-7B-Instruct Abstract 论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
提出利用共享冷却的跨租户干扰攻击，并设计租户隔离机制
Published Oct 4 Abstract 揭示网关共享冷却漏洞，提出来源检查与租户隔离防御。
分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预
Published Oct 4
Evaluated models LLaMA 3.1 8B Instruct , Mistral-7B-Instruct-v0.3 , Qwen2.5-14B-Instruct Abstract 论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。
检验低监控读数能否证明代码生成中的奖励作弊已受控
Published Oct 2
Evaluated models Llama-3.1-8B-Instruct Abstract 论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
构建分子肿瘤委员会审计基准，测量临床过度拒答
Published Oct 1
Evaluated models GPT-4o (gpt-4o-2024-08-06) , GPT-4o-mini (gpt-4o-mini-2024-07-18) 提出 AuraForge，从漏洞修复合成安全测试并训练编码 Agent
Published Oct 1
Evaluated models Qwen3.5-4B , GLM 4.7 Flash , Qwen3-Coder-Next and others7 Abstract AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
Published Sep 30
Evaluated models Qwen3-4B , Qwen3.5-27B Abstract CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
刻画 HPC 上编码智能体的使用差异并提出设施协同设计议程
Published Sep 30 Abstract FASRC 测量说明编码智能体改变 HPC 使用方式，作者据此提出四层协同设计议程。这是一篇对生产 HPC 上编码智能体的测量与系统议程论文，不是攻击实现或防御评测。 。
提出 CGMIA，检测代码生成基准样本是否泄漏进训练集
Published Sep 9
Evaluated models Qwen2.5-Coder (3B) , CodeGemma (2B) , DeepSeek-Coder (1.3B) and others5 Abstract CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。
提出 ERPO，用探针共识奖励在无标签代码题上做测试时强化学习
Published Sep 9
Evaluated models Qwen3-4B , Qwen3-8B 提出 KPI，用入度定位跨层关键路径并做 SAE 转向以解决知识冲突
Published Sep 8
Evaluated models Llama-3-8B , Llama-3.1-8B , Gemma-2-9B Abstract KPI 以入度关键路径替代大批 SAE 特征转向，在冲突 RAG 上提高忠实并减轻副作用。KPI 针对知识冲突 RAG 中的 SAE 转向：相关性批量改特征会带入冗余，少量因果上关键的特征即可完成转向。
用 SAE 追踪稠密检索查询扩展的潜变量并用激活转向验证
Published Sep 7
Evaluated models Qwen3-Embedding-0.6B（Qwen-Embed） , SimLM Abstract SAE 追踪稠密检索 QE 的潜变量，转向在四基准上比文本扩展更稳。作者用稀疏自编码器分析稠密检索里的查询扩展：现成检索器不微调时，拼接扩展文本往往增益有限甚至变差，而最终指标和嵌入整体偏移不足以说明内部发生了什么。
提出 OpenMLE，后训练元进化智能体并做机器学习工程长程搜索
Published Jul 31
Evaluated models Frontis-MA1-35B , Frontis-MA1-30B Abstract OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。作者提出全栈 OpenMLE ，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。