Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 13 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
固定有害指令,单轴归因图像到文本越狱的图像属性
Published Oct 4
Evaluated models GPT-4o , Claude Sonnet 4.5 , Qwen3-VL-8B-Instruct and others6 Abstract 固定文本的图像越狱拆解,只在 Qwen 上给出一条有界相关性归因。
检验合成数据来源识别是否等于再训练适配筛选
Published Sep 30
Evaluated models Qwen2.5-3B-Instruct , DistilRoBERTa , word TF-IDF logistic regression and others5 Abstract 来源识别在原文上准确,改写后精确归因下降。作者在金融风险文本上把来源识别和训练样本是否有用拆成两次测量,并写明这不是电信部署实验。
诊断护栏相对基座在对抗提示上的置信失校
Published Sep 29
Evaluated models Llama-Guard 7B , Llama-Guard-2 8B , Llama-Guard-3 8B and others10 Abstract 对抗包装使 guard 高置信漏检,而对应 base 在同一输入上常更不确定。诊断性分析 :五个提示词分类 guard 的置信度,在清洁输入上可以较校准,在越狱包装后则变成高置信度的错误判定。
分析近重复族如何让精确记录成员推断误判为入训
Published Sep 28
Evaluated models Pythia-2.8B , GPT-2 , Qwen3.5-2B and others5 Abstract 近重复使干净参照 MI 把族级暴露当成精确记录。作者研究成员推断能否作为精确记录的数据来源证据。版权和来源审计需要的是该记录本身是否入训,而网页语料中的转载、镜像和轻改会让非同一近重复产生成员样分数。四世界审计 用 E 表示精确记录是否入训、用 F 表示其近重复族是否在场,从而分开 H00 到 H10 的标准 MI、H00 到 H01 的族偏移,以及 H01 到 H11 的 exact-given-family。
比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何
Published Sep 28
Evaluated models ResNet-18 , Swin Transformer , Qwen2.5-Math-7B-Instruct and others7 Abstract 效用匹配下,三种高效训练都伴随更高的隐私与对抗脆弱性及更尖的损失几何。作者在视觉分类和数学推理语言模型上,检查用更少数据或更简对齐换取训练效率时,安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集,并用预训练微调对照从头训练。
用物理陷阱模型描述 Best-of-N 越狱的攻击面规律
Published Sep 26
Evaluated models Qwen2.5-7B (base) , Llama-3.1-8B-Instruct , Qwen2.5-3B-Instruct and others5 Abstract 四参数势垒模型拟合 BoN 的两预算面,并把指数交叉归因于数据集有限。Biroli 用一个玻璃陷阱式的微观模型,把 Best-of-N 越狱写成熵瓶颈加能量鞍点,并用四个数描述 (N, M) 攻击面及温度依赖。 。
部署蜜罐测量针对暴露 LLM 基础设施的攻击
Published Sep 24 检验混合合规演示教模型的是通用服从还是有害性
Published Jun 19
Evaluated models Llama-3.1-8B-Instruct , OLMo-3.1-32B-Instruct , GPT-OSS-20B and others6 Abstract 良性与有害合规演示不可互换,效应取决于模型、顺序和偏好优化。这项工作问的是:安全对齐模型从混合的良性与有害合规演示中提取的,是通用服从规则,还是请求是否有害。作者控制 Nb、Nh、ϕ 和顺序,检验总量、有害计数与联合计数三个假设,而不是提出新的攻击算法。
解释自回归一致性如何导致浅层安全对齐,并提出随机插入攻击
Published Jun 3 Abstract 作者用自回归一致性串起浅层对齐、插入攻击和最坏延续对齐。作者把浅层安全对齐和一类续写攻击都归到自回归一致性上。
提出多组 IRT 框架拆解跨语言安全护栏退化原因
Published May 17
Evaluated models gpt-4.1-mini , gpt-4o-mini , gpt-4.1-nano and others15 Abstract 多组 IRT 把多语安全失败拆成能力、语言难度和题目特异差距,并在闭源配置上估计这些因子。Zhang、Patel、Truong 与 Koyejo 用多组项目反应理论,解释安全护栏为何随语言变化,而不是只报告一个 JSR。
提出 SpinLLM 解释短注入与长注入的越狱缩放交越
Published Mar 12
Evaluated models Llama-3.2-3B-Instruct , Llama-3-8B-Instruct , Llama-3-70B-Instruct and others10 量化微调对仅输入侧 PII 的非预期记忆并比较隐私缓解
Published Jan 24
Evaluated models Llama 3.2 1B , Llama 3.2 3B , Llama 3.1 8B and others7 比较提示抽取与激活探测对推荐系统数据记忆的检出
Published Jan 5
Evaluated models LLaMA-1B , LLaMA-3B Abstract 作者称自动优化提示最有希望抽出影片,但数值字段和高分都不能确认泄漏。作者比较越狱、激活探测和自动提示,看公开 LLaMA 能否抽出或检出 MovieLens-1M 中的记忆。
You have reached the end