Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 18 papers Another 233 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出校准重合成方法,以生成器反演保真度认证真实图像并防御对抗扰动
Published Oct 5 Abstract 论文提出基于反演保真度与阈值校准的健全认证框架,在对抗扰动下维持错误率界限,并指出真实内容可认证性随生成器演进而萎缩。
提出 TRACER,从权重差识别扩散模型被擦除概念
Published Oct 5
Evaluated models Stable Diffusion v1.5 , Stable Diffusion 3 , FLUX.1 and others5 Abstract TRACER 用权重足迹识别未披露擦除概念并估计个数,作者称数秒内完成且准确率高于对照。TRACER 针对的是遗忘扩散模型上的目标识别:提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆,只发布 W′。攻击者还有假定包含这些概念的词表,但不知擦了谁、擦了几个、用了什么算法。
提出 LiBRA,在潜空间双向优化以规避图像水印双侧检测
Published Oct 2
Evaluated models Stable Signature , YU1 , HiDDeN and others4 Abstract LiBRA 用双向潜空间优化规避双侧水印检测,并提高相对反转基线的保真。
提出收缩约束 SSM 安全头,认证嵌入扰动并检测越狱
Published Oct 2
Evaluated models ToySSMClassifier , S4 safety head Abstract 收缩给出玩具 LTI 的有界认证。给 SSM 安全头一个收缩条件,并在越狱检测上使用收缩正则的 S4 头。 。
提出 UNTAG,绕过开源权重模型的 trigger-tag 滥用检测
Published Oct 2
Evaluated models Llama2 (7B) , Llama3 (8B) , Qwen2.5 (7B) Abstract 作者用 UNTAG 评估 trigger-tag,认为其不能充当开放权重滥用检测的主要边界。UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估:信号可以在解码期注入,也可以写进权重,但攻击者若能改输出或改已发布权重,检测可以失效。
提出 ReGap,用自生成伪监督微调恢复模型中的隐私关联
Published Oct 1
Evaluated models GPT-2 Small , GPT-2 Medium , GPT-2 Large and others6 Abstract 提出无真实私有监督的恢复攻击 ReGap,实验显示微调可通过自生成数据唤醒模型潜在隐私关联,突显后适应隐私风险。
提出 Whiteout,用伪装样本微调覆盖个人敏感信息关联
Published Oct 1
Evaluated models Llama 3.2 , Phi-3-mini , Gemma 3 and others7 提出 PRETEXT 攻击,迭代改写技能文本绕过技能扫描器并让 Agent 执行木马
Published Sep 30
Evaluated models glm (z-ai/glm-5.1) , qwen3t (qwen/qwen3-235b-a22b-thinking-2507) , gpt-oss (openai/gpt-oss-120b) Abstract 论文提出了针对多阶段技能检测器的白盒攻击,揭示了单纯依赖大模型自适应检测的局限。PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。
提出 BoundStyle 与 StyleAT,对抗训练防御人脸识别语义攻击
Published Sep 20
Evaluated models MobileFaceNet (MobileFace) , ResNet (ResNet-152, IR-SE) , RepVGG and others7 Abstract BoundStyle 用 StyleGAN3 有界潜编辑快速攻击 FR。StyleAT 用可调的 StyleGAN3 潜空间攻击 BoundStyle 对人脸识别做对抗训练,以抵抗一般语义编辑,并在评测中面对训练时未见的 DiffPrivate。
提出 ARIA,在冻结权重上用 SAE 做推理时遗忘门控
Published Sep 15
Evaluated models DeepSeek-R1-Distill-Qwen-1.5B , Gemma-3-1B-it 提出 OBELISK 三级流水线,权衡恶意软件检测的准确率、开销与鲁棒性
Published Sep 8
Evaluated models GBDT-ALL , GBDT-YARA , NEBULA-ALL and others4 Abstract 三级过滤以不大的检测损失换速度,同一机制扩大攻击面,部署应按约束选配置。OBELISK 把 Windows PE 恶意软件检测做成 YARA、EMBER-GBDT 与 Nebula 的顺序流水线,用来同时看检出、计算开销和对抗鲁棒性。
揭示拆分训练返回梯度以零支撑暴露诱饵行并泄露训练内容
Published Sep 4
Evaluated models Qwen3-0.6B , 35B-A3B Abstract 论文揭示拆分训练中反向梯度零支撑完全暴露诱饵行,联合视图突破门控,裁剪加噪可有效缓解。这是一项关于双节点大语言模型拆分训练系统的系统安全案例研究,揭示了评估工具遗漏反向信道所导致的静默隐私失效。
提出 SPARED,用对抗编辑数据训练基于推理的 AI 生成图像检测器
Published Aug 13
Evaluated models Qwen3.5-9B Abstract SPARED 用防捷径的编辑对抗环训练 9B 推理检测器。SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程,报告模型是 Qwen3.5-9B 上的第三轮防御器。
提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本
Published Jul 16
Evaluated models CLIPViT (ViT-B/16) , CLIPCNN (ResNet-50) , ALBEF and others4 Abstract GeoDetect 用几何分数检测 VLP 对抗样本。GeoDetect 是面向视觉-语言预训练模型的对抗样本检测方法,用嵌入几何而不是任务 logits 区分干净样本与对抗样本。
提出 AttenMIA,用注意力信号做白盒成员推断
Published Jan 26
Evaluated models LLaMA-13B , LLaMA-30B , Pythia-6.9B and others12 Abstract AttenMIA 用白盒注意力做成员推断,作者称在低假阳性下优于输出类基线。AttenMIA 是面向开源权重 LLM 的白盒、reference-free 成员推断:读内部注意力,而不是只看输出置信度,判断样本是否在训练集中。
提出 CORVUS,用 LoRA 伪装内部遥测以绕过幻觉检测器
Published Jan 19
Evaluated models Llama-2-7B-Chat , Vicuna-7B (v1.5) , Llama-3-8B-Instruct and others4 Abstract 作者称内部遥测在自适应模型侧对抗下易被操纵,CORVUS 通过轻量适配器微调降低了多种幻觉检测器的效果。
提出面向渗出的权重压缩,评估推理服务器权重窃取可行性
Published Jan 4
Evaluated models Qwen2-1.5B , Qwen2-7B , Qwen2.5-1.5B and others8 Abstract 作者用残差量化加微调压缩权重,并称法医水印便宜且微调后仍可解码。这篇工作把 LLM 权重渗出看成 APT:攻击者已有未加密权重,但必须把完整权重藏进推理 API 的合法输出。作者认为可压缩性是被忽略的因素,因为推理量化要求解压后仍能低开销前向,而偷权重的人可以接受事后微调。
Attacks arXiv 2505.23266 · May 29, 2025 提出 AdvOF,生成对抗物体误导视觉语言导航智能体的场景感知
Published May 29, 2025
Evaluated models Lseg , Clip , ViT-L/16 and others5 Abstract AdvOF 以多视角融合生成对抗物体。AdvOF 是针对 VLM 驱动 VLN 服务导航的对抗物体攻击。
You have reached the end