Some text is shown in its original language while the English translation is being prepared.
Oct 12 · Monday
All papers Found 53 papers Another 336 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Organized first” shows papers with tags or public deep readings first. Each group is ordered by original publication date, newest first, with undated papers last. “Latest publication” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and deep readings are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 OPUR 攻击,用似然梯度优化对抗后缀越狱 LLM 智能体
Published Oct 7
Evaluated models Llama-3.1-8B-Instruct 、 Ministral-8B-Instruct-2410 提出利用祖先 VLM 优化对抗补丁,使已部署 VLA 任务失败
Published Oct 7
Evaluated models OpenVLA 、 UniVLA 、 π0.5 提出 WebMirage,用局部对抗图像劫持视觉网页 Agent 的浏览器操作
Published Oct 7
Evaluated models LLaVA-v1.5-13B 、 LLaVA-v1.6-34B 、 MiniCPM-o-8B and others6 Abstract 论文提出了针对网络智能体的端到端视觉红队框架 WebMirage,揭示了从视觉定位到浏览器执行的安全脆弱性。WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
提出持久视觉记忆注入,使对抗图像经缓存在触发时操控输出
Published Oct 7
Evaluated models Qwen3-8B 、 Qwen3-VL-8B-Instruct 、 Gemma-4-12B Abstract 论文提出 P-VMI,证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型,强调了保留状态的安全风险。
提出 STCA,对驾驶视频 VLM 构造可迁移的时空对抗扰动
Published Oct 6
Evaluated models Video-LLaVA-7B 、 Qwen2.5-VL-7B 、 Dolphins TAPDreamer 用公开编码器做固定补丁。
Published Oct 6
Evaluated models FastWAM 、 DreamWAM-uncond 、 DreamWAM-joint and others4 提出轨迹级可迁移对抗攻击,降低深度强化学习策略的期望回报
Published Oct 5
Evaluated models DQN 、 Double DQN (DDQN) Abstract 轨迹级后退视界攻击在 CartPole 上比逐步 FGSM 类和 Sign 噪声更压低回报。这项工作研究 DRL 上的迁移式黑盒观测攻击 :受害参数不可访问时,在白盒代理上造扰动再迁移。
提出闭环激活引导,在扩散语言模型去噪过程中注入定向偏见
Published Oct 5
Evaluated models LLaDA-8B-Instruct 、 Dream-v0-Instruct-7B 、 LLaDA-MoE-7B-A1B-Instruct Abstract 通过去噪中间概率反馈动态调节残差流转向,证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。
提出 IAU-FOA,构造可迁移图像扰动以诱导多模态模型输出目标语义
Published Oct 4
Evaluated models Qwen2.5-VL-7B 、 Qwen2.5-VL-72B 、 InternVL3-14B and others17 提出 JIL 对抗后缀,压低长度预测以抬高请求调度优先级
Published Oct 2
Evaluated models Llama-3-8B-Instruct 、 Qwen2.5-7B-Instruct 、 Mistral-7B-Instruct-v0.3 and others4 Abstract JIL 用对抗后缀压低长度预测,在预测式 LLM 调度中提高自身优先级。JIL 是对预测式 LLM 调度的攻击:用对抗后缀压低长度预测,使请求在 SRPT 式队列里更早得到服务。
提出 LiBRA,在潜空间双向优化以规避图像水印双侧检测
Published Oct 2
Evaluated models Stable Signature 、 YU1 、 HiDDeN and others4 Abstract LiBRA 用双向潜空间优化规避双侧水印检测,并提高相对反转基线的保真。
提出 Bi-QSTO,优化能穿过质量筛选并在微调中削弱安全对齐的投毒样本
Published Oct 1
Evaluated models Llama2-7B-Chat 、 Llama3-8B-Instruct 、 Qwen2-7B-Instruct and others5 Abstract 质量筛选挡不住部分高分样本的安全削弱。Bi-QSTO 研究一个实际训练缺口:基于质量的数据选择会先于微调决定样本去留,而以往微调投毒多假设毒样本直接进入训练集。已对齐 LLM 的拒答会被少量有害或看似无害的微调样本削弱。作者用三个问题串起实验:选择能否排除毒样本。
提出核化激活引导 KAS,在推理时自适应转向激活以诱导越狱
Published Oct 1
Evaluated models Qwen2.5-7B-Instruct 、 Gemma-2-9B-IT 、 Llama-3.1-8B-Instruct and others4 Abstract KAS 用核梯度做局部自适应转向,并在线性核下恢复 DiM。Kernelized Activation Steering(KAS) 把推理时的激活转向写成核空间中的优化,使更新随当前激活相对源、目标参考集的位置而变化。
提出只训练或篡改多智能体潜在通信链路来提高有害遵从
Published Sep 30
Evaluated models Llama-3.2-3B-Instruct 、 Qwen2.5-3B-Instruct 、 Gemma-3-1B-IT and others7 Abstract 潜在链路本身即可改变冻结智能体系统的安全,奖励既能攻击也能修复。学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。 。作者研究三种拓扑:双智能体、三级顺序协作,以及双专家加汇总。
用词级归因指导同义词替换,翻转提示注入检测并验证越狱
Published Sep 22
Evaluated models Prompt Guard 2 (86M) 、 Llama 3.1 8B 提出广度优先后缀搜索 BOSS,改进 GCG 越狱优化
Published Sep 2
Evaluated models Llama-2-7B-Chat 、 Yi-1.5-9B-Chat 、 Qwen2-7B-Instruct and others8 Abstract BOSS 把 GCG 类优化从单条深搜索改为多条短轨迹加源侧诊断。BOSS 是插在 GCG 类离散 suffix 优化上的搜索框架:局部梯度更新不变,变的是固定预算花在深度还是广度。
提出 DIVA,利用跨步条件传播对离散扩散视觉语言模型实施视觉越狱
Published Sep 2
Evaluated models LLaDA-V 、 MMaDA 、 LLaDA2.0-Uni 提出 DURA,用扩散模型生成自然对抗补丁操控 VLA 机器人动作
Published Aug 11
Evaluated models OpenVLA-7B 、 π0-FAST 、 openvla-7B Abstract DURA 用扩散潜空间轨迹生成自然补丁,白盒与黑盒都能把 VLA 导向指定动作。DURA 是针对 VLA 的扩散式、补丁内容不受限的机器人攻击,同时支持白盒梯度和只看动作输出的黑盒。
提出 SN-Guided Diffusion,利用安全神经元实现离线越狱
Published Aug 8
Evaluated models Qwen2.5-7B-Instruct 、 LLaDA-8B-Instruct 、 Dream-Instruct-7B and others15 Abstract 论文揭示了扩散语言模型对自回归安全神经元的继承性,并提出纯离线黑盒越狱框架 SN-Guided Diffusion。论文系统评估了扩散大语言模型(DLLM)在安全对齐中的双重角色——既作为白盒攻击目标,又作为黑盒越狱生成的对抗工具。
用通用扰动对恶意软件分类器及漂移检测器做规避与后门投毒
Published Aug 4
Evaluated models MLP 100-100 、 CADE (CAE 512-384-256-128) 、 CADE (CAE 512-128-32-8) and others6