防御arXiv 2610.09703
研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制
提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱
- arXiv
- 2610.09703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LLaVA-1.5-7B
摘要剪枝去掉背景 token 后注意力塌向恶意前景。
这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。
- 防御arXiv 2610.02432
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
- arXiv
- 2610.02432
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- Gemma-3-27B-Instruct、Gemma-3-4B-Instruct、Llama-3.2-3B-Instruct 等 12 个
- 攻击arXiv 2610.01871
研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
- arXiv
- 2610.01871
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Lumina-mGPT、Gemini 2.5 Flash Image Preview、CLIP ViT-B/16 等 5 个
- 防御arXiv 2609.15799
RAPID：面向文生图服务的实时防未授权蒸馏防御
提出 RAPID，离线把抗蒸馏扰动写入文生图解码器
- arXiv
- 2609.15799
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- PixArt、SSD、SDXL 等 4 个
- 攻击arXiv 2609.12909
研究者在双 T4 上复现并插桩 Tree-Ring 语义水印伪造攻击
复现 Tree-Ring 语义水印的黑盒伪造并恢复检测统计量
- arXiv
- 2609.12909
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Stable Diffusion XL base 1.0
- 攻击arXiv 2609.08213
DRIFT：通过偏转生成轨迹去除扩散模型水印的黑盒攻击
提出黑盒攻击 DRIFT，偏转生成轨迹以去除扩散水印
- arXiv
- 2609.08213
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 攻击arXiv 2609.01723
研究者提出针对微调 TTS 模型的黑盒成员推断攻击
提出针对微调 TTS 的黑盒成员推断攻击
- arXiv
- 2609.01723
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- CosyVoice2、F5-TTS、XTTS-v2
摘要黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。
作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。
- 攻击arXiv 2608.09732
ColluSkill 用跨技能组合绕过 Agent 技能扫描器
提出 ColluSkill，用跨技能组合绕过 Agent 技能扫描器
- arXiv
- 2608.09732
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2
摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。
- 攻击arXiv 2608.04192
研究者提出 SkillClone，仅凭正常提问即可克隆 LLM Agent 隐藏技能功能
提出 SkillClone，仅凭良性任务交互重构闭源 Agent 技能
- arXiv
- 2608.04192
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- DeepSeek-Flash、DeepSeek-Pro、GLM-5.1 等 5 个
摘要论文揭示了仅靠良性任务交互即可重构闭源智能体技能隐藏功能的风险，表明功能保密需要限制累积信息泄露。
论文从功能保密视角系统研究了大语言模型智能体技能的行为重构威胁。
- 攻击arXiv 2607.25560
SigLeak 可从执行轨迹推断专有 Agent 技能
提出 SigLeak，从黑盒 Agent 执行轨迹推断专有技能
- arXiv
- 2607.25560
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-5.4-mini、GPT-5.5、GLM-5.2 等 4 个
摘要提出了通过良性查询和对照轨迹推断黑盒专有技能的 SigLeak 框架，揭示了智能体执行可见性带来的行为侧信道泄露风险。
- 攻击arXiv 2603.13847
SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱
提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示
- arXiv
- 2603.13847
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个
- 攻击arXiv 2512.20168
Odysseus 用双重隐写越狱 GPT-4o、Gemini-2.0 与 Grok-3
提出双重隐写越狱 Odysseus，用图像隐写绕过多模态系统安全过滤器
- arXiv
- 2512.20168
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-4o-2024-08-06、Gemini-2.0-pro、Gemini-2.0-flash 等 4 个
已经到底了