全部论文

研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

用代价曲线评估恶意微调防御在持续训练下的衰减

arXiv

2605.14605

发表

5月14日

层

训练与数据层

场景

模型与 API

测试

Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个

• 防御模型加固
• 攻击模型篡改
• 组件微调与开源权重

LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

arXiv

2608.04741

发表

8月5日

层

应用层

场景

网页与电脑操作

测试

GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

• 攻击提示注入
• 技术自动化搜索

Purdue 提出 Pact：将欺骗作为行为遗忘

提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

arXiv

2609.38909

发表

9月30日

层

训练与数据层

场景

模型与 API

攻击者

白盒

测试

DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

• 防御模型加固
• 攻击模型篡改
• 风险欺骗与谋划
• 组件微调与开源权重
• +1+1

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

arXiv

2610.09819

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

HuBERT-base、WavLM-base

• 攻击投毒与后门
• 技术潜伏触发
• 组件音频
• +1+1

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

• 攻击提示注入

研究者提出模型生物体多目标验证框架并给出训练建议

提出模型生物多目标验证与合并训练方法以减少能力损伤

arXiv

2610.10203

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

gemma-2-2b-it、olmo-2-1b、llama-3.1-8b-it 等 8 个

论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

arXiv

2604.02623

发表

4月

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

arXiv

2610.09240

发表

10月7日

层

应用层

场景

网页与电脑操作

测试

LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化

用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路

arXiv

2610.09600

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个

• 防御模型加固
• 风险拒答失当

P-VMI：对抗图像经 KV cache 持续影响多轮对话

提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

arXiv

2610.09027

发表

10月7日

层

基础设施层

场景

模型与 API

测试

Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

• 攻击提示注入
• 技术潜伏触发
• 组件视觉
• +1+1

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

论文提出按风险类别测量的对齐缩放定律框架

提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化

arXiv

2610.08540

发表

10月6日

层

训练与数据层

场景

模型与 API

测试

Pythia (14m–2.8b)、Qwen2.5 (0.5B–72B)、Qwen2.5-Instruct (0.5B–14B) 等 4 个

• 风险失准与价值偏离
• +1+1

研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

arXiv

2610.07723

发表

10月6日

层

训练与数据层

场景

模型与 API

测试

Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件微调与开源权重
• +2+2

TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

arXiv

2610.06848

发表

10月5日

层

基础设施层

场景

模型与 API

攻击者

黑盒

测试

BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个

• 攻击提取与窃取
• 技术侧信道

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

arXiv

2610.05637

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个

• 防御模型加固
• 风险拒答失当
• 组件视觉

研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072

展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机

arXiv

2610.06439

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

Qwen3-8B

• 风险奖励作弊

RubricArmor：用对抗演化改进 LLM 评分标准生成

提出 RubricArmor，用攻击–修复循环生成抗奖励作弊的评分准则

arXiv

2610.05308

收录

10月6日

层

训练与数据层

场景

模型与 API

测试

Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Qwen3-4B 等 14 个

• 风险奖励作弊
• 组件护栏与评审

研究用 GRPO 强化晶体生成模型

展示晶体生成强化学习利用奖励与社区指标作弊

arXiv

2610.03880

收录

10月6日

层

训练与数据层

场景

模型与 API

测试

OMatG、OMatGRPO、Chemeleon2 等 8 个

• 风险奖励作弊