攻击arXiv 2607.03220
CONTRA：研究者用配置树搜索对个人化 Agent 做红队测试
提出 CONTRA，用树搜索修改良性配置以诱发 Agent 恶意动作
- arXiv
- 2607.03220
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma4-31b、Gemma4-e4b、GLM-4.7-flash 等 6 个
- 技术自动化搜索
全部论文
另有 664 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2609.38909
Purdue 提出 Pact：将欺骗作为行为遗忘
提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解
- arXiv
- 2609.38909
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- DeepSeek-R1-Distill-Qwen-32B、QwQ-32B
摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
- 攻击arXiv 2610.09819
FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵
提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门
- arXiv
- 2610.09819
- 发表
- 场景
- 模型与 API
- 测试
- HuBERT-base、WavLM-base
摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 攻击arXiv 2610.09027
P-VMI：对抗图像经 KV cache 持续影响多轮对话
提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出
- arXiv
- 2610.09027
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个
摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。
- 防御arXiv 2610.09159
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SpecGuard，在编码 Agent 执行前证明任务与测试冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
- 攻击arXiv 2605.12673
UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷
提出 BenchJack 系统审计智能体基准的奖励作弊缺陷
- arXiv
- 2605.12673
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Code、OpenAI Codex
- 组件权限与沙箱
摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。
论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个
- 攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 测试
- Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
- 攻击arXiv 2610.07510
PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率
提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL
- arXiv
- 2610.07510
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。
本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。
- 攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞
- arXiv
- 2610.05793
- 发表
- 测试
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
- 测试
- SD2.1、SD3、SD3.5 等 10 个
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 测试
- Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 分析与理论arXiv 2610.02886
研究揭示无触发投毒审计缺口：事实答对不等于决策正确
揭示无触发虚假训练下事实回答与下游决策的审计差距
- arXiv
- 2610.02886
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等 9 个
- 攻击投毒与后门
摘要作者发现无触发词虚假训练下事实回答与下游决策存在脱节，直接审计与事实纠错均无法保证决策正确。
论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。
- 评测与基准arXiv 2610.03153
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区 Agent 的运行时安全风险
- arXiv
- 2610.03153
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5
- 攻击提示注入
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
- 攻击arXiv 2610.01365
ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
- arXiv
- 2610.01365
- 发表
- 场景
- 模型与 API
- 测试
- GPT-2 Small、GPT-2 Medium、GPT-2 Large 等 6 个
摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
- 防御arXiv 2609.01091
上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移
提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移
- arXiv
- 2609.01091
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-IT 等 4 个
摘要论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。
- 防御arXiv 2608.06422
CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
提出分片监督，将评判标准分配给独立调用以抵御展示攻击
- arXiv
- 2608.06422
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 测试
- Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。
本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。