攻击arXiv 2609.37468
论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法
提出检索器后门攻击操纵智能体多轮搜索，并用 DOU 隐蔽后门
- arXiv
- 2609.37468
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- E5、Contriever-MSMARCO、Qwen2.5-7B-Instruct
摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。
全部论文
另有 489 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2605.14605
研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升
用代价曲线评估恶意微调防御在持续训练下的衰减
- arXiv
- 2605.14605
- 发表
- 场景
- 模型与 API
- 测试
- Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个
摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。
- 攻击arXiv 2606.14517
研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击
提出针对 LLM Agent 护栏的推理扩展拒绝服务攻击
- arXiv
- 2606.14517
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- TS-Guard-8B、Qwen3.5-9B、DeepSeek-V3.2 等 11 个
- 攻击arXiv 2607.03220
CONTRA：研究者用配置树搜索对个人化 Agent 做红队测试
提出 CONTRA，用树搜索修改良性配置以诱发 Agent 恶意动作
- arXiv
- 2607.03220
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma4-31b、Gemma4-e4b、GLM-4.7-flash 等 6 个
- 技术自动化搜索
- 防御arXiv 2609.38909
Purdue 提出 Pact：将欺骗作为行为遗忘
提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解
- arXiv
- 2609.38909
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- DeepSeek-R1-Distill-Qwen-32B、QwQ-32B
摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
- 攻击arXiv 2610.09819
FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵
提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门
- arXiv
- 2610.09819
- 发表
- 场景
- 模型与 API
- 测试
- HuBERT-base、WavLM-base
摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。
- 防御arXiv 2610.09159
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SpecGuard，在编码 Agent 执行前证明任务与测试冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
- 攻击arXiv 2605.12673
UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷
提出 BenchJack 系统审计智能体基准的奖励作弊缺陷
- arXiv
- 2605.12673
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Code、OpenAI Codex
- 组件权限与沙箱
摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。
论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个
- 攻击arXiv 2610.07510
PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率
提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL
- arXiv
- 2610.07510
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。
本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。
- 攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞
- arXiv
- 2610.05793
- 发表
- 测试
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 测试
- Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 防御arXiv 2610.02418
Whiteout：用混淆样本阻止 LLM 泄露个人敏感信息
提出 Whiteout，用伪装样本微调覆盖个人敏感信息关联
- arXiv
- 2610.02418
- 发表
- 场景
- 模型与 API
- 测试
- Llama 3.2、Phi-3-mini、Gemma 3 等 7 个
- 评测与基准arXiv 2610.03153
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区 Agent 的运行时安全风险
- arXiv
- 2610.03153
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5
- 攻击提示注入
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
- 防御arXiv 2610.00320收录
研究显示少样本微调可绕过安全层局部冻结与修复防御
检验层冻结与奇异方向截断能否挡住少样本有害微调
- arXiv
- 2610.00320
- 收录
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- Llama-3.1-8B-Instruct、Llama-3.1-Tulu-3-8B-DPO、OLMo-2-1124-7B-Instruct 等 10 个
摘要定位与恢复可以复现，但知情攻击能把损伤移出冻结带，并打败跨检查点的截断修复。
这篇工作检验：把拒答定位到某些层或更新方向之后，能不能在攻击者知情时还守住拒答。。
- 攻击arXiv 2610.01365
ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
- arXiv
- 2610.01365
- 发表
- 场景
- 模型与 API
- 测试
- GPT-2 Small、GPT-2 Medium、GPT-2 Large 等 6 个
摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
- 防御arXiv 2607.19595
Twin Agent：面向权限分离智能体的上下文残差压缩
提出 Twin Agent，用受限残差 hint 隔离不可信输入与特权动作
- arXiv
- 2607.19595
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.2、Gemini-2.5-Flash、Gemini-3.5-Flash
- 防御arXiv 2608.06422
CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
提出分片监督，将评判标准分配给独立调用以抵御展示攻击
- arXiv
- 2608.06422
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 测试
- Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。
本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。
- 攻击arXiv 2609.04382
研究揭示 split-LLM 训练中返回梯度泄露真实行，前向隐私门仍通过
揭示拆分训练返回梯度以零支撑暴露诱饵行并泄露训练内容
- arXiv
- 2609.04382
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- Qwen3-0.6B、35B-A3B
- 攻击提取与窃取
摘要论文揭示拆分训练中反向梯度零支撑完全暴露诱饵行，联合视图突破门控，裁剪加噪可有效缓解。
这是一项关于双节点大语言模型拆分训练系统的系统安全案例研究，揭示了评估工具遗漏反向信道所导致的静默隐私失效。
- 攻击arXiv 2609.01222
研究者提出上下文权限提升攻击，12 款 Agent 框架均受影响
提出 M-CPE 与 X-CPE 两类上下文特权提升攻击
- arXiv
- 2609.01222
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.5、GPT-5.4 mini、Claude-Sonnet-4.6 等 7 个