防御arXiv 2610.13267
遗忘并非总是坏事：面向被投毒 LLM Agent 的神经启发式记忆修复机制
提出 DREAM，选择性削弱 Agent 投毒记忆并保留良性记忆
- arXiv
- 2610.13267
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.4-mini、Claude-Haiku-4.5
全部论文
另有216篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.09264
研究者提出 PackHallu：经规则文件提示注入对编码 Agent 发起包幻觉攻击
提出 PackHallu，经规则文件提示注入诱导编码 Agent 换用攻击者指定包
- arXiv
- 2610.09264
- 发表
- 层
- 应用层
- 被测模型
- Qwen2.5-Coder-7B、Qwen3-Coder-30B、Devstral-Small-2-24B 等19个
摘要PackHallu 诱导规则文件换包。
PackHallu 研究一种针对编程智能体规则文件的提示注入：让智能体在本应使用合法依赖时，改导入攻击者指定并控制的包。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 被测模型
- LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等6个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 防御arXiv 2610.09159
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SPECGUARD，用 Lean 证书在编码 Agent 执行前证明任务冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等4个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
- 防御arXiv 2610.07657
DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降
实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击
- arXiv
- 2610.07657
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等5个
摘要DEFER 把确定性检查放在 judge 之前。
DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。
- 攻击arXiv 2610.07645
SkillPoison：用成功经验投毒自进化 Agent 的技能形成
提出 SkillPoison，用局部有效的成功经验诱导自进化 Agent 形成过度泛化技能
- arXiv
- 2610.07645
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- deepseek-v4-flash、Qwen V3.8 Flash、GPT-5.5
摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。
SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
评测编码智能体 harness 安全机制在对抗任务中的防护效果
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 攻击arXiv 2610.07510
PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率
提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据
- arXiv
- 2610.07510
- 发表
- 层
- 应用层
- 被测模型
- Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。
本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 可解释性arXiv 2610.05295
研究用因果追踪区分间接提示注入中的可读信号与有效干预
用因果追踪区分间接提示注入中的角色可读性与有效干预
- arXiv
- 2610.05295
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen-2.5-7B、Qwen-2.5-1.5B、Llama-3.1-8B 等8个
- 攻击提示注入
摘要作者称源角色先于强工具选择效应可读，有效编辑还取决于位置、长度和方向来源。
在权重固定的白盒模型上，源角色可以先被读出。沿相关方向的编辑是否改变行为，要在目标位点上另测。。
- 攻击arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等13个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 防御arXiv 2610.04504
论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证
提出 VAL 框架，并用确认门与参数沙箱约束智能体高风险工具调用
- arXiv
- 2610.04504
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-chat、Meta Llama 3.1 8B、Kimi
- 攻击arXiv 2610.04195
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
提出 MemLeak，评估多租户 Agent 共享向量记忆的跨用户泄露
- arXiv
- 2610.04195
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemini 2.5 Flash、Claude Sonnet 4.5、all-MiniLM-L6-v2 等5个
- 攻击arXiv 2610.01871
研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
- arXiv
- 2610.01871
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Lumina-mGPT、Gemini 2.5 Flash Image Preview、CLIP ViT-B/16 等5个
- 攻击arXiv 2610.01768
LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄
提出 LLMLeak，借合法网页抓取把 URL 中的秘密隐蔽外传
- arXiv
- 2610.01768
- 发表
- 层
- 应用层
- 被测模型
- Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct、Meta-Llama-3.1-8B-Instruct 等18个
- 攻击恶意使用
摘要作者称第三方外传可发生于正常网页获取，防护需考虑工具请求而不只考虑提示注入。
LLMLeak 是利用网页获取请求携带预先编码秘密的隐蔽通道攻击。它关注恶意软件已能读取数据、却因网络限制或监控无法直接外传的情形。
- 防御arXiv 2610.01184
ReCast：在固定媒体接口下保护多模态推理的隐私框架
提出 RECAST，本地改写图表与语音并做可逆数值映射以保护远程推理隐私
- arXiv
- 2610.01184
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 组件视觉
- 防御arXiv 2610.00450
ZoneClaw 用记忆分区防御 OpenClaw 式计算机使用 Agent 的持久记忆攻击
提出 ZoneClaw，用记忆分区防御计算机使用 Agent 的持久记忆攻击
- arXiv
- 2610.00450
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- Claude Sonnet 4.6、GPT-5.5、GLM-5.2 等4个
- 防御arXiv 2610.02569
Pincer：用数字分身学习用户偏好并执行动态最小权限
为 Agent 提出资源层授权系统 Pincer，用数字分身执行动态最小权限
- arXiv
- 2610.02569
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Muse Spark 1.2 Contributor
摘要Pincer 在资源层以三票合取做授权。
Pincer 是加在现成 coding agent 上的资源层授权防御：用只受用户侧信息影响的 digital twin 做动态最小权限，并与 tool-call 层防御并存。要处理的是用户维护策略带来的权限蠕变和授权疲劳，以及不学习用户策略的 tool-call 分类器。作者引述工作称 auto mode 会放行多数不安全操作，并认为推理代码或复杂 shell 的效果在这一层不实际。
- 防御arXiv 2610.00371
FlowReview：以授权配对评测控制多智能体组合信息流
提出 FlowReview，用授权配对与确定性提交门控控制多智能体组合信息流
- arXiv
- 2610.00371
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Sonnet 4.5、Haiku 4.5、Qwen3-32B 等5个
摘要配对标准要求拒绝禁止使用并完成授权使用，FlowReview 把三项审查接到执行。
这篇工作把多智能体安全写成一件必须同时成立的事：拦住组合信息所启用的禁止使用，并完成同一场景里任务所需的授权使用。
- 评测与基准arXiv 2609.36817
pikit：面向间接提示注入研究与评测的可组合工具包
构建可组合工具包 pikit，评测编码智能体的间接提示注入
- arXiv
- 2609.36817
- 发表
- 层
- 应用层
- 攻击提示注入
摘要pikit 提供组合式间接注入评测。
pikit 是面向间接提示注入研究的组合式工具包，主要贡献是组织攻击、投递通道、防御和判定流程，而非提出新的攻击优化算法。