攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
全部论文
另有 538 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 被测模型
- LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 面对钓鱼的凭据泄露与恢复
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个
- 攻击提示注入
- 攻击arXiv 2610.07510
PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率
提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据
- arXiv
- 2610.07510
- 发表
- 层
- 应用层
- 被测模型
- Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。
本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。
- 防御arXiv 2610.05640
研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL
提出 multi-CaMeL，在智能体调用边界隔离可信指令与非可信数据
- arXiv
- 2610.05640
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个
摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。
- 防御arXiv 2610.06966
APEX：在 LLM Agent 执行边界主动防御间接提示注入
提出 APEX，在执行边界用授权契约防御 Agent 间接提示注入
- arXiv
- 2610.06966
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GLM-5.2、GPT-5.6-sol
- 防御arXiv 2610.02869
AgentTrap：面向自主渗透测试 Agent 的有状态反馈欺骗蜜罐
提出 AgentTrap 有状态蜜罐，欺骗并反击自主渗透测试 Agent
- arXiv
- 2610.02869
- 发表
- 层
- 应用层
- 被测模型
- AIDA、Claude Code、PentestGPT 等 8 个
- 攻击恶意使用
- 防御arXiv 2610.03089
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击
- arXiv
- 2610.03089
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个
摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
- 防御arXiv 2610.00450
ZoneClaw 用记忆分区防御 OpenClaw 式计算机使用 Agent 的持久记忆攻击
提出 ZoneClaw，用记忆分区防御计算机使用 Agent 的持久记忆攻击
- arXiv
- 2610.00450
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- Claude Sonnet 4.6、GPT-5.5、GLM-5.2 等 4 个
- 攻击arXiv 2609.39788
研究：多智能体系统潜在通信链路可被训练用于提升有害顺从
提出只训练或篡改多智能体潜在通信链路来提高有害遵从
- arXiv
- 2609.39788
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Llama-3.2-3B-Instruct、Qwen2.5-3B-Instruct、Gemma-3-1B-IT 等 7 个
摘要潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。
学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。
- 防御arXiv 2609.37196
ToolFence：为工具调用 LLM Agent 提供细粒度授权
提出 ToolFence，以能力蓝图和确定性授权拦截 Agent 未授权工具调用
- arXiv
- 2609.37196
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3-max、GPT-4o (gpt-4o-2024-08-06)、Mistral-Small-3.1-24B-Instruct-2503
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 防御arXiv 2609.35659
Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统
提出 Tracekit，审计编码 Agent 的意图、推理与动作并检测账本篡改
- arXiv
- 2609.35659
- 发表
- 层
- 应用层
- 被测模型
- Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。
Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。
- 攻击arXiv 2609.33628
用课程强化学习对前沿模型做提示注入红队测试
用跨目标课程强化学习训练提示注入红队，攻破前沿智能体
- arXiv
- 2609.33628
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4o-mini、GPT-5-nano、GPT-5.6-Luna 等 12 个
摘要提出跨目标模型课程强化学习，攻破前沿模型冷启动瓶颈并实现跨模型迁移。
该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题，提出了一种基于目标模型鲁棒性递进的课程强化学习方法。
- 攻击arXiv 2609.37468
论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法
提出检索器后门攻击操纵智能体搜索，并用 DOU 逃避检测
- arXiv
- 2609.37468
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- E5、Contriever-MSMARCO
摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 被测模型
- AdaBoost、XGBoost、TabPFN 等 10 个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
- 攻击arXiv 2609.22510
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
提出条件触发的爆炸提示词，并设计摄入期检测器 DeFuse
- arXiv
- 2609.22510
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 15 个
摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。
- 防御arXiv 2609.21088
Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入
提出 Provenance-Aware Transformers，隔离不可信来源防御间接提示注入
- arXiv
- 2609.21088
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- SmolLM2-360M-Instruct、LLaMA-3-8B-Instruct、Qwen2.5-7B-Instruct 等 4 个
- 评测与基准arXiv 2609.19705
SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败
用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全失败
- arXiv
- 2609.19705
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- ChatGPT Deep Research
- 攻击提示注入
- 风险Agent 危险操作
- 组件记忆