防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 防御arXiv 2610.05163
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出 PAA 方法，在边界动作前审计长流程智能体的分阶段提示注入
- arXiv
- 2610.05163
- 发表
- 层
- 应用层
- 被测模型
- Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
- 防御arXiv 2609.38909
Purdue 提出 Pact：将欺骗作为行为遗忘
提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解
- arXiv
- 2609.38909
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- DeepSeek-R1-Distill-Qwen-32B、QwQ-32B
摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 被测模型
- AdaBoost、XGBoost、TabPFN 等 10 个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具 Agent 的思维链以绕过推理监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 防御arXiv 2608.12876
SPARED：用对抗编辑数据训练基于推理的 AI 生成图像检测器
提出 SPARED，用对抗编辑数据训练基于推理的 AI 生成图像检测器
- arXiv
- 2608.12876
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3.5-9B
摘要SPARED 用防捷径的编辑对抗环训练 9B 推理检测器。
SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程，报告模型是 Qwen3.5-9B 上的第三轮防御器。
- 防御arXiv 2607.19913
Janus：面向长时程智能体安全的前瞻性潜在风险预测框架
提出 Janus 前瞻守卫，在长程智能体执行有害动作前拦截潜在风险
- arXiv
- 2607.19913
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Vanguard
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
- 攻击arXiv 2606.14517
研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击
提出针对 Agent 护栏的推理扩展拒绝服务攻击
- arXiv
- 2606.14517
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- TS-Guard-8B、Qwen3.5-9B、DeepSeek-V3.2 等 11 个
- 攻击arXiv 2606.12716
PaperGuard：针对多模态 AI 同行评审的攻击与防御基准
提出 PaperGuard，用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令
- arXiv
- 2606.12716
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Claude-sonnet-4.5、GPT-4o、GPT-4.1 等 11 个
摘要PaperGuard 测到提示注入与白盒视觉抬分，并比较分块检索防御。
PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。
- 防御arXiv 2605.17380
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级检测系统 ADR，识别编程 Agent 的提示注入与恶意 MCP
- arXiv
- 2605.17380
- 发表
- 层
- 应用层
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
- 攻击arXiv 2406.12814
论文提出 ARE 框架，在 VisualWebArena 上评估多模态 Agent 的对抗鲁棒性
提出 ARE 框架与图像文本攻击，评测多模态网页 Agent 的对抗鲁棒性
- arXiv
- 2406.12814
- 发表
- 层
- 应用层
- 被测模型
- GPT-4o、GPT-4V、Claude-3-Opus 等 4 个
摘要系统评估多模态网页智能体的脆弱性，指出推理时计算组件被攻破会加剧系统风险。
已经到底了