攻击arXiv 2606.13044
研究者提出对抗性重新包装：不改科学内容仅调整表述即可拉高 AI 审稿分数
提出对抗重构，仅改表述以拉高 AI 审稿分数
- arXiv
- 2606.13044
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- GPT-5-mini、Claude Sonnet 4、Claude Sonnet 4.5
摘要揭示 AI 审稿系统易受纯表述重构操纵，建议在部署前解耦科学与写作评价。
红队 · 论文
另有 64 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2608.04741
LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击
提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息
- arXiv
- 2608.04741
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个
摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。
- 评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5-mini、GPT-5.6-luna、Claude Sonnet 5 等 7 个
- 攻击提示注入
- 防御arXiv 2610.05163
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入
- arXiv
- 2610.05163
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Codex CLI (v0.144.0, GPT-5.5)、GPT-5.5、GPT-5.6-Sol 等 7 个
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
- 评测与基准arXiv 2610.03153
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区 Agent 的运行时安全风险
- arXiv
- 2610.03153
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5
- 攻击提示注入
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
- 防御arXiv 2610.03089
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击
- arXiv
- 2610.03089
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个
摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.4、gpt-audio、Claude Opus 4.8 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
- 评测与基准arXiv 2608.09476
ActBench：面向协作智能体行为安全的自演化基准
提出自演化基准 ActBench，评测协作智能体的操作级行为安全
- arXiv
- 2608.09476
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、GPT-5.4-mini、Claude-Opus-4.8 等 15 个
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
- 防御arXiv 2608.06422
CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
提出分片监督，将评判标准分配给独立调用以抵御展示攻击
- arXiv
- 2608.06422
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 测试
- ChatGPT、Claude Opus 4.8、Claude Sonnet 4.6 等 5 个
摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。
本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。
- 攻击arXiv 2607.11698
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动研究循环，发现生产 Agent 的漏洞概念
- arXiv
- 2607.11698
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 黑盒
- 测试
- Codex、Minimax-M2.7、Kimi-K2.6 等 5 个
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
- 评测与基准arXiv 2608.00677
OpenART 提出环境演化红队框架
构建 OpenART 竞技场并以 EMHA 演化环境诱导 Agent 违规
- arXiv
- 2608.00677
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个
- 攻击arXiv 2609.17817
论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码
提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码
- arXiv
- 2609.17817
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- gpt-oss-120b、gpt-oss:20b、Claude Sonnet 4.5 等 6 个
摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-OSS 120B、GPT-5、Gemma-4 31B 等 6 个
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 攻击arXiv 2609.04495
研究将间接提示注入重新表述为测试时搜索问题
提出 Search Harness，把间接提示注入做成测试时搜索
- arXiv
- 2609.04495
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、Claude Opus 4.8、GLM-5.2
- 评测与基准arXiv 2609.19705
SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败
用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全
- arXiv
- 2609.19705
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4、GPT-4o、GPT-4o-mini 等 7 个
- 攻击提示注入
- 风险Agent 危险操作
- 组件记忆
- 攻击arXiv 2609.22510
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
提出条件触发的爆炸提示词，延迟激活 Agent 的间接提示注入
- arXiv
- 2609.22510
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4.1、OpenAI Codex、Llama-3.1-8B-Instruct 等 14 个
摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。
- 攻击arXiv 2609.31318
AgentXploit：面向 AI Agent 的仓库到运行时自动化红队系统
提出 AgentXploit 红队系统，分离仓库攻击路径发现与运行时利用
- arXiv
- 2609.31318
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gpt-5.1-codex、GPT-4.1
- 攻击arXiv 2609.33628
用课程强化学习对前沿模型做提示注入红队测试
提出跨目标课程强化学习，生成间接提示注入以劫持智能体
- arXiv
- 2609.33628
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4o-mini、GPT-5-nano、GPT-5.6-Luna 等 14 个
摘要提出跨目标模型课程强化学习，攻破前沿模型冷启动瓶颈并实现跨模型迁移。
该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题，提出了一种基于目标模型鲁棒性递进的课程强化学习方法。
- 攻击arXiv 2609.36576
AdaLCPI：让 Agent 从长上下文碎片中重建间接提示注入
提出 AdaLCPI，把间接提示注入拆成片段嵌入工具返回并自适应优化
- arXiv
- 2609.36576
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4.1、GPT-5.1、GPT-5.6-Luna 等 7 个
已经到底了