评测与基准arXiv 2602.08877
自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效
提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗
- arXiv
- 2602.08877
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个
摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。
红队 · 论文
另有 45 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2608.04741
LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击
提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息
- arXiv
- 2608.04741
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个
摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。
- 评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个
- 攻击提示注入
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个
- 防御arXiv 2610.06001
AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击
提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入
- arXiv
- 2610.06001
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。
本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。
- 攻击arXiv 2601.22169
In Vino Veritas and Vulnerabilities：用醉酒语言诱导检验 LLM 安全
用醉酒语言诱导改编对话模型并评测越狱与隐私泄露
- arXiv
- 2601.22169
- 发表
- 场景
- 模型与 API
- 测试
- LLaMA2-7B、LLaMA3-8B、Mistral-7B 等 5 个
摘要醉酒语言诱导在五个 LLM 上抬高越狱与部分隐私错误，作者将其视为攻击向量。
作者把醉酒语言当作攻击向量，检验把 LLM 适配成醉酒发短信的模式后，越狱和情境隐私是否变差。动机是人类醉酒时的失范与泄密，以及 LLM 模拟人设的能力。
- 评测与基准arXiv 2610.06503
研究评测五款开源文生图模型的有害内容生成与审核缺口
评测文生图模型的有害内容生成能力与审核检测缺口
- arXiv
- 2610.06503
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等 12 个
- 攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞
- arXiv
- 2610.05793
- 发表
- 测试
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
- 防御arXiv 2610.05163
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入
- arXiv
- 2610.05163
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 测试
- Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 评测与基准arXiv 2610.03153
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区 Agent 的运行时安全风险
- arXiv
- 2610.03153
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5
- 攻击提示注入
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
- 防御arXiv 2610.03089
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击
- arXiv
- 2610.03089
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个
摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
- 攻击arXiv 2609.18217
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件
- arXiv
- 2609.18217
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
- 评测与基准arXiv 2607.22671
AIR-BENCH Live 发布：可自动更新的基础模型安全基准
提出可自动更新的安全基准 AIR-BENCH Live，评测基础模型对有害请求的拒绝
- arXiv
- 2607.22671
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- GPT-5.5、Claude Opus 4.8、Claude Haiku 4.5 等 14 个
- 风险拒答失当
- 评测与基准arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 评测与基准arXiv 2609.19892
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
- arXiv
- 2609.19892
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
- 防御arXiv 2609.22178
SCOPE：训练有能力且安全的计算机使用智能体
提出 SCOPE 联合后训练计算机使用智能体的任务执行与安全决策
- arXiv
- 2609.22178
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen3.5-9B、SCOPE-mid-checkpoint、SCOPE-Capability-Safety 等 14 个
- 攻击arXiv 2607.11698
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动研究循环，发现生产 Agent 的漏洞概念
- arXiv
- 2607.11698
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 黑盒
- 测试
- Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。