10月8日 · 周四

红队 · 论文

找到 25 篇

筛选1

系统组件

MCP 与技能9 记忆3 护栏与评审3 监控器3 权限与沙箱2 微调与开源权重1 视觉1 多模态1

被测模型厂商

OpenAI21 Anthropic20 Qwen（阿里）17 DeepSeek15 智谱 GLM11 Kimi（月之暗面）11 Google7 MiniMax7 其他9

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。

系统形态：编程 Agent 话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

评测与基准arXiv:2606.05647 · 6月4日
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
编程 Agent测试Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个应用层
- 欺骗与谋划
- 监控器
完整解读
评测与基准arXiv:2610.07639 · 10月6日
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制
编程 Agent测试GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个应用层
完整解读
分析与理论arXiv:2610.06001 · 10月5日
AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击
提出 AgentSpy，在系统调用层观测编程智能体并检测技能注入攻击
编程 Agent测试gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个应用层
摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。
本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。
完整解读
攻击arXiv:2610.05793 · 10月5日
研究者训练出按多智能体拓扑触发的代码后门模型
微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞
编程 Agent测试Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct训练与数据层
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
完整解读
防御arXiv:2610.05163 · 10月4日
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入
编程 Agent测试Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个应用层
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
完整解读
评测与基准arXiv:2604.02947 · 4月3日
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
网页与电脑操作编程 Agent测试Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个应用层
- 恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
完整解读
评测与基准arXiv:2610.03153 · 10月2日
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区智能体的运行时安全风险
编程 Agent 多智能体测试GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5应用层
- 提示注入
- MCP 与技能
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
完整解读
攻击arXiv:2609.18217 · 9月16日
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据
编程 Agent测试GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个应用层
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
完整解读
攻击arXiv:2609.39607 · 9月30日
Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器
提出 PRETEXT，迭代改写技能文本以绕过扫描并执行木马行为
编程 Agent攻击者白盒测试glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个应用层
摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。
PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。
完整解读
评测与基准arXiv:2608.09476 · 8月10日
ActBench：面向协作智能体行为安全的自演化基准
构建 ActBench 评测协作智能体多步执行中的操作级行为安全
编程 Agent测试Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个应用层
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
完整解读
评测与基准arXiv:2609.23980 · 9月21日
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
编程 Agent测试OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个应用层
- 危险能力
完整解读
评测与基准arXiv:2609.19892 · 9月17日
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
编程 Agent测试Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个应用层
- Agent 危险操作
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
完整解读
攻击arXiv:2607.11698 · 7月13日
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动科研循环，发现生产级智能体的可复用漏洞概念
编程 Agent攻击者黑盒测试Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个应用层
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
完整解读
评测与基准arXiv:2608.00677 · 8月1日
OpenART 提出环境演化红队框架
提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全
编程 Agent测试GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个应用层
- 提示注入
- 自动化搜索
完整解读
评测与基准arXiv:2608.12851 · 8月13日
研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险
构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险
编程 Agent测试Claude Code、Codex、Hermes 等 6 个应用层
完整解读
风险行为arXiv:2608.10218 · 8月11日
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
多智能体编程 Agent测试Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个应用层
- 失准与价值偏离
- 记忆
完整解读
防御arXiv:2609.14079 · 9月13日
SkillSecurer：检测并修补 AI Agent 技能中的提示注入漏洞
提出 SkillSecurer，检测定位并修补智能体技能中的提示注入
编程 Agent测试Claude Sonnet 5、Gemini 3.6 Flash、GPT-5.6 Sol 等 10 个应用层
完整解读
攻击arXiv:2609.17817 · 9月16日
论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码
提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码
编程 Agent测试Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个应用层
- 投毒与后门
- 潜伏触发
摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。
完整解读
攻击arXiv:2610.00392 · 10月2日
A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型
提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据
多智能体编程 Agent测试MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个应用层
摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。
A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。
完整解读
评测与基准arXiv:2609.09798 · 9月9日
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏
编程 Agent攻击者黑盒无盒测试CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个应用层
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
完整解读

加载更多

红队 · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击者权限

攻击面/入口

层

系统组件

被测模型厂商

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

研究者训练出按多智能体拓扑触发的代码后门模型

研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

AgentHazard：评估计算机使用智能体有害行为的基准

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

研究：跨通道碎片化攻击可绕过 MCP 单通道防御

Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

ActBench：面向协作智能体行为安全的自演化基准

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

AHA 用自动研究循环发现生产 Agent 漏洞概念

OpenART 提出环境演化红队框架

研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险

研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”

SkillSecurer：检测并修补 AI Agent 技能中的提示注入漏洞

论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准