10月8日 · 周四

红队 · 论文

找到 21 篇

筛选1

系统形态

模型与 API2 AI Agent19 编程 Agent11 网页与电脑操作2 多智能体2

攻击者权限

黑盒1 白盒1

攻击面/入口

用户输入4 网页与界面2 工具返回4 工具与技能描述4 代码仓库与依赖4 记忆写入2 Agent 间消息2 图像与音视频1 分发渠道2

层

提示层2 应用层19

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。

被测模型厂商：智谱 GLM 话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

评测与基准arXiv:2609.22076 · 9月18日
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
AI Agent测试GLM-5.3、Claude Fable 5.1、Claude Sonnet 5 等 14 个应用层
完整解读
攻击arXiv:2610.09240 · 10月7日
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
网页与电脑操作测试CogVLM、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个应用层
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
完整解读
评测与基准arXiv:2610.07639 · 10月6日
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制
编程 Agent测试GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个应用层
完整解读
分析与理论arXiv:2610.06001 · 10月5日
AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击
提出 AgentSpy，在系统调用层观测编程智能体并检测技能注入攻击
编程 Agent测试glm-5.3-flash、gpt-5.6-terra、deepseek-v4-flash 等 4 个应用层
摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。
本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。
完整解读
评测与基准arXiv:2604.02947 · 4月3日
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
网页与电脑操作编程 Agent测试GLM-4.6、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个应用层
- 恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
完整解读
攻击arXiv:2609.18217 · 9月16日
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据
编程 Agent测试GLM-5、GPT-4o、GPT-4o-mini 等 15 个应用层
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
完整解读
攻击arXiv:2609.39607 · 9月30日
Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器
提出 PRETEXT，迭代改写技能文本以绕过扫描并执行木马行为
编程 Agent攻击者白盒测试glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个应用层
摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。
PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。
完整解读
评测与基准arXiv:2608.09476 · 8月10日
ActBench：面向协作智能体行为安全的自演化基准
构建 ActBench 评测协作智能体多步执行中的操作级行为安全
编程 Agent测试GLM-5.2、Claude-Opus-4.8、Claude-Sonnet-4.6 等 15 个应用层
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
完整解读
风险行为arXiv:2609.35799 · 9月18日
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
AI Agent测试GLM 5.2、GLM 5.3、Kimi K3 等 9 个应用层
- 失准与价值偏离
- 权限与沙箱
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
完整解读
评测与基准arXiv:2609.23980 · 9月21日
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
编程 Agent测试OpenCode/GLM-5.2、OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol 等 5 个应用层
- 危险能力
完整解读
评测与基准arXiv:2609.19892 · 9月17日
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
编程 Agent测试GLM-4.7、GLM-5.2、GLM-5.3 等 15 个应用层
- Agent 危险操作
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
完整解读
评测与基准arXiv:2608.00677 · 8月1日
OpenART 提出环境演化红队框架
提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全
编程 Agent测试GLM-5.2、GPT-5.5、Claude-Opus-4.8 等 5 个应用层
- 提示注入
- 自动化搜索
完整解读
攻击arXiv:2610.00392 · 10月2日
A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型
提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据
多智能体编程 Agent测试glm-5.3、MiniMax-M3、deepseek-v4-pro 等 8 个应用层
摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。
A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。
完整解读
评测与基准arXiv:2606.14295 · 6月12日
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
编程 Agent测试GLM-5.1、GPT-5.5、Claude-Opus-4.7 等 7 个应用层
- 危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
完整解读
攻击arXiv:2607.18056 · 7月20日
上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险
提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害
模型与 API测试GLM-5.2、DeepSeek-V3、Kimi-K2.6 等 14 个提示层
摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。
完整解读
攻击arXiv:2608.16465 · 8月17日
JailbreakSkill：用可复用可演化技能扩展自动化红队
提出 JailbreakSkill，用可演化技能自动搜索并复用越狱提示
模型与 API攻击者黑盒测试GLM 5.2、DeepSeek-V4-Pro Preview、Llama-3.3-70B-Instruct 等 8 个提示层
- 越狱
- 自动化搜索
完整解读
评测与基准arXiv:2609.32635 · 9月26日
TrustFork：显示身份如何劫持 LLM 智能体编排的权限
提出 TRUSTFORK，评测展示身份如何劫持多智能体编排的操作权限
多智能体测试GLM-5.2、GLM-4.7、GPT-5.6-Sol 等 8 个应用层
- 诱导选用
摘要论文提出了多智能体安全基准 TRUSTFORK，揭示展示身份如何劫持操作权威，并证明事后验证无法弥补已发生的执行破坏。
完整解读
评测与基准arXiv:2609.30325 · 9月24日
dreadnode 发布 ScopeBench：测量 Agent 在目标压力下是否守住授权边界
提出 ScopeBench，测量渗透智能体在目标压力下的范围遵从
AI Agent测试z-ai/glm-5.2、claude-opus-4-8、claude-sonnet-4-6 等 8 个应用层
- Agent 危险操作
完整解读
评测与基准arXiv:2609.30217 · 9月25日
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
AI Agent测试GLM 5.2、GLM-5.3 Flash、DeepSeek V4 Flash 等 12 个应用层
完整解读
攻击arXiv:2609.33628 · 9月27日
用课程强化学习对前沿模型做提示注入红队测试
提出跨目标课程强化学习，生成间接提示注入以劫持智能体
AI Agent测试GLM-5.3-flash、Qwen3-4B-Instruct-2507、GPT-4o-mini 等 14 个应用层
- 提示注入
- 自动化搜索
摘要提出跨目标模型课程强化学习，攻破前沿模型冷启动瓶颈并实现跨模型迁移。
该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题，提出了一种基于目标模型鲁棒性递进的课程强化学习方法。
完整解读

加载更多

红队 · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击者权限

攻击面/入口

层

系统组件

被测模型厂商

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

AgentHazard：评估计算机使用智能体有害行为的基准

研究：跨通道碎片化攻击可绕过 MCP 单通道防御

Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

ActBench：面向协作智能体行为安全的自演化基准

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

OpenART 提出环境演化红队框架

A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

JailbreakSkill：用可复用可演化技能扩展自动化红队

TrustFork：显示身份如何劫持 LLM 智能体编排的权限

dreadnode 发布 ScopeBench：测量 Agent 在目标压力下是否守住授权边界

EvasionBench：普通任务压力下智能体出现工具性监控规避

用课程强化学习对前沿模型做提示注入红队测试