10月8日 · 周四

红队 · 论文

找到 24 篇

筛选1

系统组件

MCP 与技能5 记忆2 护栏与评审2 监控器3 权限与沙箱2 视觉2 音频1 多模态2

被测模型厂商

OpenAI24 Anthropic21 Qwen（阿里）18 DeepSeek13 智谱 GLM12 Google11 Kimi（月之暗面）11 Meta8 MiniMax6 其他11

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。

被测模型厂商：OpenAI 话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

评测与基准arXiv:2610.08871 · 10月6日
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
网页与电脑操作测试GPT-5-mini、GPT-5.6-luna、Claude Sonnet 5 等 7 个应用层
完整解读
评测与基准arXiv:2609.22076 · 9月18日
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
AI Agent测试GPT-6 Astra、GPT-5.6 Terra、GPT-5.6 Luna 等 14 个应用层
完整解读
评测与基准arXiv:2606.05647 · 6月4日
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
编程 Agent测试GPT-5.4、Claude-Opus-4.6、Gemini-3.1-Pro 等 5 个应用层
- 欺骗与谋划
- 监控器
完整解读
评测与基准arXiv:2610.03585 · 10月2日
宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响
提出 TPRS，量化工具命名等表征变化对智能体安全基准得分的影响
AI Agent测试GPT-5-mini、GPT-4o-mini、Claude Haiku 4.5应用层
完整解读
评测与基准arXiv:2610.02827 · 10月2日
MLCommons 发布 Jailbreak Benchmark v1.0
构建 MLCommons 越狱基准以测量模型的单轮越狱韧性
模型与 API测试GPT-OSS 120B、Gemma 3N E4B Instruct、LFM2-24B-A2B 等 8 个提示层
- 越狱
摘要论文建立了单轮越狱评测的标准化端到端方法学体系，揭示了开源大模型在对抗提示词下的安全性能降级与大模型负差距现象。
完整解读
评测与基准arXiv:2610.03153 · 10月2日
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区智能体的运行时安全风险
编程 Agent 多智能体测试GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5应用层
- 提示注入
- MCP 与技能
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
完整解读
评测与基准arXiv:2609.09404 · 9月9日
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
AI Agent测试GPT-5.4、gpt-audio、Claude Opus 4.8 等 6 个应用层
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
完整解读
评测与基准arXiv:2608.09476 · 8月10日
ActBench：面向协作智能体行为安全的自演化基准
构建 ActBench 评测协作智能体多步执行中的操作级行为安全
编程 Agent测试GPT-5.5、GPT-5.4-mini、Claude-Opus-4.8 等 15 个应用层
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
完整解读
风险行为arXiv:2609.35799 · 9月18日
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
AI Agent测试GPT 5.6 Sol、GLM 5.2、GLM 5.3 等 9 个应用层
- 失准与价值偏离
- 权限与沙箱
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
完整解读
评测与基准arXiv:2609.23980 · 9月21日
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
编程 Agent测试OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个应用层
- 危险能力
完整解读
评测与基准arXiv:2609.19892 · 9月17日
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
编程 Agent测试GPT-5.5、GPT-5.6-Luna、GPT-5.6-Sol 等 15 个应用层
- Agent 危险操作
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
完整解读
评测与基准arXiv:2608.00677 · 8月1日
OpenART 提出环境演化红队框架
提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全
编程 Agent测试GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个应用层
- 提示注入
- 自动化搜索
完整解读
评测与基准arXiv:2608.12851 · 8月13日
研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险
构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险
编程 Agent测试Codex、Claude Code、Hermes 等 6 个应用层
完整解读
评测与基准arXiv:2609.32547 · 9月26日
研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败
提出预算化发现框架，优先深评更可能隐藏失败的安全提示词
模型与 API测试GPT-4o-mini、openai/gpt-4o-mini、Qwen 2.5 7B 等 6 个模型层
- 拒答失当
摘要浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。
作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。
完整解读
评测与基准arXiv:2609.09798 · 9月9日
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏
编程 Agent攻击者黑盒无盒测试GPT-OSS-20B、GPT5-mini、CodeLlama-13B-Instruct 等 7 个应用层
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
完整解读
评测与基准arXiv:2609.19587 · 9月17日
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
编程 Agent测试GPT 5.6 Luna、Opus 5、Opus 4.8 等 8 个应用层
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
完整解读
评测与基准arXiv:2606.14295 · 6月12日
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
编程 Agent测试GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个应用层
- 危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
完整解读
评测与基准arXiv:2608.03070 · 8月4日
FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0
建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力
模型与 API测试GPT-5.6 Sol、GPT-5.5、Claude Fable 5 等 8 个提示层
- 越狱
- 护栏与评审
摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。
本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。
完整解读
攻击arXiv:2608.30441 · 8月31日
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
提出 ECLIPSE 双通道自演化提示注入，劫持长程智能体动作轨迹
AI Agent攻击者黑盒测试GPT-4o、GPT-5.6 Luna、DeepSeek 等 7 个应用层
完整解读
评测与基准arXiv:2609.32635 · 9月26日
TrustFork：显示身份如何劫持 LLM 智能体编排的权限
提出 TRUSTFORK，评测展示身份如何劫持多智能体编排的操作权限
多智能体测试GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3 等 8 个应用层
- 诱导选用
摘要论文提出了多智能体安全基准 TRUSTFORK，揭示展示身份如何劫持操作权威，并证明事后验证无法弥补已发生的执行破坏。
完整解读

加载更多

红队 · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击者权限

攻击面/入口

层

系统组件

被测模型厂商

CredLeak-Bench

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响

MLCommons 发布 Jailbreak Benchmark v1.0

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

ActBench：面向协作智能体行为安全的自演化基准

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

OpenART 提出环境演化红队框架

研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险

研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击

TrustFork：显示身份如何劫持 LLM 智能体编排的权限