红队 · 论文

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

AIR-BENCH Live 发布：可自动更新的基础模型安全基准

提出可自动更新的安全基准 AIR-BENCH Live，评测基础模型对有害请求的拒绝

arXiv

2607.22671

发表

7月7日

层

模型层

场景

模型与 API

测试

GPT-5.5、Claude Opus 4.8、Claude Haiku 4.5 等 14 个

• 风险拒答失当

研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”

用演化算法构造思维病毒并测量其在多智能体中的传播

arXiv

2608.10218

发表

8月11日

层

应用层

场景

多智能体、编程 Agent

测试

Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个

• 风险失准与价值偏离
• 组件记忆

研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

提出预算化发现框架，优先深评更可能隐藏失败的安全提示词

arXiv

2609.32547

发表

9月26日

层

模型层

场景

模型与 API

测试

Qwen 2.5 7B、Qwen/Qwen2.5-7B-Instruct-Turbo、Gemma 3n E4B 等 6 个

• 风险拒答失当

A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据

arXiv

2610.00392

发表

10月2日

层

应用层

场景

多智能体、编程 Agent

测试

MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个

• 攻击提示注入
• 技术潜伏触发
• 组件MCP 与技能
• +1+1

如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验

检验儿童受众框架是否让前沿模型收敛到同一套架构母题

arXiv

2609.14803

发表

9月14日

层

模型层

场景

模型与 API

测试

OpenAI GPT-6 Astra、OpenAI GPT-5.6 Sol、Anthropic Claude Opus 5 等 6 个

• 风险幻觉与编造

RWPS：面向网络安全博弈的高效纳什均衡计算

提出 RWPS，在固定仿真预算下估计安全博弈收益并求均衡

arXiv

2609.19399

发表

9月17日

层

应用层

场景

多智能体

TrustFork：显示身份如何劫持 LLM 智能体编排的权限

提出 TRUSTFORK 基准，评测展示身份劫持多智能体编排权限

arXiv

2609.32635

发表

9月26日

层

应用层

场景

多智能体、编程 Agent

测试

GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3 等 8 个

• 攻击提示注入
• +1+1