攻击arXiv 2607.26115
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
提出自博弈红队智能体 GPT-Red，自动挖掘提示注入与越狱攻击
- arXiv
- 2607.26115
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- GPT-5.6、GPT-5.5、GPT-5.4 等 8 个
全部论文
另有 548 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2609.02786
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
- arXiv
- 2609.02786
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
- 防御arXiv 2609.02293
SEAL：通过共享专家对齐强化 MoE 全局安全
提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改
- arXiv
- 2609.02293
- 发表
- 场景
- 模型与 API
- 测试
- Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash 等 4 个
摘要SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。
SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。
- 其他arXiv 2609.12413
SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量
综述智能体执行链路中的越狱攻击、防御与实践权衡
- arXiv
- 2609.12413
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Llama-3.1-8B-Instruct
摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。
- 攻击arXiv 2608.30441
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
提出 ECLIPSE 双通道自演化提示注入，劫持长程智能体动作轨迹
- arXiv
- 2608.30441
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个
已经到底了