评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，评测分解攻击与提示注入轨迹
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
全部论文
另有 608 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.01365
ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
- arXiv
- 2610.01365
- 发表
- 场景
- 模型与 API
- 测试
- GPT-2 Small、GPT-2 Medium、GPT-2 Large 等 6 个
摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
- 攻击arXiv 2607.26115
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
提出自博弈红队智能体 GPT-Red，自动挖掘提示注入与越狱攻击
- arXiv
- 2607.26115
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- GPT-5.6、GPT-5.5、GPT-5.4 等 8 个
- 防御arXiv 2609.02786
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
- arXiv
- 2609.02786
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
- 攻击arXiv 2607.11698
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动研究循环，发现生产 Agent 的漏洞概念
- arXiv
- 2607.11698
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 黑盒
- 测试
- Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
- 防御arXiv 2610.00209
基于差分隐私扩散模型的能源时间序列插补：裁剪感知的目标条件化方法
提出时间步感知目标条件化，改善差分隐私能源时序插补效用
- arXiv
- 2610.00209
- 发表
- 场景
- 模型与 API
- 测试
- DiT-style Transformer、PatchTST、TimesNet 等 5 个
- 攻击提取与窃取
摘要固定阈值 DP-SGD 下，v-prediction 加 ᾱt 加权降低能源时序插补误差，并降低后期低 SNR 的裁剪前梯度。
作者研究固定阈值 DP-SGD 训练的扩散模型，如何在余弦调度的后期低 SNR 时间步避免 ε-prediction 产生易被裁剪的大梯度，从而做能源时序缺失值恢复。
- 防御arXiv 2609.37858
存储不等于策略：面向 LLM 遗忘的状态条件支持控制
提出 Intervention Score 与 DIR-R，按干预效果选择并修订遗忘参数支持
- arXiv
- 2609.37858
- 发表
- 场景
- 模型与 API
- 测试
- Llama 3 8B、Gemma 2 2B、Qwen2.5-7B 等 4 个
摘要作者把局部化遗忘拆成初始干预选择和检查点修订，并在三个设置里分别给证据和边界。
Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定：一开始该更新哪些参数，以及优化改变模型之后这个选择要不要改。
- 防御arXiv 2610.00400
DART：用表征位移检测多轮 LLM 智能体中的新兴安全风险
提出 DART，用去噪表征转移检测多轮智能体攻击并注入提醒
- arXiv
- 2610.00400
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- Qwen3-8B、Qwen3-14B、Qwen3-32B 等 6 个
- 防御arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct 等 10 个
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 防御arXiv 2609.02293
SEAL：通过共享专家对齐强化 MoE 全局安全
提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改
- arXiv
- 2609.02293
- 发表
- 场景
- 模型与 API
- 测试
- Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash 等 4 个
摘要SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。
SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。
- 其他arXiv 2609.12413
SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量
综述智能体执行链路中的越狱攻击、防御与实践权衡
- arXiv
- 2609.12413
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Llama-3.1-8B-Instruct
摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。
- 评测与基准arXiv 2609.27336
CART：面向大语言模型的闭环自适应红队框架
提出闭环自适应红队框架 CART，评测模型与工具 Agent 的风险面
- arXiv
- 2609.27336
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Opus 4.8、GPT-5.5、Grok 4.3 等 7 个
- 攻击越狱
摘要CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。
CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。
- 攻击arXiv 2608.30441
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
提出 ECLIPSE 双通道自演化提示注入，劫持长程智能体动作轨迹
- arXiv
- 2608.30441
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个
- 防御arXiv 2609.05903
EvoSafeHarness：为 Agent 自动演化模型与领域专属安全护栏
提出 EvoSafeHarness，为冻结模型与目标域自动搜索安全 harness
- arXiv
- 2609.05903
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Sonnet 4.6、GLM-5、Kimi-K2.5 等 10 个
- 防御arXiv 2609.36603
SED：面向 LLM 智能体的免训练持续安全策略学习框架
提出免训练框架 SED，把智能体有害轨迹蒸馏成可检索安全策略
- arXiv
- 2609.36603
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4-Flash、GLM-5.2、Kimi K3
- 评测与基准arXiv 2609.29429
Jev 被用于零样本检测十类对齐失败，中位 AUROC 达 0.886
提出 RLCDAlignBench，零样本检测多种对齐失败
- arXiv
- 2609.29429
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Jev (jev-1.13.0)、Qwen3.5-2B、Phi-4-mini 等 6 个
摘要一次通用问题已能给多数对齐失败排序，大的误差来自状态和标签。
RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。
- 攻击arXiv 2609.33985
研究：众包微调数据投毒可放大专有指令抽取
提出主题锚点投毒，放大众包微调后的专有指令提取
- arXiv
- 2609.33985
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 等 6 个
摘要论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
摘要梯度上升类方法更接近简单评测下的重训参照，复杂方法会被知情攻击认出，多说话人更差。
已经到底了