防御arXiv 2605.17380
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级智能体检测系统 ADR，检测提示注入与恶意 MCP
- arXiv
- 2605.17380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-4o、Claude Sonnet 4、Llama Guard 3-8B 等 4 个
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
全部论文
另有 701 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成认证，仅当已知生成器都不能保真重构时签发真实图像证书
- arXiv
- 2610.05870
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- SD2.1、SD3、SD3.5 等 10 个
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 防御arXiv 2609.33039
TACIT：从 LLM 内部状态检测 Agent 轨迹危害
提出 TACIT，读取冻结隐藏状态以检测智能体有害轨迹
- arXiv
- 2609.33039
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3Guard-4B、LlamaGuard3-8B、AgentDoG-4B 等 9 个
- 防御检测与过滤
- 攻击提示注入
- 风险Agent 危险操作
- 组件护栏与评审
摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT，揭示工具风险表征特性并在多项基准上提升检测表现与效率。
- 防御arXiv 2609.08258
研究实测五套 Agent 记忆系统均不执行撤销标记
评测智能体记忆软撤回是否生效，并提出陈旧检索防护
- arXiv
- 2609.08258
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、Grok-4、DeepSeek-V4-Flash 等 9 个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件记忆
摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。
- 防御arXiv 2608.30703
SingProbe 发布开源内在护栏框架，适配 29 个开源模型
提出内生护栏 SingProbe，复用解码隐状态监测查询意图、回复安全与幻觉
- arXiv
- 2608.30703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Ling-3.0-tiny-singprobe、Ling-3.0-flash-singprobe、Gemini 3 Pro 等 14 个
摘要SingProbe 用轻量内生探针做生成时三类监测，并给出流式基准与低开销服务接入。
SingProbe 是面向生成时监测的开源内生护栏：复用基座解码隐状态，而不是另起模型反复编码文本。
- 防御arXiv 2608.21101
ClawSentry：面向自主 LLM Agent 的渐进式多层安全监控网关
提出多层监控网关 ClawSentry，拦截恶意技能供应链与上下文注入
- arXiv
- 2608.21101
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Codex/GPT-5.4、Codex/GPT-5.5、Claude Code/GLM-5.1 等 7 个
摘要ClawSentry 用包准入、三级运行时门控和反绕过，压低 skill 攻击并保住干净任务。
ClawSentry 是挂在智能体运行时之外的安全监督网关，用来同时盖住 skill 执行的多个生命周期边界，并把已被拒绝的效果记到会话里。
- 防御arXiv 2608.00716
生成图像更易被遗忘：面向合成图像检测的机器遗忘视角
提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图
- arXiv
- 2608.00716
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- DINOv2 ViT-S/14、DINOv2 ViT-B/14、DINOv2 ViT-L/14 等 9 个
摘要作者用剪枝或 LoRA 遗忘拉开生成图与自然图的特征相似度，并在多个检测基准上报告结果。
这篇工作把 AI 生成图像检测写成对预训练视觉模型的机器遗忘：原模型对两类图像损失都低，剪枝后生成图特征变得更不像原模型。
- 防御arXiv 2609.14079
SkillSecurer：检测并修补 AI Agent 技能中的提示注入漏洞
提出 SkillSecurer，检测定位并修补智能体技能中的提示注入
- arXiv
- 2609.14079
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Sonnet 5、Gemini 3.6 Flash、GPT-5.6 Sol 等 10 个
- 防御arXiv 2609.36562
ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害
构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险
- arXiv
- 2609.36562
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- ThinkingGuard（Qwen3-VL-8B-Instruct）、GPT-5.1、Claude-Sonnet-4-6 等 9 个
摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。
这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。
- 防御arXiv 2610.00883
DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性
提出推理时 Unicode 归一化的检测器，识别遭字符级扰动的 AI 生成文本
- arXiv
- 2610.00883
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- microsoft/deberta-v3-large、deberta-v3-base、bert-large-cased 等 14 个
摘要推理时归一化消除两类 Unicode 攻击，训练时归一化则会删掉对抗监督。
DeBERTa-ConPara 是一个面向部署的 AI 文本检测器：DeBERTa-v3-large 在多数据集原始文本上训练，推理前做确定性 Unicode 归一化，用一个固定阈值面对没有目标域标签的场景。
- 防御arXiv 2610.01058
MOMAT：面向量化 LLM 低功耗越狱防御的多图集混合框架
提出 MOMAT 多图集检索与轻量判定，防御量化模型越狱
- arXiv
- 2610.01058
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Llama2-13B、Llama2-7B、Mistral-7B
- 防御arXiv 2610.01788
SAGE：基于相似度从少量已验证样本中清洗中毒训练数据
提出 SAGE，用少量已核验样本按相似度清洗投毒训练数据
- arXiv
- 2610.01788
- 发表
- 场景
- 模型与 API
- 测试
- ResNet-18、VGG-16
- 防御arXiv 2609.39107
MASCRDM：面向大语言模型训练过程的合规风险检测与缓解多智能体系统
提出 MASCRDM，在监督微调中实时检测并缓解偏见
- arXiv
- 2609.39107
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-8B-Base、Llama-3.1-8B
摘要MASCRDM 在 SFT 中按法规图谱检测数据、结构与损失风险，BBQ 总准确率在两模型上最高。
MASCRDM 把 AI 法律规章编成知识图谱，再由五个智能体在 LLM 训练中做实时合规检测与缓解，实验以偏见与歧视为代表风险。
- 防御arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct 等 10 个
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 防御arXiv 2609.01046
HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏
提出生成式护栏 HiveTraceGuard-Pro，检测提示注入、越狱与混淆
- arXiv
- 2609.01046
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- HiveTraceGuard-Pro (0.6B)、YuFeng-XGuard-Reason-8B、SingGuard-2B 等 15 个
摘要0.6B 俄英护栏在自建俄语干净集和 PI-RU 上得分最高，聚合 key 居第三，过阻断和回复精度仍是作者标出的短板。
HiveTraceGuard-Pro 是面向请求与回复审核的 0.6B 生成式护栏，由 Qwen3-0.6B 经 LoRA 微调，在俄语和英语上训练，只输出一个 safe/unsafe 裁决。
- 防御arXiv 2609.04159
Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心
提出 Sentinel-RL，将拓扑推理卸载到图策略并约束遏制动作
- arXiv
- 2609.04159
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- HetGAT、PPO、4-bit quantized 8B model
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要Sentinel-RL 用图编码器与 PPO 承担拓扑决策，LLM 负责叙述与门控，并在 LANL 上报告检测与时延。
Sentinel-RL 是面向 SOC 的神经符号架构：拓扑决策离开 LLM，改由认证图上的 HetGAT 与 PPO 完成。
- 防御arXiv 2609.10613
后验重加权框架解释并缓解多模态大模型上下文越狱
用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御
- arXiv
- 2609.10613
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B 等 9 个
摘要后验重加权解释上下文越狱的缩放，并支持风险门控的良性示例防御。
Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移，并据此做风险门控防御。
- 防御arXiv 2609.27124
Fed-ADR：用恶意编排服务器协同客户端梯度操纵攻击联邦学习
提出 Fed-ADR，用编排服务器协同操纵梯度攻破联邦学习并检测恢复
- arXiv
- 2609.27124
- 发表
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 测试
- CNN（MNIST：2 Conv + 3 FC）、CNN（Fashion-MNIST：6 Conv + 1 FC）、ResNet18（CIFAR-10）
摘要Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御，再用 Hessian 一致性检测和窗口内恢复把准确率拉回。
Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架：编排服务器改写合谋客户端的梯度，使参数服务器的现有防御把投毒更新当成良性，同时在发现后用历史梯度把全局模型原地修回来。
- 防御arXiv 2607.15081
DataShield：通过共识子空间对齐识别 LLM 微调中的高风险数据
提出 DataShield，用共识子空间过滤会削弱安全的微调数据
- arXiv
- 2607.15081
- 发表
- 场景
- 模型与 API
- 测试
- Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 8 个
- 防御arXiv 2609.38239
推理层安全：防御对抗性推理与基础设施滥用
用 SCM 合成会话并训练检测器识别推理层滥用
- arXiv
- 2609.38239
- 发表
- 场景
- 模型与 API
- 测试
- gradient-boosted detector (GBDT/XGBoost)