防御arXiv 2610.05640
研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL
提出 multi-CaMeL，在智能体调用边界隔离可信指令与非可信数据
- arXiv
- 2610.05640
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个
摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。
- 防御arXiv 2610.04763
UT Austin 将 SynthID 水印嵌入基因组语言模型，凭 DNA 序列和密钥追溯 AI 生成片段
把 SynthID 嵌入基因组语言模型采样，并用位置无关检测追溯生成序列
- arXiv
- 2610.04763
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Carbon-500M、GENERator-v2-eukaryote-1.2b-base
摘要两个六碱基基因组模型嵌入 SynthID 后，位置无关验证能找回水印，作者称这只是统计检测。
作者在两个六碱基基因组模型的采样里嵌入 SynthID，并让验证者在不知道起点、链和 token phase 时做一次校正后的检出。
- 防御arXiv 2610.04426
UnAct：无需梯度的定向激活干预实现类别遗忘
提出 UnAct，仅以前向激活干预从分类器中遗忘指定类别
- arXiv
- 2610.04426
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- ResNet-18、ViT-B/16
摘要UnAct 用前向激活做类别遗忘。
UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。
- 防御arXiv 2610.02817
RMCW：基于 Reed-Muller 码的抗删除 LLM 水印方法
提出抗删除水印 RMCW，在生成时注入 Reed-Muller 结构并做局部检验
- arXiv
- 2610.02817
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- OPT-1.3B、Llama-3.1-8B-Instruct
- 攻击arXiv 2609.39788
研究：多智能体系统潜在通信链路可被训练用于提升有害顺从
提出只训练或篡改多智能体潜在通信链路来提高有害遵从
- arXiv
- 2609.39788
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Llama-3.2-3B-Instruct、Qwen2.5-3B-Instruct、Gemma-3-1B-IT 等 7 个
摘要潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。
学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。
- 评测与基准arXiv 2609.39146
MADBench：多智能体辩论安全性评测基准发布
提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响
- arXiv
- 2609.39146
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- gpt-4o、GPT-5、GPT-6 Astra
摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。
MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。
- 防御arXiv 2610.00348
NEEDLE：通过权重正交化移除 LLM 后门
提出 NEEDLE，用权重正交化在已知触发器时去除大模型后门
- arXiv
- 2610.00348
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gemma-3-4B-IT、Qwen3-4B-Instruct-2507、Gemma-3-12B-IT
摘要NEEDLE 用闭式权重编辑去掉已知触发器的后门，并保住拒绝子空间。
- 防御arXiv 2609.36372
TTMark：超越单 token 熵的成对无失真水印
提出成对无失真水印 TTMARK，增强低熵下的机器文本检测
- arXiv
- 2609.36372
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama3.2-3B-Instruct、Mistral-v0.3-7B-Instruct、Qwen2.5-7B-Instruct
摘要TTMARK 用水印化相邻 token 对利用条件熵，在多种无失真方案上提高检测并保持生成质量。
TTMARK 是一种成对、无失真的文本水印：对相邻 token 的联合分布重加权，而不是逐 token 独立重加权。
- 评测与基准arXiv 2609.24662
DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准
提出双控多智能体基准 DUMA-Bench，测量对抗环境下的策略违反
- arXiv
- 2609.24662
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5、GPT-5-mini、GPT-5-nano 等 14 个
- 攻击提示注入
摘要DUMA-Bench 用双控交互评测智能体安全。
DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。
- 防御arXiv 2609.22949
多智能体系统提示注入威胁模型与防御架构：14 类攻击向量与四类防御
提出多智能体系统提示注入的威胁模型与四层架构防御
- arXiv
- 2609.22949
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-4o (2024-08-06)、Claude 3.5 Sonnet、Llama 3 70B-Instruct
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
提出 Emergence World，对长时程多智能体系统开展对抗压力测试
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 防御arXiv 2609.14257
DenMark：面向扩散语言模型的鲁棒语义水印
提出 DenMark，在扩散语言模型去噪时注入可抵抗保义编辑的语义水印
- arXiv
- 2609.14257
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- LLaDA-8B、LLaDA1.5-8B、LLaDA2.0-mini 等 4 个
摘要DenMark 用 rollout 在 DLM 去噪中累积语义水印，扫描检测以抵抗保义编辑。
DenMark 是面向扩散语言模型的语义水印：在去噪的局部更新里注入密钥相关语义信号，并在编辑改变 token 边界后仍检测。现有句子级语义水印要先完成整个语义单元再打分取舍，而 DLM 以任意顺序更新掩码，中间单元不完整。DenMark 把续写划成固定 token 区域，对每个局部候选做不提交的 rollout 补全，按语义分 gb 的平均选择更新，从而沿轨迹累积证据。
- 可解释性arXiv 2609.07746
LLM Forensics：用稀疏自编码器定位并控制后门触发机制
用 SAE 定位后门触发机制并分离检测与因果控制
- arXiv
- 2609.07746
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gaperon-1B、Gaperon-8B、Gaperon-24B
- 攻击投毒与后门
摘要Gaperon 语言切换后门可分成检测、残差路由和后期语言跟踪三类 SAE 特征，只有部分能改行为。
作者用稀疏自编码器分解 Gaperon 中无害的语言切换后门，区分识别触发的特征与真正能抑制或诱发该行为的特征。固定触发使英语提示在 Gaperon-1B 与 8B 上续写成法语或德语。
- 可解释性arXiv 2609.06934
论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击
解释后验安全的权重几何脆弱性，并提出预训练持续安全共训练
- arXiv
- 2609.06934
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen-2.5-7B、Qwen-2.5-7B-Instruct、Llama-3-8B 等 15 个
摘要论文将后验安全脆弱性归因于正交抑制，并提出通过预训练持续共训练实现具备微调抗性的安全防护。
- 防御arXiv 2609.00786
MROP：针对 Deep JSCC 后门攻击的掩码区域优化净化方法
提出 MROP，在发射端推理时纯化输入以抵御训练投毒后门
- arXiv
- 2609.00786
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- DeepJSCC、SwinJSCC
摘要MROP 不重训练，在发射端纯化补丁后门。
MROP 是 deep JSCC 无线图像传输上的推理时输入纯化，对象是矩形补丁后门。
- 防御arXiv 2608.12713
互补 LLM 水印如何追踪来源并检测篡改
提出 Cocktail 水印，共嵌稳健与脆弱信号以溯源并发现篡改
- arXiv
- 2608.12713
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3.2-1B、Gemma-3-4B
- 攻击arXiv 2608.03642
规避与投毒攻击对恶意软件数据漂移检测器的实证分析
用通用扰动对恶意软件分类器及漂移检测器做规避与后门投毒
- arXiv
- 2608.03642
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- MLP 100-100、CADE (CAE 512-384-256-128)、CADE (CAE 512-128-32-8) 等 6 个
- 攻击arXiv 2608.00718
研究揭示多智能体 LLM 流水线的结构性漏洞
提出多智能体流水线的边界攻击，使对抗内容作为可信输入跨层传播
- arXiv
- 2608.00718
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5-mini、Claude Sonnet 4.5、Kimi K2.5
- 攻击提示注入
摘要缺边界校验使对抗内容跨智能体传播，作者称这是架构属性而非模型能力。
作者把多智能体 LLM 流水线的对抗问题定义为缺少边界校验，并用生产轨迹和受控实验检查脆弱性来自架构还是骨干模型。中间输出未经验证就传给下游。作者认为，一旦某级接受对抗内容，后续智能体会把它当作可信输入。
- 评测与基准arXiv 2607.24177
EXE-Bench：为真实可用性对 AI Windows 恶意软件检测器进行权衡排名
提出 EXE-Bench 比较 Windows 恶意软件检测器的可用性权衡
- arXiv
- 2607.24177
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- EmberGBDT、BBDnn、BBDnnFDRS 等 15 个
- 攻击检测规避
摘要统一四指标后，手工特征的 EmberGBDT 综合居首，只看准确率会误导部署。
EXE-Bench 用同一设置给 AI Windows 恶意软件检测器做四指标排序，而不是只比一次测试集准确率。。
已经到底了