防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 攻击arXiv 2610.07323
ATLAS：用自适应信任域与主动学习搜索潜在对抗样本集
提出 ATLAS 用水平集估计恢复黑盒分类器的对抗输入集合
- arXiv
- 2610.07323
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LeNet5、ResNet50 (CIFAR-10 standard)、ResNet50 (ImageNet standard) 等 5 个
摘要ATLAS 用主动水平集估计构造黑盒对抗集，作者称其集合比单点攻击更具代表性。
ATLAS 是一个查询式 black-box 框架，用来构造诱发失败的对抗输入集合，供鲁棒性审计使用。
- 防御arXiv 2610.02853
研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法
提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱
- arXiv
- 2610.02853
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- ToySSMClassifier、S4 safety head
摘要收缩给出玩具 LTI 的有界认证。
给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。。
- 防御arXiv 2610.02432
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
- arXiv
- 2610.02432
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- Gemma-3-27B-Instruct、Gemma-3-4B-Instruct、Llama-3.2-3B-Instruct 等 12 个
- 攻击arXiv 2610.03124
研究提出 Untag 攻击框架，使开源大模型触发标签滥用检测机制失效
提出 UNTAG，绕过开源权重模型的 trigger-tag 滥用检测
- arXiv
- 2610.03124
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama2 (7B)、Llama3 (8B)、Qwen2.5 (7B)
摘要作者用 UNTAG 评估 trigger-tag，认为其不能充当开放权重滥用检测的主要边界。
UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估：信号可以在解码期注入，也可以写进权重，但攻击者若能改输出或改已发布权重，检测可以失效。
- 防御arXiv 2609.23596
StyleAT：用对抗训练防御人脸识别的语义攻击
提出 BoundStyle 与 StyleAT，对抗训练防御人脸识别语义攻击
- arXiv
- 2609.23596
- 发表
- 场景
- 模型与 API
- 被测模型
- MobileFaceNet (MobileFace)、ResNet (ResNet-152, IR-SE)、RepVGG 等 7 个
摘要BoundStyle 用 StyleGAN3 有界潜编辑快速攻击 FR。
StyleAT 用可调的 StyleGAN3 潜空间攻击 BoundStyle 对人脸识别做对抗训练，以抵抗一般语义编辑，并在评测中面对训练时未见的 DiffPrivate。
- 攻击arXiv 2609.12909
研究者在双 T4 上复现并插桩 Tree-Ring 语义水印伪造攻击
复现 Tree-Ring 语义水印的黑盒伪造并恢复检测统计量
- arXiv
- 2609.12909
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Stable Diffusion XL base 1.0
- 攻击arXiv 2609.08236
研究：内容不变的风格包装可翻转 LLM 安全评判器的判定
提出内容不变样式包装，翻转安全评审器的判定
- arXiv
- 2609.08236
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject)、DeepSeek-Chat 等 7 个
摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。
这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。
- 攻击arXiv 2609.08213
DRIFT：通过偏转生成轨迹去除扩散模型水印的黑盒攻击
提出黑盒攻击 DRIFT，偏转生成轨迹以去除扩散水印
- arXiv
- 2609.08213
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 防御arXiv 2608.12876
SPARED：用对抗编辑数据训练基于推理的 AI 生成图像检测器
提出 SPARED，用对抗编辑数据训练基于推理的 AI 生成图像检测器
- arXiv
- 2608.12876
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3.5-9B
摘要SPARED 用防捷径的编辑对抗环训练 9B 推理检测器。
SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程，报告模型是 Qwen3.5-9B 上的第三轮防御器。
- 攻击arXiv 2608.09732
ColluSkill 用跨技能组合绕过 Agent 技能扫描器
提出 ColluSkill，用跨技能组合绕过 Agent 技能扫描器
- arXiv
- 2608.09732
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2
摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。
- 攻击arXiv 2605.21541
研究者提出 FRA-Attack 频域正则化方法，提升对闭源 MLLM 的迁移攻击效果
提出 FRA-Attack，用频域对齐与梯度正则做可迁移定向视觉攻击
- arXiv
- 2605.21541
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-5.2、GPT-5.4、Claude-Opus-4.6 等 15 个
摘要FRA-Attack 以频域对齐和梯度低通做可迁移定向攻击，闭源面板上作者称整体更强，Gemma 除外。
FRA-Attack 是面向闭源 MLLM 的迁移式定向图像攻击。作者要解决的是：空间域局部对齐重复全局低频，代理梯度的高频成分又把更新拉向代理自身。
- 攻击arXiv 2510.10987
DITTO：通过知识蒸馏伪造水印 LLM 的作者归属
提出 DITTO 框架，蒸馏提取水印信号并注入外部模型以伪造归属
- arXiv
- 2510.10987
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Llama3.1-8B、Llama3.2-3B、GPT-OSS 20B 等 4 个
- 攻击检测规避
摘要论文针对大模型水印归属假设的脆弱性，提出黑盒仿冒攻击 DITTO，实现跨架构和采样方案的高检测率与低困惑度仿冒。
- 攻击arXiv 2509.09112
研究：字符级扰动可破坏 LLM 水印，并提出基于遗传算法的去除攻击
提出字符级扰动与遗传算法去除 LLM 水印
- arXiv
- 2509.09112
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- OPT-1.3B、LLaMA-3-8B
摘要字符级扰动靠更大攻击范围移除水印。
这篇工作评估推理时 LLM 水印在黑盒、有限查询下的移除难度，并比较字符级、token 级和句子级编辑。
已经到底了