防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具 Agent 的思维链以绕过推理监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等4个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 攻击arXiv 2609.15989
研究者提出 plan injection 攻击，可绕过思维链监控
提出 plan injection 攻击，植入良性伪装计划以绕过思维链监视器
- arXiv
- 2609.15989
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 被测模型
- Qwen2.5-Coder-7B-Instruct、Qwen3-8B、DeepSeek-R1-0528 等6个
摘要论文指出模型会将外部上下文中的伪装计划改写为自身推理，使思维链监视器失效甚至反向合理化恶意行为。
- 评测与基准arXiv 2609.05843
SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准
提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性
- arXiv
- 2609.05843
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-5.4 mini、GPT-5.5、DeepSeek V4 Flash 等12个
摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。
SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。
- 防御arXiv 2608.12876
SPARED：用对抗编辑数据训练基于推理的 AI 生成图像检测器
提出 SPARED，用对抗编辑数据训练基于推理的 AI 生成图像检测器
- arXiv
- 2608.12876
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3.5-9B
摘要SPARED 用防捷径的编辑对抗环训练 9B 推理检测器。
SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程，报告模型是 Qwen3.5-9B 上的第三轮防御器。
- 防御arXiv 2607.14737
GeoDetect：面向视觉语言预训练模型的几何对抗检测方法
提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本
- arXiv
- 2607.14737
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- CLIPViT (ViT-B/16)、CLIPCNN (ResNet-50)、ALBEF 等4个
摘要GeoDetect 用几何分数检测 VLP 对抗样本。
GeoDetect 是面向视觉-语言预训练模型的对抗样本检测方法，用嵌入几何而不是任务 logits 区分干净样本与对抗样本。
- 攻击arXiv 2605.30040
研究揭示 LLM 按 token 计费可被服务商系统性虚报
构造可通过计费审计的 token 虚报，使服务商系统性超收
- arXiv
- 2605.30040
- 发表
- 场景
- 模型与 API
- 被测模型
- PALACE domain-adapted auditor
摘要不诚实提供方可在三种 token 审计上虚报并通过检查，作者认为需改用提供方不控制的证据。
不透明 LLM 的按 token 计费里，现有审计核验的是提供方可控的证据，不诚实提供方可以虚报并通过检查。。
- 攻击arXiv 2605.21541
研究者提出 FRA-Attack 频域正则化方法，提升对闭源 MLLM 的迁移攻击效果
提出 FRA-Attack，用频域对齐与梯度正则做可迁移定向视觉攻击
- arXiv
- 2605.21541
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-5.2、GPT-5.4、Claude-Opus-4.6 等15个
摘要FRA-Attack 以频域对齐和梯度低通做可迁移定向攻击，闭源面板上作者称整体更强，Gemma 除外。
FRA-Attack 是面向闭源 MLLM 的迁移式定向图像攻击。作者要解决的是：空间域局部对齐重复全局低频，代理梯度的高频成分又把更新拉向代理自身。
- 攻击arXiv 2604.03117
揭示物理世界语义漏洞：面向红外视觉语言模型的通用对抗贴片
提出通用弯曲网格补丁 UCGP，使红外视觉语言模型产生跨任务语义偏差
- arXiv
- 2604.03117
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 被测模型
- OpenAI CLIP ViT-L/14、OpenCLIP ViT-B/16、Meta-CLIP ViT-L/14 等10个
摘要UCGP 用一条共享弯曲网格补丁，同时拉低 IR-VLM 的分类与开放式输出。
UCGP 是面向红外视觉语言模型的通用物理对抗补丁。问题是：一块可贴上并跨样本复用的物体，能否让分类、描述和 VQA 共用的红外视觉证据出现稳定语义偏差。补丁被限制成低频弯曲网格。
- 防御arXiv 2602.18252
离散图像 tokenizer 的对抗鲁棒性
提出无监督对抗微调，加固离散图像 tokenizer
- arXiv
- 2602.18252
- 发表
- 场景
- 模型与 API
- 被测模型
- UniTok、UniTok-MLLM、TiTok-BL128 等7个
摘要无监督嵌入攻击暴露离散 tokenizer 的弱点，只微调 encoder 即可提升多任务鲁棒准确率。
作者研究离散图像 tokenizer 的对抗鲁棒性，给出与任务无关的嵌入攻击，以及只微调 encoder 的无监督对抗训练。
- 防御arXiv 2602.12461
面向 CLIP 的语义感知对抗微调
提出 SAFT，用语义描述集成构造对抗样本并微调图像编码器
- arXiv
- 2602.12461
- 发表
- 场景
- 模型与 API
- 被测模型
- ViT-B/32、CLIP-L/14
摘要SAFT 用精炼类描述的集成对抗样本微调 CLIP 图像编码器，以改善零样本准确率与鲁棒性的权衡。
SAFT 是对 CLIP 图像编码器做对抗微调的方法，要改善零样本分类上的准确率–鲁棒性权衡。
- 攻击arXiv 2602.09431
Grounding 驱动的攻击：提升基于编码器的对抗攻击对大型视觉语言模型的迁移性
提出 GDA，将图像对抗扰动对齐文本接地证据并迁移攻击视觉语言模型
- arXiv
- 2602.09431
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 无盒（离线迁移）
- 被测模型
- LLaVA、Qwen2.5-VL、InternVL3 等10个
摘要GDA 把扰动对准文本接地证据，作者称这提高了异构 LVLM 上的零查询黑盒迁移性。
GDA 是面向异构 LVLM 的零查询黑盒编码器迁移攻击。。
- 攻击arXiv 2601.21531
视觉 token 压缩下大型视觉语言模型的对抗鲁棒性
提出 CAGE 攻击，在视觉 token 压缩下用图像扰动使预测偏离
- arXiv
- 2601.21531
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 被测模型
- LLaVA、Qwen2.5-VL、InternVL3-8B 等5个
摘要CAGE 对齐压缩瓶颈后，压缩 LVLM 的稳健准确率低于全 token 编码器攻击。
CAGE 研究的是：LVLM 在推理时剪枝或合并视觉 token 之后，对抗稳健性该怎么估。
- 攻击arXiv 2601.14310
CORVUS：用 LoRA 伪装内部信号绕过单次幻觉检测器
提出 CORVUS，用 LoRA 伪装内部遥测以绕过幻觉检测器
- arXiv
- 2601.14310
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Llama-2-7B-Chat、Vicuna-7B (v1.5)、Llama-3-8B-Instruct 等4个
摘要作者称内部遥测在自适应模型侧对抗下易被操纵，CORVUS 通过轻量适配器微调降低了多种幻觉检测器的效果。
- 攻击arXiv 2505.23266
AdvOF：用对抗物体融合攻击 VLM 驱动的视觉语言导航智能体
提出 AdvOF，生成对抗物体误导视觉语言导航智能体的场景感知
- arXiv
- 2505.23266
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 攻击者
- 白盒
- 被测模型
- Lseg、Clip、ViT-L/16 等5个
摘要AdvOF 以多视角融合生成对抗物体。
AdvOF 是针对 VLM 驱动 VLN 服务导航的对抗物体攻击。
已经到底了