防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 攻击arXiv 2610.03124
研究提出 Untag 攻击框架，使开源大模型触发标签滥用检测机制失效
提出 UNTAG，绕过开源权重模型的 trigger-tag 滥用检测
- arXiv
- 2610.03124
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama2 (7B)、Llama3 (8B)、Qwen2.5 (7B)
摘要作者用 UNTAG 评估 trigger-tag，认为其不能充当开放权重滥用检测的主要边界。
UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估：信号可以在解码期注入，也可以写进权重，但攻击者若能改输出或改已发布权重，检测可以失效。
- 攻击arXiv 2609.37468
论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法
提出检索器后门攻击操纵智能体搜索，并用 DOU 逃避检测
- arXiv
- 2609.37468
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- E5、Contriever-MSMARCO
摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。
- 防御arXiv 2609.23586
VidMark：面向视频生成模型知识产权保护的高效水印方案
提出 VidMark 水印方案，核验视频生成模型的输出来源与所有权
- arXiv
- 2609.23586
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Stable Video Diffusion (SVD)、Open-Sora、Wan
摘要VidMark 加解码器引导微调，把模型签名写入 VGM 输出并用于两项核验。
Huang 等人提出一套面向视频生成模型的生成内嵌水印方案，用来同时判断一条视频是否来自受保护模型，以及一个嫌疑模型是否为该模型的拷贝。
- 防御arXiv 2609.02786
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
- arXiv
- 2609.02786
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
- 防御arXiv 2607.13716
CAVA：面向智能体 AI 运行时治理的规范动作验证与证明
提出 CAVA，将异构智能体运行时事件规范为可哈希动作并绑定审批与回执
- arXiv
- 2607.13716
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 攻击检测规避
- 风险Agent 危险操作
- 组件权限与沙箱
摘要CAVA 用规范动作指纹承接异构运行时治理。
CAVA 是给异构智能体运行时用的动作语义层，用来回答“被批准和被审计的到底是哪一个动作”。
已经到底了