防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 防御arXiv 2610.00400
DART：用表征位移检测多轮 LLM 智能体中的新兴安全风险
提出 DART，用去噪表征转移检测多轮智能体攻击并注入提醒
- arXiv
- 2610.00400
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- Qwen3-8B、Qwen3-14B、Qwen3-32B 等 6 个
- 防御arXiv 2609.36603
SED：面向 LLM 智能体的免训练持续安全策略学习框架
提出免训练框架 SED，将有害智能体轨迹蒸馏为可检索安全策略
- arXiv
- 2609.36603
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GLM-5.2、Kimi K3
- 防御arXiv 2609.34518
SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE
提出工具型 Agent 的自适应攻击 DART 与预执行防御 SAGE
- arXiv
- 2609.34518
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.6 Luna、GPT-5.6 Terra、Gemini 3.8 Flash 等 5 个
摘要论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。
- 防御arXiv 2609.28693
skilder：以角色化技能包为工具型 LLM 智能体做访问控制
提出 Skilder，按角色渐进下发企业工具并确定性拦截越权调用
- arXiv
- 2609.28693
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Qwen 3.5 122B、Gemma 4 31B 等 6 个
摘要Skilder 用单 MCP 服务器按角色交付工具并硬拦截。
Skilder 把企业工具型智能体的能力按角色打包，经一个 MCP 服务器做渐进发现，使工具范围由服务器而不是提示词来执行。
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具 Agent 的思维链以绕过推理监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 评测与基准arXiv 2609.22076
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
构建 APort Vault 基准，对比支付智能体模型拒答与确定性授权
- arXiv
- 2609.22076
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个
- 防御arXiv 2609.14003
FlowSeal：用信息流控制阻断 LLM Agent 的隐私泄露
提出 FLOWSEAL，用工具级信息流控制阻断智能体隐私泄露
- arXiv
- 2609.14003
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V3.2、GPT-4.1-mini、Gemini-Flash-2.5
摘要作者分析大模型智能体隐私检查与攻击面重合问题，提出外部拦截防御 FLOWSEAL 并验证有效性。
- 其他arXiv 2609.12413
SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量
系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御
- arXiv
- 2609.12413
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3.5-4B、Llama-3.1-8B-Instruct
摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。
- 防御arXiv 2609.05903
EvoSafeHarness：为 Agent 自动演化模型与领域专属安全护栏
为冻结模型与目标域自动搜索可部署的 Agent 安全 harness
- arXiv
- 2609.05903
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Sonnet 4.6、GLM-5、Kimi-K2.5 等 11 个
- 防御arXiv 2607.13716
CAVA：面向智能体 AI 运行时治理的规范动作验证与证明
提出 CAVA，将异构智能体运行时事件规范为可哈希动作并绑定审批与回执
- arXiv
- 2607.13716
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 攻击检测规避
- 风险Agent 危险操作
- 组件权限与沙箱
摘要CAVA 用规范动作指纹承接异构运行时治理。
CAVA 是给异构智能体运行时用的动作语义层，用来回答“被批准和被审计的到底是哪一个动作”。
- 攻击arXiv 2606.09084
研究者提出 Context-Fractured Decomposition 攻击
提出 CFD 跨会话分解攻击，利用工件来源缺口绕过工具型 Agent 的本地检查
- arXiv
- 2606.09084
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet 等 6 个
摘要CFD 用无指令 artifact 把越狱拆到跨会话。
CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。
- 攻击arXiv 2603.13847
SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱
提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示
- arXiv
- 2603.13847
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个
- 防御arXiv 2505.23559
SafeScientist：让 LLM 智能体的科学发现具备风险意识
提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务
- arXiv
- 2505.23559
- 发表
- 层
- 应用层
- 被测模型
- GPT-4o、GPT-4.1、GPT-3.5-turbo 等 5 个
摘要四层监控加科研安全基准。
SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。
已经到底了