评测与基准arXiv 2610.06503
研究评测五款开源文生图模型的有害内容生成与审核缺口
评测文生图模型的有害内容生成能力与审核检测缺口
- arXiv
- 2610.06503
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等 12 个
- 攻击arXiv 2610.05943
CRIME 框架利用良性 Agent 技能组合诱发恶意行为
提出 CRIME 框架，组合良性 Agent 技能诱发恶意行为
- arXiv
- 2610.05943
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GPT-4o-mini、GPT-4o 等 6 个
摘要良性技能经 DCA 或 ACA 组合后可产生恶意环境后果，单独审查对不上。
CRIME 把公共技能库中各自通过审查的技能配成两两组合，看联合执行能否实现指定恶意任务。。
- 防御arXiv 2610.03434
Persona Guardrail：面向智能体系统的生产级防御框架
提出 Persona Guardrail，强制客服智能体守住功能边界
- arXiv
- 2610.03434
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- Qwen3-30B-A3B、Qwen3-VL-30B、Qwen3-8B 等 5 个
摘要Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。
Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
- 防御arXiv 2609.36603
SED：面向 LLM 智能体的免训练持续安全策略学习框架
提出免训练框架 SED，将有害智能体轨迹蒸馏为可检索安全策略
- arXiv
- 2609.36603
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GLM-5.2、Kimi K3
- 分析与理论arXiv 2609.36477
研究发现护栏模型在基座模型不确定处过度自信
诊断护栏相对基座在对抗提示上的置信失校
- arXiv
- 2609.36477
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-Guard 7B、Llama-Guard-2 8B、Llama-Guard-3 8B 等 10 个
摘要对抗包装使 guard 高置信漏检，而对应 base 在同一输入上常更不确定。
诊断性分析：五个提示词分类 guard 的置信度，在清洁输入上可以较校准，在越狱包装后则变成高置信度的错误判定。
- 防御arXiv 2609.34518
SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE
提出工具型 Agent 的自适应攻击 DART 与预执行防御 SAGE
- arXiv
- 2609.34518
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.6 Luna、GPT-5.6 Terra、Gemini 3.8 Flash 等 5 个
摘要论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
- 防御arXiv 2609.28693
skilder：以角色化技能包为工具型 LLM 智能体做访问控制
提出 Skilder，按角色渐进下发企业工具并确定性拦截越权调用
- arXiv
- 2609.28693
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Qwen 3.5 122B、Gemma 4 31B 等 6 个
摘要Skilder 用单 MCP 服务器按角色交付工具并硬拦截。
Skilder 把企业工具型智能体的能力按角色打包，经一个 MCP 服务器做渐进发现，使工具范围由服务器而不是提示词来执行。
- 评测与基准arXiv 2609.22076
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
构建 APort Vault 基准，对比支付智能体模型拒答与确定性授权
- arXiv
- 2609.22076
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个
- 防御arXiv 2609.14003
FlowSeal：用信息流控制阻断 LLM Agent 的隐私泄露
提出 FLOWSEAL，用工具级信息流控制阻断智能体隐私泄露
- arXiv
- 2609.14003
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V3.2、GPT-4.1-mini、Gemini-Flash-2.5
摘要作者分析大模型智能体隐私检查与攻击面重合问题，提出外部拦截防御 FLOWSEAL 并验证有效性。
- 其他arXiv 2609.12413
SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量
系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御
- arXiv
- 2609.12413
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3.5-4B、Llama-3.1-8B-Instruct
摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。
- 防御arXiv 2609.05903
EvoSafeHarness：为 Agent 自动演化模型与领域专属安全护栏
为冻结模型与目标域自动搜索可部署的 Agent 安全 harness
- arXiv
- 2609.05903
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Sonnet 4.6、GLM-5、Kimi-K2.5 等 11 个
- 评测与基准arXiv 2608.17445
论文：分解攻击可跨不可关联身份绕过 LLM 有状态防御
形式化跨不可关联身份的分解攻击并评测状态化防御边界
- arXiv
- 2608.17445
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Granite Guardian 3.1 2B
- 攻击arXiv 2606.09084
研究者提出 Context-Fractured Decomposition 攻击
提出 CFD 跨会话分解攻击，利用工件来源缺口绕过工具型 Agent 的本地检查
- arXiv
- 2606.09084
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet 等 6 个
摘要CFD 用无指令 artifact 把越狱拆到跨会话。
CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。
- 防御arXiv 2603.01544
RA-Det：利用鲁棒性不对称检测 AI 生成图像
提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像
- arXiv
- 2603.01544
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要RA-Det 把扰动下特征漂移差变成检测信号，平均 ACC 高于表中通用检测器，但不是每行最高。
RA-Det 是合成图像检测器，用扰动下的表示稳定性差异代替外观痕迹。
- 防御arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，在执行前检测并引导 Agent 修正有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4o、TS-Guard、Qwen2.5-14B-Instruct
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 攻击arXiv 2512.20168
Odysseus 用双重隐写越狱 GPT-4o、Gemini-2.0 与 Grok-3
提出双重隐写越狱 Odysseus，用图像隐写绕过多模态系统安全过滤器
- arXiv
- 2512.20168
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-4o-2024-08-06、Gemini-2.0-pro、Gemini-2.0-flash 等 4 个
已经到底了