防御arXiv 2610.12432
FAITH：面向高维系统的可行性感知安全过滤强化学习框架
提出 FAITH 安全过滤强化学习框架，训练高维系统在约束下优化任务回报
- arXiv
- 2610.12432
- 发表
- 场景
- 具身与机器人
- 防御模型加固
- 风险Agent 危险操作
摘要FAITH 分开安全过滤与回报优化。
FAITH 是面向高维系统的无模型安全过滤强化学习框架：安全修正与任务回报分属不同模块。
- 风险行为arXiv 2609.20942
当 AI 评审训练 AI 评审：科学判断坍缩与 TrustReviewer 缓解方案
测量合成审稿训练导致的科学判断坍缩并提出 TrustReviewer 缓解
- arXiv
- 2609.20942
- 发表
- 场景
- 模型与 API
- 被测模型
- M2 0%、M2 33%、M2 66% 等6个
- 防御模型加固
摘要一步递归里合成审稿会收窄判断。
- 防御arXiv 2609.03438
CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行
提出 ConflictGuard，引导 GUI Agent 在冲突指令下终止执行
- arXiv
- 2609.03438
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- UI-Venus-1.5-8B、UI-TARS-1.5-7B、OS-Atlas-Base-7B 等10个
- 防御推理时干预
- 风险Agent 危险操作
摘要ConflictGUI 暴露 GUI 智能体的执行偏向过度服从，ConflictGuard 用条件转向提高冲突终止率。
ConflictGuard用推理时的可行性核验和条件激活转向，让 GUI 智能体在指令不可行时终止，而不是盲执行。
- 防御arXiv 2608.27348
INTENT-AS-A-TOOL：用意图工具追踪智能体失准
提出 INTENT-AS-A-TOOL，用意图工具概率跟踪并干预智能体失准
- arXiv
- 2608.27348
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等5个
摘要用意图工具的下一动作概率跟踪推理中的失准承诺，并在其成为首选时插入反思。
Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准，并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是：有害执行往往出现在推理已经形成意图之后，但 CoT 监控是事后、粗粒度、依赖外部评审的，也看不到模型倾向调用哪个动作。
- 防御arXiv 2606.22673
Agent MechSuits：面向多轮 CLI Agent 的机制子空间安全引导
提出 Agent MechSuits，对多轮 CLI Agent 做步级检测与子空间转向
- arXiv
- 2606.22673
- 发表
- 层
- 应用层
- 被测模型
- LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B
摘要白盒步级探针加稀疏转向可压低三模型恶意动作，同时提高生成崩溃率。
Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御，并配有可执行轨迹基准 MAS。
- 防御arXiv 2606.18673
理解并缓解真实世界 LLM 应用中的提示词泄露攻击
提出软提示防御 AREA，重锚定注意力以缓解系统提示泄露
- arXiv
- 2606.18673
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Llama-2-7B-chat-hf、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等8个
摘要作者测量商用提示词泄漏，提出 attention drift，并用 AREA 在可用性与抗泄漏间取折中。
作者研究真实 LLM 应用中的 system prompt 泄漏，并给出不改权重的缓解方法 AREA。
- 防御arXiv 2606.08234
SciTrace：面向科学发现智能体的轨迹感知安全推理框架
提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验
- arXiv
- 2606.08234
- 发表
- 层
- 应用层
- 被测模型
- Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 等4个
摘要SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。
SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。
- 防御arXiv 2602.20708
ICON：基于推理时纠正的 Agent 间接提示注入防御
提出推理时防御 ICON，探测注意力过聚焦并转向以纠正 Agent 间接提示注入
- arXiv
- 2602.20708
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen-3-8B、Llama-3.1-8B、Mistral-8B 等6个
摘要ICON 在推理时检测过聚焦并转向，以兼顾 IPI 安全与任务效用。
ICON 在推理时检测 IPI 的注意力过聚焦并转向，避免以拒答中止智能体轨迹。
已经到底了