防御arXiv 2610.05637
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
- arXiv
- 2610.05637
- 发表
- 场景
- 模型与 API
- 测试
- Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
Agent 安全 · 论文
另有 275 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 防御arXiv 2608.21500
SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%
提出 SecOPD 同策略蒸馏微调，降低模型对自适应提示注入的顺从
- arXiv
- 2608.21500
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.6-27B (Undefended)、Meta-SecAlign、SecOPD
- 防御arXiv 2609.02786
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
- arXiv
- 2609.02786
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
- 防御arXiv 2609.22178
SCOPE：训练有能力且安全的计算机使用智能体
提出 SCOPE 联合后训练计算机使用智能体的任务执行与安全决策
- arXiv
- 2609.22178
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen3.5-9B、SCOPE-mid-checkpoint、SCOPE-Capability-Safety 等 14 个
- 防御arXiv 2610.00328
ContractRL：面向可审计工具调用修复的屏蔽组相对策略优化
提出契约约束的工具调用修复协议，在执行前拦截非法补丁
- arXiv
- 2610.00328
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- 2B rank-8 LoRA、0.8B rank-4 LoRA
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
- 防御arXiv 2610.00400
DART：用表征位移检测多轮 LLM 智能体中的新兴安全风险
提出 DART，用去噪表征转移检测并干预多轮智能体攻击
- arXiv
- 2610.00400
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- Qwen3-8B、Qwen3-14B、Qwen3-32B 等 6 个
- 防御arXiv 2610.00850
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体
- arXiv
- 2610.00850
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个
- 防御模型加固
- 风险Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
- 防御arXiv 2609.39102
论文提出 CrossFit 缓解自演化搜索智能体的共谋作弊
提出 CrossFit，用折外求解器缓解自进化搜索智能体的共作弊
- arXiv
- 2609.39102
- 发表
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Qwen3.5-9B
摘要CrossFit 切断同源伪标签回流到提议者奖励的路径，并提高七个搜索基准上的 Cover-EM。
False Frontiers 诊断自进化搜索智能体中的 co-cheating，并用按来源交叉拟合的反馈来缓解它。
- 风险行为arXiv 2606.20023
ToolPrivBench：LLM Agent 在低权限工具足够时仍倾向选择高权限工具
构建 TOOLPRIVBENCH 评测 Agent 的过度特权选择并提出特权感知后训练
- arXiv
- 2606.20023
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3-8B、LLaMA-3.1-8B、MiniMax-M2.7 等 15 个
- 防御模型加固
- 风险Agent 危险操作
摘要TOOLPRIVBENCH 显示过度特权选工具普遍，常规对齐迁移有限，特权感知后训练可降低 OPUR。
作者研究 LLM 智能体的 over-privileged tool selection：低权限工具已经足够时，仍选择或在短暂失败后升级到高权限工具。
- 防御arXiv 2609.00092
Safin-1：通过记忆原生状态演化实现内在安全
提出 Safin-1，以可路由 Safety State 在冻结主干上实现内在安全
- arXiv
- 2609.00092
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Safin-1 (4B)、Safin-1 (35B-A3B)、Qwen3.5-4B 等 9 个
- 防御arXiv 2609.07529
CoER：用对抗协同演化与精炼防御自适应间接提示注入
提出 CoER，用对抗共进化与精炼训练智能体抵御自适应间接提示注入
- arXiv
- 2609.07529
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-9B、MAGIC (Qwen2.5-7B)、Lifelong Defender i2 RR 等 9 个
- 防御arXiv 2608.27348
INTENT-AS-A-TOOL：用意图工具追踪智能体失准
提出 INTENT-AS-A-TOOL 跟踪并干预智能体失准
- arXiv
- 2608.27348
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等 5 个
摘要用意图工具的下一动作概率跟踪推理中的失准承诺，并在其成为首选时插入反思。
Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准，并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是：有害执行往往出现在推理已经形成意图之后，但 CoT 监控是事后、粗粒度、依赖外部评审的，也看不到模型倾向调用哪个动作。
- 防御arXiv 2609.21088
Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入
提出 Provenance-Aware Transformers，隔离不可信来源防御间接提示注入
- arXiv
- 2609.21088
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- SmolLM2-360M-Instruct、LLaMA-3-8B-Instruct、Qwen2.5-7B-Instruct 等 4 个
- 防御arXiv 2609.34463
CoDeL：用协同演化防御抵御 LLM 智能体的间接提示注入
提出协同演化防御 CoDeL，抵御智能体工具观测中的间接提示注入
- arXiv
- 2609.34463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、GLM-5.2
- 防御arXiv 2609.03438
CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行
作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。
- arXiv
- 2609.03438
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- UI-Venus-1.5-8B、UI-TARS-1.5-7B、OS-Atlas-Base-7B 等 10 个
- 防御推理时干预
- 风险Agent 危险操作
- 组件视觉
摘要ConflictGUI 暴露 GUI 智能体的执行偏向过度服从，ConflictGuard 用条件转向提高冲突终止率。
ConflictGuard用推理时的可行性核验和条件激活转向，让 GUI 智能体在指令不可行时终止，而不是盲执行。
- 防御arXiv 2609.36820
CorrGRPO：面向多奖励学习的相关性归一化 GRPO
提出 CorrGRPO，用组内 Pearson 相关归一化多奖励 GRPO
- arXiv
- 2609.36820
- 发表
- 场景
- AI Agent
- 测试
- Qwen2.5-Coder-0.5B-Instruct、Qwen2.5-Coder-1.5B-Instruct、Qwen2.5-Coder-3B-Instruct 等 8 个
摘要CorrGRPO 用 Pearson 相关归一化多奖励 GRPO 优势，并在三个域报告改进。
CorrGRPO 是 GRPO 的多奖励变体：组内优势的分子仍是中心化总奖励，分母改为 Pearson 相关之和，避免大尺度奖励主导归一化。
已经到底了