防御arXiv:2610.05637 · 10月5日
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
模型与 API测试Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个训练与数据层
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
完整解读
防御arXiv:2610.03055 · 10月2日
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
编程 Agent测试Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个应用层
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
完整解读
防御arXiv:2608.21500 · 8月22日
SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%
提出 SecOPD 同策略蒸馏微调，降低模型对自适应提示注入的顺从
AI Agent测试Qwen3.6-27B (Undefended)、Meta-SecAlign、SecOPD应用层
- 模型加固
- 提示注入
完整解读
防御arXiv:2609.02786 · 9月3日
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
AI Agent测试Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个应用层
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
完整解读
防御arXiv:2609.22178 · 8月27日
SCOPE：训练有能力且安全的计算机使用智能体
提出 SCOPE 联合后训练计算机使用智能体的任务执行与安全决策
网页与电脑操作测试Qwen3.5-9B、SCOPE-mid-checkpoint、SCOPE-Capability-Safety 等 14 个应用层
- 模型加固
- 提示注入
完整解读
防御arXiv:2610.00328 · 10月2日
ContractRL：面向可审计工具调用修复的屏蔽组相对策略优化
提出契约约束的工具调用修复协议，在执行前拦截非法补丁
LLM 应用测试2B rank-8 LoRA、0.8B rank-4 LoRA应用层
完整解读
防御arXiv:2609.07529 · 9月7日
CoER：用对抗协同演化与精炼防御自适应间接提示注入
提出 CoER，用对抗共进化与精炼训练智能体抵御自适应间接提示注入
AI Agent测试Qwen3.5-9B、MAGIC (Qwen2.5-7B)、Lifelong Defender i2 RR 等 9 个应用层
- 模型加固
- 提示注入
完整解读

已经到底了

Agent 安全 · 论文

攻击类型

模型自身风险

防御类型

影响

系统形态

攻击面/入口

层

系统组件

被测模型厂商

研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

HackTrace：用生成状态监督检测代码生成中的奖励作弊

SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%

SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架

SCOPE：训练有能力且安全的计算机使用智能体

ContractRL：面向可审计工具调用修复的屏蔽组相对策略优化

CoER：用对抗协同演化与精炼防御自适应间接提示注入