分析与理论arXiv:2610.04375 · 10月3日
论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案
提出 IEC 协议与 IntAct，定位并修复工具调用执行路径的静默篡改
编程 Agent测试qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个应用层
摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。
完整解读
防御arXiv:2605.17380 · 5月
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级智能体检测系统 ADR，检测提示注入与恶意 MCP
编程 Agent测试Llama Guard 3-8B、GPT-4o、Claude Sonnet 4 等 4 个应用层
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
完整解读
防御arXiv:2610.04504 · 10月3日
论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证
提出 VAL 框架并用确认门与参数沙箱约束高风险工具调用
AI Agent测试Meta Llama 3.1 8B、DeepSeek-chat、Kimi应用层
完整解读
防御arXiv:2610.05163 · 10月4日
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入
编程 Agent测试Unified-Qwen3.5-4B (AgentDoG-1.5)、Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5) 等 7 个应用层
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
完整解读
防御arXiv:2610.05637 · 10月5日
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
模型与 API测试Qwen3-VL-8B、Claude Sonnet 4.6、Gemini 3.5 Flash 等 5 个训练与数据层
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
完整解读
防御arXiv:2610.02664 · 10月2日
论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束
提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束
AI Agent测试Qwen-3.6、Qwen3.5-4B、Llama-3.1-8B 等 7 个应用层
摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
完整解读
防御arXiv:2610.03055 · 10月2日
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
编程 Agent测试Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个应用层
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
完整解读
防御arXiv:2609.33039 · 9月27日
TACIT：从 LLM 内部状态检测 Agent 轨迹危害
提出 TACIT，读取冻结隐藏状态以检测智能体有害轨迹
AI Agent测试Qwen3Guard-4B、LlamaGuard3-8B、Qwen3-4B 等 9 个应用层
摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT，揭示工具风险表征特性并在多项基准上提升检测表现与效率。
完整解读
防御arXiv:2607.19913 · 7月22日
Janus：面向长时程智能体安全的前瞻性潜在风险预测框架
提出 Janus，用 CoAA-RL 训练前瞻守卫，在长程智能体有害动作执行前拦截
AI Agent测试Qwen3-8B、Llama-Guard-3-8B、Qwen3Guard-Gen-8B 等 8 个应用层
完整解读
防御arXiv:2608.21500 · 8月22日
SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%
提出 SecOPD 同策略蒸馏微调，降低模型对自适应提示注入的顺从
AI Agent测试Qwen3.6-27B (Undefended)、Meta-SecAlign、SecOPD应用层
- 模型加固
- 提示注入
完整解读
防御arXiv:2609.02786 · 9月3日
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
AI Agent测试Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个应用层
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
完整解读
防御arXiv:2609.22178 · 8月27日
SCOPE：训练有能力且安全的计算机使用智能体
提出 SCOPE 联合后训练计算机使用智能体的任务执行与安全决策
网页与电脑操作测试Qwen3.5-9B、Qwen3.7-Plus、Qwen3-VL-8B 等 14 个应用层
- 模型加固
- 提示注入
完整解读
防御arXiv:2608.30041 · 8月31日
SkillGuard：面向间接提示注入的 LLM Agent 能力限制机制
提出 SkillGuard，用可达性切断污染后通往禁止状态的技能调用
AI Agent测试Llama3.3-70B、Gemini 2.5 Flash应用层
完整解读
防御arXiv:2610.01349 · 10月2日
PACE：面向工具调用 LLM Agent 的来源感知能力强制执行
提出 PACE，在工具调用前对 Agent 做路径隔离与效果授权
AI Agent测试Qwen-3.8-27B、gpt-5.6-luna、DeepSeek-V4-Flash应用层
摘要PACE 在工具边界做路径割与效果核验。
PACE 是面向工具调用型 LLM 智能体的运行时调解：当准入证据无法区分会改变行为的规格时，不在出口站点上撤销调解，而在最后一次工具调用前同时检查表示出的影响路径和请求权限。
完整解读
防御arXiv:2610.00400 · 10月2日
DART：用表征位移检测多轮 LLM 智能体中的新兴安全风险
提出 DART，用去噪表征转移检测并干预多轮智能体攻击
AI Agent攻击者黑盒测试Qwen3-8B、Qwen3-14B、Qwen3-32B 等 6 个应用层
完整解读
防御arXiv:2610.00850 · 10月2日
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体
编程 Agent测试Qwen3.5-4B、Muse Spark 1.3、Qwen3-Coder-Next 等 11 个训练与数据层
- 模型加固
- Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
完整解读
防御arXiv:2601.10156 · 1月15日
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
AI Agent测试Qwen3-8B、Qwen2.5-7B-Instruct、Llama-Guard-3-8B 等 10 个应用层
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
完整解读
防御arXiv:2609.07529 · 9月7日
CoER：用对抗协同演化与精炼防御自适应间接提示注入
提出 CoER，用对抗共进化与精炼训练智能体抵御自适应间接提示注入
AI Agent测试Qwen3.5-9B、MAGIC (Qwen2.5-7B)、Meta-SecAlign-8B 等 9 个应用层
- 模型加固
- 提示注入
完整解读
防御arXiv:2609.18411 · 9月16日
可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认
提出 VAC，用真实操作参数与来源隔离保护智能体浏览器确认
网页与电脑操作测试Llama-4-Scout、Qwen3-32B、Qwen3.6-27B 等 6 个应用层
完整解读
攻击arXiv:2609.22510 · 9月19日
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用
AI Agent测试Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个应用层
摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。
完整解读

加载更多