跳到正文
10月8日 · 周四

全部论文

找到 37 篇
筛选3

攻击类型

越狱5提示注入21投毒与后门4提取与窃取1拒绝服务1

攻击技术

潜伏触发1

模型自身风险

欺骗与谋划1奖励作弊3Agent 危险操作7

防御类型

模型加固6推理时干预1检测与过滤11指令与数据隔离11权限与审批10监控与审计7

影响

越权操作23数据与隐私泄露5输出被操纵4可用性与可靠性1监督失效4

系统形态

LLM 应用5AI Agent32编程 Agent8网页与电脑操作3多智能体1

攻击者权限

黑盒2

攻击面/入口

用户输入9网页与界面8文档与消息10工具返回17工具与技能描述4代码仓库与依赖2检索语料2记忆写入1分发渠道3

层

提示层5模型层17应用层37训练与数据层30基础设施层1

系统组件

MCP 与技能6记忆2RAG3护栏与评审6监控器7权限与沙箱9视觉1多模态1

被测模型厂商

OpenAI46Qwen（阿里）42Anthropic32Google28Meta26DeepSeek22智谱 GLM16Kimi（月之暗面）15Mistral9xAI5其他30
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
层：应用层被测模型厂商：Meta被测模型厂商：Kimi（月之暗面）清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2609.11757

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出 A-VIP，将购物意图绑定到支付授权以阻断商户文本操控

    arXiv
    2609.11757
    发表
    层
    应用层
    场景
    AI Agent
    测试
    kimi-k3、gemini-2.5-flash-lite、gemini-3.1-flash-lite 等 15 个

    摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。

    深度解读完整解读
  3. 防御arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复工具调用执行路径的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Hermes-3-Llama-3.1-70B、qwen3-coder-plus、Qwen2.5-Coder-32B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  4. 防御arXiv 2605.17380

    Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

    提出企业级智能体检测系统 ADR，检测提示注入与恶意 MCP

    arXiv
    2605.17380
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama Guard 3-8B、GPT-4o、Claude Sonnet 4 等 4 个

    摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    深度解读完整解读
  7. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama-3.1-8B-Instruct、Qwen3-8B、Qwen3.5-4B 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  8. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用智能体的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    kimi-k2.5、gpt-5、UI-TARS-1.5-7B 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  9. 防御arXiv 2609.33039

    TACIT：从 LLM 内部状态检测 Agent 轨迹危害

    提出 TACIT，读取冻结隐藏状态以检测智能体有害轨迹

    arXiv
    2609.33039
    发表
    层
    应用层
    场景
    AI Agent
    测试
    LlamaGuard3-8B、Llama-3.1-8B、Llama-3.1-8B-Instruct 等 9 个

    摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT，揭示工具风险表征特性并在多项基准上提升检测表现与效率。

    深度解读完整解读
  10. 防御arXiv 2608.25460

    用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6

    用强化学习与成对比较奖励训练对齐审计模型并校准假阳性

    arXiv
    2608.25460
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.3 70B、Claude Haiku 4.5、Claude Opus 4.6 等 15 个

    摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。

    深度解读完整解读
  13. 防御arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Llama-4-Scout-17B-16E、Llama Guard 3-8B、Gemma-4-31B-IT 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  14. 防御arXiv 2609.08258

    研究实测五套 Agent 记忆系统均不执行撤销标记

    评测智能体记忆软撤回是否生效，并提出陈旧检索防护

    arXiv
    2609.08258
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi-K2.6、GPT-5.5、Grok-4 等 9 个

    摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。

    深度解读完整解读
  15. 防御arXiv 2608.21101

    ClawSentry：面向自主 LLM Agent 的渐进式多层安全监控网关

    提出多层监控网关 ClawSentry，拦截恶意技能供应链与上下文注入

    arXiv
    2608.21101
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Kimi CLI/Kimi-K2.5、Codex/GPT-5.4、Codex/GPT-5.5 等 7 个
    摘要ClawSentry 用包准入、三级运行时门控和反绕过，压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关，用来同时盖住 skill 执行的多个生命周期边界，并把已被拒绝的效果记到会话里。

    深度解读完整解读
  19. 防御arXiv 2601.10156

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用

    提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用

    arXiv
    2601.10156
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-Guard-3-8B、GPT-4o、Qwen3-8B 等 10 个
    摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。

    ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。

    深度解读完整解读
  20. 防御arXiv 2609.13601

    Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击

    提出 DEMI 检测框架，在执行前识别 DAO 提案描述与执行载荷的不匹配

    arXiv
    2609.13601
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Llama-3.3-70B、GPT-4o、Claude 4.5 Sonnet 等 8 个
    摘要用公开链上数据仿真治理全流程，再以逐动作证据映射在执行前发现描述与执行不一致。

    Mind the Gap 把 DAO 提案的描述–执行不一致（DEMI）做成可在投票窗口内运行的检测问题。。

    深度解读完整解读
加载更多