跳到正文
10月8日 · 周四

全部论文

找到 13 篇
筛选2

攻击类型

越狱3提示注入7投毒与后门1拒绝服务2

模型自身风险

Agent 危险操作2

防御类型

模型加固59推理时干预19检测与过滤20指令与数据隔离13权限与审批14监控与审计17水印与溯源1

影响

有害内容1越权操作8数据与隐私泄露1输出被操纵1可用性与可靠性2

系统形态

模型与 API1LLM 应用2AI Agent10编程 Agent1网页与电脑操作1

攻击面/入口

用户输入3网页与界面4文档与消息3工具返回6工具与技能描述2检索语料1图像与音视频1推理服务与硬件1

层

提示层1应用层11基础设施层1

系统组件

MCP 与技能2护栏与评审1权限与沙箱3视觉2多模态2

被测模型厂商

OpenAI14Qwen（阿里）13Anthropic9Google8DeepSeek7Kimi（月之暗面）7Meta6智谱 GLM5其他8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
防御类型：指令与数据隔离被测模型厂商：Qwen（阿里）清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复工具调用执行路径的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  4. 防御arXiv 2609.02786

    SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架

    提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略

    arXiv
    2609.02786
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个
    摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。

    SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。

    深度解读完整解读
  5. 防御arXiv 2610.01349

    PACE：面向工具调用 LLM Agent 的来源感知能力强制执行

    提出 PACE，在工具调用前对 Agent 做路径隔离与效果授权

    arXiv
    2610.01349
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen-3.8-27B、gpt-5.6-luna、DeepSeek-V4-Flash
    摘要PACE 在工具边界做路径割与效果核验。

    PACE 是面向工具调用型 LLM 智能体的运行时调解：当准入证据无法区分会改变行为的规格时，不在出口站点上撤销调解，而在最后一次工具调用前同时检查表示出的影响路径和请求权限。

    深度解读完整解读
  6. 防御arXiv 2609.10613

    后验重加权框架解释并缓解多模态大模型上下文越狱

    用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御

    arXiv
    2609.10613
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B 等 9 个
    摘要后验重加权解释上下文越狱的缩放，并支持风险门控的良性示例防御。

    Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移，并据此做风险门控防御。

    深度解读完整解读
  11. 攻击arXiv 2609.28585

    论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御

    提出工具调用 Agent 的拒绝钱包攻击及主机侧计费约束

    arXiv
    2609.28585
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen-3-235B、GPT-4o、GPT-4o-mini 等 9 个
    摘要已准入工具返回的跨轮保留会重复计费。

    这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state，并把它的主机侧再次送入决定当作控制点。。

    深度解读完整解读
  12. 防御arXiv 2609.35932

    同字节不同权限：保留 token 表示如何放大聊天模板提示注入

    证明保留词元表示放大模板注入并验证分词缓解

    arXiv
    2609.35932
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3-8B、Qwen3-32B、Qwen3-1.7B 等 6 个

    摘要对话模板注入的权威性主要来自保留词元的学得向量而非文本语法，推理具有补偿作用，现有分词防御遗留工具协议漏洞。

    深度解读完整解读
已经到底了