跳到正文
10月9日 · 周五

全部论文

找到 17 篇
筛选8

攻击类型

提示注入13

防御类型

模型加固8检测与过滤6指令与数据隔离11权限与审批8监控与审计5

影响

越权操作9输出被操纵4

系统形态

LLM 应用3AI Agent12

攻击面/入口

用户输入31网页与界面15文档与消息17工具返回32工具与技能描述18代码仓库与依赖4检索语料6记忆写入5Agent 间消息4图像与音视频6训练数据0权重与梯度2分发渠道10

层

模型层2应用层15训练与数据层4

系统组件

护栏与评审4监控器3权限与沙箱8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 494 篇还没打标签，不在筛选结果里。
防御类型：检测与过滤防御类型：权限与审批防御类型：监控与审计攻击面/入口：网页与界面攻击面/入口：训练数据攻击面/入口：权重与梯度层：模型层层：应用层清除全部

另有 494 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  2. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  3. 防御arXiv 2609.39548

    NDDL：用正常扩散动力学为文生图模型做后门防御

    提出 NDDL，用良性扩散轨迹检测文生图后门提示并定位触发 token

    arXiv
    2609.39548
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Stable Diffusion v1.5、Stable Diffusion XL、Stable Diffusion v3.5 等 4 个
    摘要NDDL 从良性扩散轨迹学习正常转移，用动态不一致检测后门并定位触发 token。

    NDDL 是面向文生图扩散模型的后门防御：防御者只有白盒模型访问和良性提示词，没有后门先验，需要区分后门提示词并找出触发 token。

    深度解读完整解读
  5. 防御arXiv 2609.35659

    Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit，审计编码 Agent 的意图、推理与动作并检测账本篡改

    arXiv
    2609.35659
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
    摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。

    深度解读完整解读
  6. 攻击arXiv 2609.22510

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出条件触发的爆炸提示词，并设计摄入期检测器 DeFuse

    arXiv
    2609.22510
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 15 个
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    深度解读完整解读
  9. 防御arXiv 2609.05901

    KITA：为 LLM Agent 设计密钥隔离的阈值签名授权架构

    提出 KITA，把 Agent 批准绑定到规范动作的密钥隔离阈值签名

    arXiv
    2609.05901
    发表
    层
    应用层
    场景
    AI Agent
    摘要KITA 把隔离的阈值签名当作精确动作的执行条件，并测量门控、相关性与签名开销。

    KITA 是一套密钥隔离的阈值授权架构，用来把模型评审变成执行外部动作的条件。

    深度解读完整解读
  10. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 8 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  11. 评测与基准arXiv 2609.05535

    Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

    提出 Mind2Web-Injection 评测网页 Agent 视觉注入护栏

    arXiv
    2609.05535
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个
    摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。

    Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。

    深度解读完整解读
  15. 评测与基准arXiv 2608.16824

    GEO-Flag：检测与测量面向生成式引擎优化的网页内容

    提出 GEOFlagBench 与 IPT，检测并测量生成式引擎优化网页

    arXiv
    2608.16824
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    ModernBERT-base、Qwen3-0.6B、Gemini-3.5-flash 等 11 个
    摘要GEOFlagBench 与 IPT 用于检测 GEO 页，并估计真实检索中的占比与引用可核验性。

    GEO-Flag 把页面级 GEO 检测做成可评测任务，并在发布的检索结果上估计被判为 GEO 的页面占比。

    深度解读完整解读
  16. 防御arXiv 2608.05578

    AMS 工具通过激活分析检测语言模型的安全训练改动

    提出 AMS，用激活分离与方向相似度检测安全训练改动

    arXiv
    2608.05578
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct 等 14 个
    摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。

    AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。

    深度解读完整解读
  17. 防御arXiv 2607.13716

    CAVA：面向智能体 AI 运行时治理的规范动作验证与证明

    提出 CAVA，将异构智能体运行时事件规范为可哈希动作并绑定审批与回执

    arXiv
    2607.13716
    发表
    层
    应用层
    场景
    AI Agent
    摘要CAVA 用规范动作指纹承接异构运行时治理。

    CAVA 是给异构智能体运行时用的动作语义层，用来回答“被批准和被审计的到底是哪一个动作”。

    深度解读完整解读
已经到底了