跳到正文
10月8日 · 周四

提示注入 · 论文

找到 18 篇
筛选3

攻击类型

越狱9提示注入18提取与窃取2检测规避1恶意使用1

攻击技术

自动化搜索2潜伏触发2诱导选用1

模型自身风险

欺骗与谋划3失准与价值偏离2

防御类型

检测与过滤4指令与数据隔离2权限与审批2监控与审计1

影响

有害内容1越权操作7数据与隐私泄露3输出被操纵1可用性与可靠性1监督失效2

系统形态

模型与 API4LLM 应用3AI Agent11编程 Agent2多智能体4

攻击者权限

黑盒2

攻击面/入口

用户输入15网页与界面14文档与消息16工具返回33工具与技能描述6代码仓库与依赖8检索语料5记忆写入6Agent 间消息5图像与音视频3分发渠道1

层

提示层3模型层2应用层13

系统组件

MCP 与技能3记忆2护栏与评审5监控器2权限与沙箱5

被测模型厂商

Qwen（阿里）13OpenAI9Meta9DeepSeek7Anthropic7Google5Microsoft5其他12
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 45 篇还没打标签，不在筛选结果里。
攻击类型：提示注入攻击面/入口：用户输入攻击面/入口：Agent 间消息话题：提示注入清除全部

另有 45 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 攻击arXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据

    arXiv
    2610.00392
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个
    摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    深度解读完整解读
  5. 防御arXiv 2601.10156

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用

    提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用

    arXiv
    2601.10156
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct 等 10 个
    摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。

    ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。

    深度解读完整解读
  6. 防御arXiv 2609.01046

    HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏

    提出生成式护栏 HiveTraceGuard-Pro，检测提示注入、越狱与混淆

    arXiv
    2609.01046
    发表
    层
    提示层
    场景
    模型与 API
    测试
    HiveTraceGuard-Pro (0.6B)、YuFeng-XGuard-Reason-8B、SingGuard-2B 等 15 个
    摘要0.6B 俄英护栏在自建俄语干净集和 PI-RU 上得分最高，聚合 key 居第三，过阻断和回复精度仍是作者标出的短板。

    HiveTraceGuard-Pro 是面向请求与回复审核的 0.6B 生成式护栏，由 Qwen3-0.6B 经 LoRA 微调，在俄语和英语上训练，只输出一个 safe/unsafe 裁决。

    深度解读完整解读
  7. 评测与基准arXiv 2609.15017

    PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器

    提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现

    arXiv
    2609.15017
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    TF-IDF + logistic regression、DistilBERT、DeBERTa-v3-FT 等 8 个
    摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。

    PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。

    深度解读完整解读
  10. 评测与基准arXiv 2609.17320

    Emergence World：对长时程多智能体系统开展对抗压力测试

    构建 Emergence World，评测长时程多智能体对抗韧性与群体失效

    arXiv
    2609.17320
    发表
    层
    应用层
    场景
    多智能体
    测试
    Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个

    摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    深度解读完整解读
  11. 防御arXiv 2609.30824

    基于加密绑定身份验证能力令牌协调分布式 AI 智能体的提案

    提出身份绑定且只收窄的能力令牌，用上下文外钱包约束智能体

    arXiv
    2609.30824
    发表
    层
    应用层
    场景
    多智能体
    摘要用只衰减的身份绑定令牌和上下文外钱包，约束代表人类行动的分布式智能体。

    代表人类行动的分布式智能体，需要一种不把密钥放进语言模型上下文的授权方式。

    深度解读完整解读
  13. 评测与基准arXiv 2609.33401

    论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

    评测 System One 模型对 Agent 安全输入的分类可靠性与校准

    arXiv
    2609.33401
    发表
    层
    提示层
    场景
    LLM 应用
    测试
    Jev 1.13、Decider, approximately 2B、Bespoke Nimble, approximately 9B 等 14 个
    摘要离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。

    Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。

    深度解读完整解读
  16. 评测与基准arXiv 2609.29429

    Jev 被用于零样本检测十类对齐失败，中位 AUROC 达 0.886

    提出 RLCDAlignBench，零样本检测多种对齐失败

    arXiv
    2609.29429
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Jev (jev-1.13.0)、Qwen3.5-2B、Phi-4-mini 等 6 个
    摘要一次通用问题已能给多数对齐失败排序，大的误差来自状态和标签。

    RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。

    深度解读完整解读
  18. 可解释性arXiv 2609.37737

    研究用因果激活修补定位模型服从提示注入指令的决策层

    用因果激活修补定位模型服从提示注入的决策层

    arXiv
    2609.37737
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3-4B、Qwen3-14B、Qwen3-32B 等 7 个
    摘要合规的因果杠杆集中在网络后三分之一的低秩子空间，该层也是混淆下检测最好的位置。

    这篇工作用逐层激活修补定位提示注入合规发生在网络何处，并把该位置用于检测验证。。

    深度解读完整解读
已经到底了