10月8日 · 周四

提示注入 · 论文

找到 16 篇

筛选1

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 75 篇还没打标签，不在筛选结果里。

被测模型厂商：Meta 话题：提示注入清除全部

另有 75 篇论文还没打上分类标签，暂不在筛选结果里。

评测与基准arXiv:2610.03448 · 10月2日
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
AI Agent测试Prompt Guard 2 (86M)、Prompt Guard 2 (22M)、Prompt Guard 1 等 15 个应用层
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
完整解读
攻击arXiv:2609.18217 · 9月16日
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据
编程 Agent测试Llama-3.3-70B、GPT-4o、GPT-4o-mini 等 15 个应用层
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
完整解读
评测与基准arXiv:2609.09404 · 9月9日
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
AI Agent测试Llama 4 Maverick、Claude Opus 4.8、GPT-5.4 等 6 个应用层
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
完整解读
分析与理论arXiv:2610.01535 · 10月1日
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
分析分布偏移下安全路由评测的基线选择偏差与虚假下限
LLM 应用测试distilroberta-base、claude-3-5-sonnet、claude-3-opus 等 12 个应用层
- 越狱
摘要论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。
完整解读
防御arXiv:2608.21500 · 8月22日
SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%
提出 SecOPD 同策略蒸馏微调，降低模型对自适应提示注入的顺从
AI Agent测试Meta-SecAlign、Qwen3.6-27B (Undefended)、SecOPD应用层
- 模型加固
- 提示注入
完整解读
评测与基准arXiv:2609.02316 · 9月2日
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御
LLM 应用测试Llama-4-Scout-17B-16E、Llama Guard 3-8B、Gemma-4-31B-IT 等 11 个应用层
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
完整解读
防御arXiv:2608.30041 · 8月31日
SkillGuard：面向间接提示注入的 LLM Agent 能力限制机制
提出 SkillGuard，用可达性切断污染后通往禁止状态的技能调用
AI Agent测试Llama3.3-70B、Gemini 2.5 Flash应用层
完整解读
防御arXiv:2601.10156 · 1月15日
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
AI Agent测试Llama-Guard-3-8B、GPT-4o、Qwen3-8B 等 10 个应用层
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
完整解读
防御arXiv:2609.07529 · 9月7日
CoER：用对抗协同演化与精炼防御自适应间接提示注入
提出 CoER，用对抗共进化与精炼训练智能体抵御自适应间接提示注入
AI Agent测试Meta-SecAlign-8B、Qwen3.5-9B、MAGIC (Qwen2.5-7B) 等 9 个应用层
- 模型加固
- 提示注入
完整解读
评测与基准arXiv:2608.28411 · 8月28日
LongPIBench：面向长上下文提示注入的评测基准
提出 LongPIBench，评测长文档场景下的提示注入攻击与防御
LLM 应用测试Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、MetaSecAlign 8B 等 11 个应用层
- 提示注入
摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。
完整解读
防御arXiv:2609.18411 · 9月16日
可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认
提出 VAC，用真实操作参数与来源隔离保护智能体浏览器确认
网页与电脑操作测试Llama-4-Scout、gpt-oss-120b、Gemini-2.5-Flash 等 6 个应用层
完整解读
攻击arXiv:2609.22510 · 9月19日
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用
AI Agent测试Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Llama-3.3-70B-Instruct 等 14 个应用层
摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。
完整解读
评测与基准arXiv:2609.32691 · 9月26日
研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架
提出卡点评测框架，以实参级谓词审计间接提示注入评测的测量偏差
AI Agent测试llama3.1:8b、gpt-5.6-terra、gemma4:12b 等 4 个应用层
- 提示注入
- 权限与沙箱
摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。
完整解读
攻击arXiv:2609.33628 · 9月27日
用课程强化学习对前沿模型做提示注入红队测试
提出跨目标课程强化学习，生成间接提示注入以劫持智能体
AI Agent测试Muse-Spark-1.2、Muse-Spark-1.3、Llama-3.1-8B-Instruct 等 14 个应用层
- 提示注入
- 自动化搜索
摘要提出跨目标模型课程强化学习，攻破前沿模型冷启动瓶颈并实现跨模型迁移。
该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题，提出了一种基于目标模型鲁棒性递进的课程强化学习方法。
完整解读
攻击arXiv:2609.33910 · 9月28日
论文提出残留授权重放攻击：长期运行 Agent 的授权可跨任务复用
提出残余权限重放攻击，跨任务复用已批准授权绕过确认
编程 Agent测试Llama-3.3-70B-Instruct、GPT-4.1、Gemini-3.1-Flash-Lite 等 9 个应用层
完整解读
防御arXiv:2609.35932 · 9月28日
同字节不同权限：保留 token 表示如何放大聊天模板提示注入
证明保留词元表示放大模板注入并验证分词缓解
AI Agent测试Llama-3.1-8B-Instruct、Qwen3-8B、Qwen3-32B 等 6 个应用层
- 指令与数据隔离
- 提示注入
摘要对话模板注入的权威性主要来自保留词元的学得向量而非文本语法，推理具有补偿作用，现有分词防御遗留工具协议漏洞。
完整解读

已经到底了

提示注入 · 论文

攻击类型

攻击技术

防御类型

影响

系统形态

攻击面/入口

层

系统组件

被测模型厂商

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

研究：跨通道碎片化攻击可绕过 MCP 单通道防御

MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

论文：安全路由评测在分布偏移下失效，基线选取偏差被低估

SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

SkillGuard：面向间接提示注入的 LLM Agent 能力限制机制

ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用

CoER：用对抗协同演化与精炼防御自适应间接提示注入

LongPIBench：面向长上下文提示注入的评测基准

可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架

用课程强化学习对前沿模型做提示注入红队测试

论文提出残留授权重放攻击：长期运行 Agent 的授权可跨任务复用

同字节不同权限：保留 token 表示如何放大聊天模板提示注入