评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
提示注入 · 论文
另有 45 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2607.14611
论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险
评测编码智能体记忆文件中的提示注入及其跨会话持久性
- arXiv
- 2607.14611
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。
- 评测与基准arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct 等 10 个
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 评测与基准arXiv 2609.15017
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现
- arXiv
- 2609.15017
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- TF-IDF + logistic regression、DistilBERT、DeBERTa-v3-FT 等 8 个
摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。
PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。
- 评测与基准arXiv 2608.30441
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
提出 ECLIPSE 双通道自演化提示注入，劫持长程智能体动作轨迹
- arXiv
- 2608.30441
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个
- 评测与基准arXiv 2609.32691
研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架
提出卡点评测框架，以实参级谓词审计间接提示注入评测的测量偏差
- arXiv
- 2609.32691
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gpt-5.6-terra、llama3.1:8b、gemma4:12b 等 4 个
摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。
- 评测与基准arXiv 2609.33102
ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架
提出 ORBIT 框架，评测多智能体系统中的攻击、合谋与多类防御
- arXiv
- 2609.33102
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.4、Claude Sonnet 4.6、Qwen3-235B 等 6 个
摘要ORBIT 用六层配置比较多智能体防御，逐动作监控不迁移到合谋。
- 评测与基准arXiv 2609.33401
论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化
评测 System One 模型对 Agent 安全输入的分类可靠性与校准
- arXiv
- 2609.33401
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 测试
- Jev 1.13、Decider, approximately 2B、Bespoke Nimble, approximately 9B 等 14 个
摘要离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。
Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。
- 评测与基准arXiv 2609.34463
CoDeL：用协同演化防御抵御 LLM 智能体的间接提示注入
提出协同演化防御 CoDeL，抵御智能体工具观测中的间接提示注入
- arXiv
- 2609.34463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、GLM-5.2
- 评测与基准arXiv 2609.29429
Jev 被用于零样本检测十类对齐失败，中位 AUROC 达 0.886
提出 RLCDAlignBench，零样本检测多种对齐失败
- arXiv
- 2609.29429
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Jev (jev-1.13.0)、Qwen3.5-2B、Phi-4-mini 等 6 个
摘要一次通用问题已能给多数对齐失败排序，大的误差来自状态和标签。
RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。
已经到底了