评测与基准arXiv 2607.14493
LogInject 框架披露 LLM 日志分析中的被动提示注入
提出 LogInject 框架，评测日志分析中的被动提示注入及缓解
- arXiv
- 2607.14493
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct
摘要论文评估了 LLM 日志分析中的上下文污染风险，提出分片拼接等攻击与三层防御，指出必须结合架构隔离与人工介入。
全部论文
另有 630 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个
- 评测与基准arXiv 2610.05163
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入
- arXiv
- 2610.05163
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
- 评测与基准arXiv 2610.03153
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区 Agent 的运行时安全风险
- arXiv
- 2610.03153
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5
- 攻击提示注入
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 评测与基准arXiv 2607.14611
论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险
评测编码智能体记忆文件中的提示注入及其跨会话持久性
- arXiv
- 2607.14611
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。
- 评测与基准arXiv 2609.15017
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现
- arXiv
- 2609.15017
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- TF-IDF + logistic regression、DistilBERT、DeBERTa-v3-FT 等 8 个
摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。
PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。
- 评测与基准arXiv 2609.39146
MADBench：多智能体辩论安全性评测基准发布
发布 MADBench，评测多智能体辩论会吸收还是放大对抗影响
- arXiv
- 2609.39146
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- gpt-4o、GPT-5、GPT-6 Astra
摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。
MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。
- 评测与基准arXiv 2608.28411
LongPIBench：面向长上下文提示注入的评测基准
提出 LongPIBench，评测长文档场景下的提示注入攻击与防御
- arXiv
- 2608.28411
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等 11 个
- 攻击提示注入
摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测虚假指责下智能体破坏已完成正确工作的行为
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 评测与基准arXiv 2609.32635
TrustFork：显示身份如何劫持 LLM 智能体编排的权限
提出 TRUSTFORK 基准，评测展示身份劫持多智能体编排权限
- arXiv
- 2609.32635
- 发表
- 层
- 应用层
- 测试
- GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3 等 8 个
- 攻击提示注入
摘要论文提出了多智能体安全基准 TRUSTFORK，揭示展示身份如何劫持操作权威，并证明事后验证无法弥补已发生的执行破坏。
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
构建 Emergence World，评测长时程多智能体对抗韧性与群体失效
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 评测与基准arXiv 2609.24662
DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准
提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反
- arXiv
- 2609.24662
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5、GPT-5-mini、GPT-5-nano 等 14 个
- 攻击提示注入
摘要DUMA-Bench 用双控交互评测智能体安全。
DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料并比较内核与应用层证据的攻击检测效果
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- AdaBoost、XGBoost、TabPFN 等 13 个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
- 评测与基准arXiv 2609.33102
ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架
提出 ORBIT 框架，评测多智能体系统中的攻击、合谋与多类防御
- arXiv
- 2609.33102
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.4、Claude Sonnet 4.6、Qwen3-235B 等 6 个
摘要ORBIT 用六层配置比较多智能体防御，逐动作监控不迁移到合谋。
- 评测与基准arXiv 2609.33401
论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化
评测 System One 模型对 Agent 安全输入的分类可靠性与校准
- arXiv
- 2609.33401
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 测试
- Jev 1.13、Decider, approximately 2B、Bespoke Nimble, approximately 9B 等 14 个
摘要离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。
Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。
- 评测与基准arXiv 2609.35912
MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作
提出 MMSkillRisk 与 NCVA，评测技能图像隐藏指令诱导的未授权操作
- arXiv
- 2609.35912
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
已经到底了