评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，用危害窗口评测跨威胁动作监控
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Mistral Small 3.2 24B、Gemma 4 26B-A4B、Qwen3.6 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
全部论文
另有 741 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Mistral Large 2、Llama 3.1 405B、Claude 3.5 Sonnet 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 评测与基准arXiv 2608.19741
微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性
构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性
- arXiv
- 2608.19741
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Mistral-Large-3、Claude Opus 5、GPT-5.4 等 14 个
摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。
- 评测与基准arXiv 2609.03221
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
- arXiv
- 2609.03221
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- mistral:7b-instruct、claude-haiku-4-5、claude-sonnet-5 等 7 个
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
- 评测与基准arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏
- arXiv
- 2609.09798
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 黑盒
- 测试
- Devstral-small-v2-24B、CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B 等 7 个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Mistral Small 4、Gemma-4 31B、DeepSeek-V4 Flash 等 6 个
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 评测与基准arXiv 2609.39229
RAIM：用廉价小模型聚合替代前沿模型做幻觉检测
提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉
- arXiv
- 2609.39229
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Mistral、Llama、Qwen 等 15 个
摘要十个廉价评审的堆叠在可采纳区间接近 Sonnet，代价主要是一次域内校准。
- 评测与基准arXiv 2608.06862
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件
- arXiv
- 2608.06862
- 发表
- 层
- 应用层
- 测试
- Ministral-3-8B、Qwen3.5-9B、Llama-3.1-8B 等 5 个
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。
- 评测与基准arXiv 2608.28411
LongPIBench：面向长上下文提示注入的评测基准
提出 LongPIBench，评测长文档场景下的提示注入攻击与防御
- arXiv
- 2608.28411
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Ministral-3-8B-Instruct、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct 等 11 个
- 攻击提示注入
摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
构建 Emergence World，评测长时程多智能体对抗韧性与群体失效
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Mistral Medium 3.5、Claude Opus 4.8、DeepSeek v4 Pro 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料并比较内核与应用层证据的攻击检测效果
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Devstral 2 123B、AdaBoost、XGBoost 等 13 个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
已经到底了