评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2607.20891
MisKnow-Agent 评测
提出 MisKnow-Agent，评测深度研究智能体是否采纳误导性检索知识
- arXiv
- 2607.20891
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个
摘要论文通过 MisKnow-Agent 框架评估发现长程研究智能体易采纳误导性知识，且现有防御难以完全消除该现象。
- 评测与基准arXiv 2609.10594
研究系统比较六种越狱评测器的可靠性
比较多种越狱评审器与人工标签的一致性
- arXiv
- 2609.10594
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- orcarouter/Qwen3.8-27B-Uncensored、Llama 2 13B、Vicuna 13B 等 7 个
- 组件护栏与评审
摘要共享骨干下六种评审器与人标的一致程度不同，JADES 的 F1 最高。
这项测量比较的是越狱成功怎样被自动判定，不提出新的攻击。。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 评测与基准arXiv 2609.30217
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
- arXiv
- 2609.30217
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个
- 评测与基准arXiv 2609.35028
VEX-Bench：评测 LLM 生成虚假信息的核验复杂度
提出 VEX-Bench 评测 LLM 生成虚假信息的核查复杂度
- arXiv
- 2609.35028
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Claude Sonnet 4.5、Gemini 3.1 Pro、GPT-5.4 等 7 个
- 攻击恶意使用
摘要VEX-Bench 用筛查时的五维复杂度衡量虚假信息对核查容量的占用，并报告生成与核查的成本差。
VEX-Bench 把 LLM 虚假信息的风险从“能否生成”改成“筛查时会占用多少核查容量”。
已经到底了