评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Kimi-K2.6、GPT-5.6-Sol、GPT-5.6-Terra 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 测试
- Kimi-K2、Kimi-K2.5、Qwen2.5-72B-Instruct 等 12 个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 评测与基准arXiv 2610.02827
MLCommons 发布 Jailbreak Benchmark v1.0
构建 MLCommons 越狱基准以测量模型的单轮越狱韧性
- arXiv
- 2610.02827
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Kimi K2.6、Gemma 3N E4B Instruct、LFM2-24B-A2B 等 8 个
- 攻击越狱
摘要论文建立了单轮越狱评测的标准化端到端方法学体系，揭示了开源大模型在对抗提示词下的安全性能降级与大模型负差距现象。
- 评测与基准arXiv 2609.32763
Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像
构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像
- arXiv
- 2609.32763
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Kimi-K3、Kimi-K2.6、Gemini-3.8-Flash 等 15 个
摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见，过度依赖先验导致无法有效利用知识核验事实篡改。
该研究系统评估了多模态大语言模型在面对无痕事实性编辑时，能否利用自身内在世界知识核验被识别出的经典图像。
- 评测与基准arXiv 2609.39863
FIGS：在不惩罚共情的前提下评测多轮谄媚
提出 FIGS 双轴基准，评测多轮对话中的谄媚与校准性共情
- arXiv
- 2609.39863
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Kimi K3、DeepSeek V4.1 Flash、Gemini 3.8 Flash 等 8 个
- 风险失准与价值偏离
摘要FIGS 把守事实和恰当共情分开计分，事实向提示会换来更冷的失败。
FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。
- 评测与基准arXiv 2609.39903
OSWorld-Science：面向科学软件学习与使用的计算机操作智能体基准
提出 OSWorld-Science 评测计算机使用智能体的科学软件操作能力
- arXiv
- 2609.39903
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Kimi K3、Claude Fable 5.1、Claude Opus 5 等 12 个
- 评测与基准arXiv 2606.18936
SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准
提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全
- arXiv
- 2606.18936
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- kimi-k2.6、Kimi-K2-0905、glm-5.1 等 14 个
- 风险幻觉与编造
摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。
SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准，用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现，而不安全输出不限于事实错误。现有科学能力基准不测安全，领域安全基准又多集中在化学、医学或生物，或只按宽泛安全类别打分。
- 评测与基准arXiv 2609.32915
AgentTell：浏览器 Agent 的行为侧信道泄漏基准
构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露
- arXiv
- 2609.32915
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Kimi K2.6、Claude Sonnet 5、Gemini 3.7 Flash 等 6 个
摘要论文评估了浏览器智能体的行为侧信道泄露风险，并基于近万次会话提供了评测数据。
- 评测与基准arXiv 2609.00498
SEAV：面向大语言模型越狱评测的有效性验证框架
提出 SEAV，逐步核验越狱回复的事实与操作有效性
- arXiv
- 2609.00498
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Kimi K2.5、Gemini 3 Flash、GLM-5
摘要SEAV 用逐步检索和依赖检查重判越狱成功，SD-A 与三个基准上的原成功标签都有一批被改判。
SEAV 是一层生成后的越狱评测：回复要相关、事实正确、顺序合规，并且在操作上足以推进有害意图，才算成功。。
- 评测与基准arXiv 2609.02168
FUSE：面向大语言模型危险能力的模块化评测框架
提出 FUSE 框架，评测大语言模型的化生危险能力
- arXiv
- 2609.02168
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Kimi-K3、Claude-3-Haiku、Claude-Opus-4 等 13 个
- 评测与基准arXiv 2609.37686
EngiWorld 基准发布：前沿 Agent 在专业工程环境中最高仅得 44.3 分
提出 EngiWorld 基准，评测 Agent 在专业工程软件中走完设计闭环的能力
- arXiv
- 2609.37686
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Kimi K3 (Max)、Claude Opus 5 (Max)、GPT-5.6-Sol (XHigh) 等 7 个
已经到底了