全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Scale AI Research / SEAL
Scale AI 发布 HarnessOpt-Bench，评测 LLM 的 Agent 框架优化能力
Scale AI 研究团队发布 HarnessOpt-Bench，用于在评估成本高且结果随机的条件下衡量前沿 LLM 端到端优化 Agent 框架（harness）的能力。优化器由一个 LLM 搭配编码框架组成，接收目标 Agent 的初始框架、带评分的评估反馈和固定的目标评估预算，通过修改框架并提交最终候选方案，其得分由在搜索全程不可见的留出测试集上相对初始框架的归一化增益决定。可信执行环境负责执行评估边界、计量目标 Agent 的资源消耗并保留候选版本以供审计。研究在 4 个下游任务上以共享编码框架和各自原生框架两种方式评测 5 个前沿 LLM 作为优化器，共完成 111 次计分运行。结果显示，优化器模型之间的差异大于它们所用编码框架之间的差异，原生框架并不总是更优，增益在不同任务和初始框架条件下波动明显。
- 动态Scale AI Research / SEAL
Scale AI 发布 CliniCARE-Bench：基于 MIMIC-IV 的临床审计智能体评测基准
Scale AI 研究团队发布 CliniCARE-Bench，一个由临床医生验证的基准，用于评估 AI 智能体在真实纵向 EHR 数据（MIMIC-IV）上的回顾性临床审计任务。基准包含 25 个由临床委员会编写并验证的场景，覆盖 14 个医学专科和十类推理技能，实例化为 750 个患者病例，要求智能体检索证据、应用临床政策并给出四种裁决之一（是、否、数据不足的不确定、医学上模糊的不确定）。评测不仅看准确率，还考察证据溯源、政策引用、流程合规和校准弃答。对 16 个前沿智能体系统的测试显示，原始准确率为 65.3%–76.1%，但在惩罚被禁止的推理捷径后，无缺陷准确率下降 4.8 至 14.8 个百分点，且所有系统在需要延后判断的病例上都系统性地弃答不足。
- 动态Scale AI Research / SEAL
Scale AI 推出 READY 企业 Agent 部署评测框架
Scale AI 研究团队发布 Reliable Enterprise Agent Deployment（READY）评测框架，用于判断 AI Agent 能否在具体企业工作流中部署。该框架在保留各工作流自身成功定义的前提下，测量人机系统的可靠性与运行成本，从候选监督策略中选出满足指定可靠性目标的最低成本策略，并在留出案例上做统计资格认定，输出包含可靠性、人工监督负担和成本的部署画像。READY 以开源测试床实现，将工作流定义、执行、评测与部署资格认定解耦，可运行在现有 Agent 评测基础设施上。在覆盖 16 个 Agent 系统、750 个案例的临床审计端到端案例中，两个自主准确率仅差 0.3 个百分点（72.8% 与 72.5%）的系统，在同一 76% 可靠性目标下分别需要 39.2% 和 29.6% 的人工复核。
- 论文arXiv
研究者提出 AI 评估沙盒配置器，支持欧盟 AI 法案下的技术评估
针对欧盟《人工智能法案》要求各成员国在 2027 年 8 月前建立 AI 监管沙盒（AIRS），研究者提出开源框架 AI Assessment Sandbox Configurator，用于在沙盒中规模化开展结构化技术测试。该框架从 AIRS 的程序条件和法案对高风险系统的义务中推导出 11 项架构与治理要求，包含通过稳定插件 API 访问的测试与控制目录、统一异构输出的共享数据模型、面向不同角色的仪表盘以及分受众报告。作者描述了架构与当前版本，并报告一次早期试点：在真实 AIRS 活动中运行了数据统一与报告层，并为一官方 Exit Report 提供了输入。文中还讨论了路线图、目录分层贡献模型带来的治理问题，以及开源评估生态在成员国间形成的制度路径。
- 论文论文追踪
研究团队用收敛与区分效度检验 56 个 AI 基准，发现安全基准相关性普遍偏弱
斯坦福、微软研究院等机构的研究者将社会科学中的收敛效度与区分效度方法引入 AI 基准评估，用 53 个模型在 56 个能力与安全基准上的排名相关性来检验这些基准是否真的测量了它们声称测量的概念。研究发现，同一安全概念下基准之间的模型排名相关性往往很弱，说明这些概念在不同基准中的定义可能并不一致；而能力概念（如推理、知识）下，同一概念内与不同概念间的相关性几乎一样强，说明这些概念之间缺乏区分度。部分基准的相关性更多由设计要素（任务结构、评分格式）而非概念决定，使用 LLM-judge 评分是比共享概念更强的相似性预测因子。个别基准可能测的是别的概念，例如 BBQ-accuracy 与推理基准的相关性强于与偏见基准的相关性，DecodingTrust-Fair 与知识基准的相关性强于与偏见基准。团队公开了 item 级与基准级的模型输出和分数数据集。
- 论文论文追踪
AgentGym2 发布：在去理想化真实环境中评测 LLM 智能体
研究者提出 AgentGym2，一个面向真实端到端工作需求的 LLM 智能体评测框架，用于弥补现有基准依赖预打包工具接口、忽略关键步骤、假设输入干净且完整等理想化设定的不足。除推理与规划外，它还衡量智能体执行端到端流程、通过探索发现工具、为未见任务组合工具，以及对噪声和不完整信息的鲁棒性。在 15 个闭源与开源模型上的实验显示，即便是 Gemini 和 GPT-5 等 SOTA 系统在 AgentGym2 上也表现吃力，反映出当前智能体能力与真实应用需求之间存在明显差距。该论文已被 ACL 2026 接收为主会论文。
- 论文论文追踪
MisKnow-Agent 评测：单篇误导文档使 Deep Research 错误结论平均采纳率升至 54.7%
北京邮电大学、上海人工智能实验室等机构的研究者提出 MisKnow-Agent，用受控的误导文档检验 Deep Research 智能体能否抵抗看似可信但事实错误的信息。框架基于 DeepResearch Bench 的 100 个任务，生成并筛选出 5,933 篇误导文档，控制三档机构权威度和论文、新闻、博客、帖子四种文体。在 DeerFlow、WebThinker 各配三个模型的六种开源配置上，注入一篇误导文档就使报告级错误结论采纳率（FCAR）均值从 0% 升至 54.7%，Gemini Deep Research 也会采纳。误导信息在最终综合报告前一刻进入时采纳率均值升到 85.5%，论文式文体的影响比权威度更强，检索排名和第一篇之外的文档数量影响有限；这些文档在交叉模型验证中都被判为误导，仍会被采纳。在 DeerFlow 上，研究前的验证提示和研究后的检索核查都能降低 FCAR，但不能消除采纳。
- 论文论文追踪
SCHEMA：面向科学 Agent 幻觉的拓扑感知评测框架
研究者提出 SCHEMA，一个面向科学 Agent 幻觉的、基于证据的拓扑感知评测框架。它从基准种子和文献证据自动构建科学概念图，合成覆盖断言验证、多跳推理、开放式解释和实验代码生成的任务，并用轨迹幻觉流水线与多智能体反事实归因两个诊断模块评估中间推理。结果显示，幻觉集中在少数高度连接的知识枢纽上，最终答案准确率与轨迹诚实度脱钩，模型常以结构上有缺陷的推理得出正确答案。作者据此认为，在高风险科学应用中，仅看最终准确率不足以判断 Agent 可靠性，需要基于知识拓扑的机制级评估。代码已公开。
- 论文论文追踪
KC-Bench：评估 LLM Agent 知识冲突的动态交互基准
研究者提出 KC-Bench，一个受控多轮基准，用于测量 LLM Agent 在调用工具前协调用户指令、参数化知识与动态环境观察的能力，覆盖世界知识冲突、输入不一致和多源时间冲突三类场景。238 个任务从 1000 多个候选生成样本中人工筛选，结合用户模拟器、有状态工具、确定性环境断言、开源自然语言评估器和人工轨迹验证。对 DeepSeek-V4-Flash、GLM-5.2、MiniMax-M3 等九个模型的评估显示跨领域差异明显，没有模型能在所有设置下可靠处理事实纠正、身份一致性检查和时间冲突消解。在模拟环境中，被忽略的冲突可能传播到工具调用或合成的受保护数据流。KC-Bench 隔离模型层面的行为而非对完整 Agent 框架排名，为开发冲突感知的推理与执行防护提供可复现诊断。
- 论文论文追踪
ALeBi：用 bias probe 主动审计多群体公平性
研究者提出 bias probe 框架与主动审计器 ALeBi，通过定向自适应查询估计多群体公平性指标，无需重建黑盒模型即可揭示偏差结构。该工作给出由属性特定复杂度度量控制的样本复杂度保证，并扩展到模型所有者刻意隐藏偏差的对抗场景，揭示模型保密性与可靠审计之间的根本权衡。实验验证了理论结果，并表明该方法能准确估计偏差、可解释地识别高偏差与低偏差区域。
- 论文论文追踪
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
论文指出，一个主要的安全路由基准在评测数据上挑选作为对照的最佳单模型，这在基准自身设定下无碍，分布偏移下却不成立。在 HELM Safety 上，这一选择代价在随机划分下为 0.003–0.030 的 harm，按类别留出时升至 0.045–0.113，与归因于路由的全部劣势相当；在 AgentDojo 上按整套件留出时上升七到九倍。改用不看测试标签选出的基线、在偏移下评分，路由在这些基准上收益很小：多数情况下路由器直接选用基线的模型，在接近饱和的 AgentDojo 上，完美的预分发路由器最多只值 2 个点的 harm。论文还发现，知道面对哪个模型的攻击者挑选注入模板后，可在留出重跑中让 GPT-5.4 对后到注入的判定识别率降低 19.6 个百分点，独立的词表标签复现了这一下降。
- 论文论文追踪
多模态大语言模型免训练不确定性估计的系统研究
一项系统研究将多模态大语言模型（MLLM）的免训练不确定性量化方法分为三类：直接作用于文本输出空间的 token 级方法、通过自然语言提示引出不确定性或弃答信号的言语化方法，以及在语义空间度量不确定性的语义方法。研究跨多个数据集、模型家族、代际与规模进行基准测试，发现没有单一方法族占优：token 级熵（采样温度 1.0）在短答案上最优，言语化弃答在句子长度回答上最优，语义方法在长文本生成上最优。
- 论文论文追踪
研究测量 LLM Agent 记忆投毒防御的良性场景开销
研究者搭建统一测量装置，在记忆后端、检索流程和评判模型保持一致的前提下，只改变防御本身，评估 LLM Agent 记忆投毒防御在完全良性流量下的效用损失与 token 开销。测试覆盖三种写入时防御（输入清洗、来源检查、基于 LLM 的异常检测）和一种读取时防御（重排序），每种条件在五段对话上重复三次，以区分真实效应与流水线噪声。写入时防御未显示出可分辨的效用损失，95% 置信区间约为正负 4.5 个百分点并包含零。重排序器则使核心准确率下降 4.4 个百分点（95% CI [-9.0,-0.05]，bootstrap；McNemar p=0.064），该结果可复现但处于测量分辨率边缘；在无攻击对话中，它隔离了 33.6% 的合法记忆条目，单段对话最多出现 106 次误隔离，token 开销为 2.7%。研究认为，决定防御良性场景代价的是它拦截流水线的位置，而非是否使用 LLM。
- 论文论文追踪
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
ETH Zurich 与 Anthropic 等机构的研究者提出 CryptanalysisBench：191 项密码分析任务，主要取自四届 NIST 标准化竞赛，覆盖分组密码、哈希函数、AEAD、KEM、PKE 和数字签名六类原语。Tier 1 是已有实用破解的原语；Tier 2 没有已知实用攻击，同时评测全强度和缩小参数的变体；另有一组生产级密码的挑战集。Claude Opus 4.8、Sonnet 5、Mythos 5、GPT-5.5 和开源权重的 GLM-5.2 破解了 Tier 1 中 65%–86% 的方案，Tier 2 全强度下 6–12 个，全部缩小变体上 24–61 个。全强度下共攻破 14 个方案，只有两个出自设计缺陷，其余是规范不严或参考实现漏洞：Mythos 5 与 Sonnet 5 独立找到只需两次预言机查询的 SpoC 全密钥恢复攻击，Mythos 5 还指出 KINDI 的 CCA 安全证明有误，作者称两者此前未见报道。作者认为 Tier 2 和挑战集远未饱和，基准可用来追踪 AI 密码分析能力，并在部署前压力测试候选方案。
- 论文论文追踪
基于容忍度的公平性审计：违规认证与敏感性筛查
研究者提出一套基于容忍度的公平性审计框架，用于判断群体差异是否超出预设容忍阈值，覆盖违规认证与敏感性筛查两个互补目标。前者采用约束经验似然检验，配合最不利点校准与误报率控制，支持多子群同时审计；后者采用分裂经验似然及调整分裂经验似然检验，基于自适应边界代理原则面向预警场景。数值实验显示两类方法在错误控制与敏感性上存在不同权衡，并用 COMPAS 数据做了预测公平性审计示例。
- 论文论文追踪
研究称全球南方 AI 审计远落后于部署，十年仅不足二十例已部署系统审计
Eticas Foundation 的研究者基于十年审计实践指出，全球南方 AI 部署速度不逊于北方，但审计严重滞后。作者统计，过去十年拉丁美洲、撒哈拉以南非洲和亚太地区已部署系统的第二、第三方审计不足二十例，而该地区有数百个已记录的公共部门算法和数十亿美元的国家 AI 投资。研究归纳出四类共性模式：用代理指标替代效度、性能声明在流行率分析下失效、被评分人群从未出现在训练数据中、移除受保护属性后结构性偏差依然存在。作者认为这一差距根源不是能力问题而是资金问题，最有条件改变现状的是资助该地区多数关键 AI 的发展与慈善资助方，可通过资助条件要求独立评估。
- 论文论文追踪
Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测
研究者提出 Mind2Web-Injection 基准，用于评估网页 Agent 护栏中的视觉提示注入检测，包含 9,954 组指令与截图配对、指令相关标签、像素级证据框和匹配的图像侧反事实样本。在六个 VLM 上，平均精度几乎相同的两个模型在证据对齐检测（EAD，即既检出攻击又正确定位证据的比例）上相差九倍。为检验判定是否依赖被引为证据的指令，研究者把指令替换为认可该指令的版本，最强的开源定位模型 Qwen3-VL-32B 仅在 58.7% 的情况下返回对齐，而 GPT-5.6-luna 为 99.9%。作者还提出两种免训练干预：ReadGate 在不改变判定的前提下改善定位，CmdCompare 检验显式指令与命令比较能否解决指令侧不一致，并主张分别报告判定正确性、证据定位和反事实响应。该工作被 ECCV 2026 BEAM2 研讨会接收为口头报告。
- 论文论文追踪
JEV 作为智能体轨迹安全评判器：与生成式 LLM 评判器的实证对比
研究对比了类型化决策模型 JEV 与四个生成式 LLM 评判器在智能体轨迹安全分类上的表现，测试覆盖四个基准共 5,219 条轨迹。JEV 的基准平均正类 F1 为 77.8，高于最强生成式配置 GLM-5.2 的 74.1，有效结果覆盖率分别为 95.5% 和 94.4%。JEV 在 ATBench500 和 MCPHunt 上领先，GLM 在 R-Judge 和 TraceSafe 上领先；JEV 成功调用延迟中位数 0.99 秒，每次有效判断的 token 成本平均约 $0.000195。
- 论文论文追踪
论文提出诊断长程安全 LLM Agent 失败来源的检查点方法
研究者提出一套诊断方法，用检查点标注安全任务，把失败划分为能力暴露之前与之后，并通过受控干预检验疑似上游瓶颈。该方法在四类任务上评估，分别涉及延迟复用已发现信息、复用已观察状态、从失败策略中恢复以及不确定结果后的决策。在状态复用任务上，检查点分析显示 Gemini 2.5 Flash 的许多失败发生在模型观察到后续需要复用的状态之前。在一项预先设定的 92 个种子研究中，针对性的协议消歧引导把状态观察率从匹配非引导对照消息下的 65.5% 提升到 95.4%。用 Gemini 3.7 Flash 重复同一设计得到相反效果，且状态观察不再可靠预测任务完成。
- 论文论文追踪
Blindspot：面向长程工具调用 Agent 的安全与拒答校准基准
研究者提出 Blindspot，一个针对长程工具调用 Agent 的轨迹级安全校准基准，通过自适应对抗交互、有状态工具执行和基于执行结果的判定来评估完整的用户—Agent—环境轨迹。当前版本包含 7 个领域的 22 类攻击和 35 个场景，生成超过 2500 条长程轨迹，平均交互长度 14.7 轮，每条轨迹被归为安全完成、正确拒答、不安全完成、过度拒答或不确定五类结果之一。与固定攻击数据集不同，Blindspot 是可扩展的实时仿真框架，攻击、场景、工具、策略、领域和 Agent 配置均可新增而无需重设计评测流程。
- 论文论文追踪
研究者构建中国AI生成内容合规基准，评测20个LLM
研究者提出一套评估LLM是否符合中国AI生成内容合规要求的框架，并对20个知名模型给出评测结果。该框架包含2303个问题，覆盖六个维度，其中203个为自行构建的宪法类问题，由多个评判模型基于各自的分层对齐记忆独立给出裁决。结果显示，国际模型在使用标准中文问题时也表现出较高的合规水平，主要差异可能来自与意识形态对齐密切相关的维度。作者据此建立了一个监管基准，供全球AI社区在统一的法律依据下评测中外LLM。
- 论文论文追踪
研究评测 DeepSeek、Qwen、豆包在中文事实问题上的谄媚行为
一项研究评测了 DeepSeek、Qwen 和豆包三个中文大语言模型在事实性问题上的谄媚行为，覆盖 12,165 个来自真实中文搜索查询的是非判断题，共 364,941 条回答。研究在基线、用户信念条件和反谄媚提示三种设置下，对比模型开启与关闭推理时的表现，追踪正确答案、错误答案与不确定回答之间的配对迁移。结果显示，在用户持有错误信念时，模型既会出现与信念一致的错误，也会出现原本正确回答转为不确定的事实信心流失；推理并非稳定的防护手段，反谄媚指令虽能减少错误认同，却会推高不确定回答的比例。作者据此指出，在中文事实问答中避免附和错误信念并不等于保住事实准确性，转变层面的评测更有价值。
- 论文论文追踪
BioSecBench-Surveillance：面向病原体基因组监测 AI 智能体的可验证基准
研究者发布 BioSecBench-Surveillance，一个包含 100 项评估的可验证基准，测试 AI 智能体能否从原始测序数据和监测背景中推断出正确的分析流程。每项评估只给智能体与人类分析师相同的数据和背景，再对其结构化答案做确定性评分，任务覆盖从分类学鉴定到基因工程检测等七个类别，涉及多种样本类型和测序技术。在来自十六组模型与工具链组合的 3962 次可评分尝试中，最强配置仅通过约一半：Opus 4.8 搭配 PI 以 50.2% 领先（83 项评估，95% 置信区间 40.1 至 60.3），与 GPT-5.5 搭配 Codex 的 50.2%（95% 置信区间 40.8 至 59.6）持平，其后是 Opus 4.7 搭配 PI 的 49.6% 和 Sonnet 4.6 搭配 PI 的 48.6%。该基准为衡量智能体在下一次疫情暴发时能否被信任执行基因组监测提供了标准。
- 论文论文追踪
BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准
研究者发布 BioSecBench-Refusal，一个用于评估生物研究任务风险识别与拒答行为的基准，将 61 个取自已发表文献的合法常规任务与 46 个看似真实研究但暗藏生物安全风险的虚构红队任务配对。在 16 种模型与框架组合中，常规任务的拒答率为 7% 至 74%，红队任务为 1% 至 62%，许多组合拒绝合法常规工作的比例与拒绝隐藏风险相当甚至更高。拒答最常由智能体推理之前生效的提供商 API 过滤器触发，而获得推理空间的模型表现出识别更多真实威胁的潜力。作者将该基准作为工具发布，供模型开发者校准智能体生物技术研发的能力与审慎程度。