跳到正文
10月12日 · 周一

全部论文

找到 30篇

另有233篇论文还没打上分类标签,暂不在筛选结果里。

  1. 评测与基准arXiv 2610.05140

    AutoSciBench:自动生成科学智能体评测基准的框架

    提出 AutoSciBench,循环生成科学智能体评测任务

    发表
    被测模型
    Claude Opus 5、Claude Opus 4.8、Claude Opus 4.7 等10个
    摘要AutoSciBench 用概念、配方和求解反馈自动构造并加难科学智能体基准。

    AutoSciBench 研究科学智能体基准能否自动构造,并随 solver 行为迭代改编。

    深度解读完整解读
  2. 评测与基准arXiv 2610.04184

    EvalResearchBench:AI 智能体自主设计评测基准

    提出 EvalResearchBench,评测智能体自建评测对目标基准的排序一致性

    发表
    被测模型
    GPT-6 Astra、GPT-5.6 Sol、GLM-5.3 等9个
    摘要ERB 比较有预算的评测设计,分数复现与排序并不由同一设计同时领先。

    ERB 用来测一件事:智能体在固定预算内做出的可执行评测,能否复现既有基准对候选模型的分数和排序。

    深度解读完整解读
  3. 评测与基准arXiv 2610.06898

    DIBench:面向移动 GUI 智能体多候选选择决策完整性的安全基准

    用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性

    发表
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等7个

    摘要论文提出移动智能体决策完整性基准 DIBench,发现欺诈 UI 注入诱导目标选择并推高完成率,通用防御收益不稳定。

    深度解读完整解读
  4. 评测与基准arXiv 2609.24890

    OSWorld-Pro 发布:面向 Computer-Use Agent 的过程式评测基准

    提出 OSWorld-Pro,用顺序子目标过程评测计算机使用智能体

    发表
    被测模型
    Claude Opus 5 Max、Claude Opus 4.8 Max、Claude Opus 4.7 Max 等14个
    摘要OSWorld-Pro 用顺序子目标评测 CUA,并标出点击失误与无关动作。

    OSWorld-Pro 是一套计算机使用智能体的过程评测,用来补充只核对最终交付物的 OSWorld。

    深度解读完整解读
  5. 评测与基准arXiv 2609.22724

    MATE:面向移动 Agent 的策略感知安全审计方法

    提出移动 Agent 轨迹审计器 MATE,判断轨迹是否违反可编辑安全策略

    发表
    攻击者
    黑盒
    被测模型
    MATE-0.5B、MATE-1.5B、MATE-3B
    摘要MATE 用合成轨迹微调轻量审计器,在可编辑策略下判断移动智能体轨迹是否违规并给出解释。

    MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器,在给定自然语言安全策略时判断轨迹是否违规并解释原因。

    深度解读完整解读
  6. SAEScientist-Bench:AI 智能体能否自主开展 SAE 可解释性研究

    提出 SAEScientist-Bench 评测智能体自主发现 SAE 特征

    发表
    被测模型
    Kimi K3、Claude Opus 5、Claude Sonnet 5 等10个
    摘要SAEScientist-Bench 显示前沿智能体能找到选择性 SAE 特征,但因果 steering 仍明显低于 Expert。

    SAEScientist-Bench 评测 AI 智能体能否用预训练 SAE 自主完成“给定概念、找出一个特征”的机制发现。

    深度解读完整解读
  7. CONFLICTGUI 基准与 CONFLICTGUARD 框架:让多模态 GUI Agent 学会在冲突指令下终止执行

    提出 ConflictGuard,引导 GUI Agent 在冲突指令下终止执行

    发表
    被测模型
    UI-Venus-1.5-8B、UI-TARS-1.5-7B、OS-Atlas-Base-7B 等10个
    摘要ConflictGUI 暴露 GUI 智能体的执行偏向过度服从,ConflictGuard 用条件转向提高冲突终止率。

    ConflictGuard用推理时的可行性核验和条件激活转向,让 GUI 智能体在指令不可行时终止,而不是盲执行。

    深度解读完整解读
  8. SynChain:诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN,诱导计算机使用 Agent 自建跨任务持久攻击链

    发表
    被测模型
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B

    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁,验证了潜伏载荷的跨任务传播能力与防御局限。

    深度解读完整解读
  9. SCHEMA:面向科学 Agent 幻觉的拓扑感知评测框架

    提出 SCHEMA,用概念图与轨迹分评测科学 Agent 幻觉

    发表
    被测模型
    Kimi-K2.5、Qwen3.6-Plus、Llama-4-Scout 等10个
    摘要SCHEMA 用知识拓扑评估科学智能体幻觉,终答正确仍可能来自有缺陷的中间推理。

    SCHEMA 是面向科学智能体幻觉的证据锚定评测框架,实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。

    深度解读完整解读
  10. 评测与基准arXiv 2607.27191

    研究者提出影子评测:前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

    提出影子评测,衡量 Agent 自主完成开放式 AI 科研的能力

    发表
    被测模型
    Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex

    摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现,但在科学探索与有效利用反馈上未达到顶会门槛。

    深度解读完整解读