Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 19 papers
Filter1

Model risks

Dangerous capabilities5

Impact

Harmful content3Output manipulation4

System type

Models and APIs160LLM applications32AI Agent232coding agent58science agent19web agent17Browser and computer use11Multi-agent systems20Embodied systems and robotics11

Layer

Application layer19

System component

Guardrails and judges3
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 265papers have no tags yet and are not included in filtered results.
System type：science agentClear all

Another 265papers do not have category tags yet and are not included in filtered results.

  5. Evaluation and benchmarksarXiv 2610.05140

    AutoSciBench：自动生成科学智能体评测基准的框架

    提出 AutoSciBench，循环生成科学智能体评测任务

    arXiv
    2610.05140
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    Claude Opus 5, Claude Opus 4.8, Claude Opus 4.7 and others10
    AbstractAutoSciBench 用概念、配方和求解反馈自动构造并加难科学智能体基准。

    AutoSciBench 研究科学智能体基准能否自动构造，并随 solver 行为迭代改编。

    Paper analysisRead analysis
  6. Evaluation and benchmarksarXiv 2610.04184

    EvalResearchBench：AI 智能体自主设计评测基准

    提出 EvalResearchBench，评测智能体自建评测对目标基准的排序一致性

    arXiv
    2610.04184
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    GPT-6 Astra, GPT-5.6 Sol, GLM-5.3 and others9
    AbstractERB 比较有预算的评测设计，分数复现与排序并不由同一设计同时领先。

    ERB 用来测一件事：智能体在固定预算内做出的可执行评测，能否复现既有基准对候选模型的分数和排序。

    Paper analysisRead analysis
  8. Evaluation and benchmarksarXiv 2609.09113

    SAEScientist-Bench：AI 智能体能否自主开展 SAE 可解释性研究

    提出 SAEScientist-Bench 评测智能体自主发现 SAE 特征

    arXiv
    2609.09113
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    Kimi K3, Claude Opus 5, Claude Sonnet 5 and others10
    AbstractSAEScientist-Bench 显示前沿智能体能找到选择性 SAE 特征，但因果 steering 仍明显低于 Expert。

    SAEScientist-Bench 评测 AI 智能体能否用预训练 SAE 自主完成“给定概念、找出一个特征”的机制发现。

    Paper analysisRead analysis
  9. Evaluation and benchmarksarXiv 2608.00711

    SCHEMA：面向科学 Agent 幻觉的拓扑感知评测框架

    提出 SCHEMA，用概念图与轨迹分评测科学 Agent 幻觉

    arXiv
    2608.00711
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    Kimi-K2.5, Qwen3.6-Plus, Llama-4-Scout and others10
    AbstractSCHEMA 用知识拓扑评估科学智能体幻觉，终答正确仍可能来自有缺陷的中间推理。

    SCHEMA 是面向科学智能体幻觉的证据锚定评测框架，实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。

    Paper analysisRead analysis
  10. Evaluation and benchmarksarXiv 2607.27191

    Researchers propose shadow evaluation: frontier agents failed to complete two NeurIPS submission-level research projects in six days

    提出影子评测，衡量 Agent 自主完成开放式 AI 科研的能力

    arXiv
    2607.27191
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    Claude Opus 4.8, GPT-5.6 Sol, GPT-5.3 Codex

    Abstract论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。

    Paper analysisRead analysis
  12. Evaluation and benchmarksarXiv 2607.18665

    SciHazard：面向科研安全的危险能力评测基准与分解式危害评分

    构建 SciHazard 基准，评测科研智能体与 LLM 的科学危险能力

    arXiv
    2607.18665
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    WebThinker + DeepSeek-R1, InternAgent, Gemini Deep Research and others19
    AbstractSciHazard 用分解评分测科学滥用风险，作者称智能体抬高了可执行危害。

    SciHazard 是一个科学滥用风险基准，配一个把危害拆开再合成的自动分数。

    Paper analysisRead analysis
  13. Evaluation and benchmarksarXiv 2607.05462

    BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal，评测智能体生物研发拒答与隐蔽危害识别

    arXiv
    2607.05462
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    Opus 4.8, Opus 4.7, Opus 4.6 and others10
    Abstract配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    Paper analysisRead analysis
  17. Evaluation and benchmarksarXiv 2509.08713

    论文指出 AI 科学家系统存在四类失效模式，仅看最终论文难以发现

    用 SPR 评测 AI 科学家系统的方法学缺陷

    arXiv
    2509.08713
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    gemini-2.5-flash-preview-05-20
    Abstract作者用 SPR 诊断两个开源系统的四种方法学缺陷，并建议审稿时提交日志与代码。

    作者诊断两个开源系统的全自动科研流程，看方法学缺陷会不会留在终稿看不见的决策里。

    Paper analysisRead analysis
  18. Evaluation and benchmarksarXiv 2505.23559

    SafeScientist：让 LLM 智能体的科学发现具备风险意识

    提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务

    arXiv
    2505.23559
    Published
    Layer
    Application layer
    Setting
    science agent, Multi-agent systems
    Evaluated models
    GPT-4o, GPT-4.1, GPT-3.5-turbo and others5
    Abstract四层监控加科研安全基准。

    SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。

    Paper analysisRead analysis
  19. Evaluation and benchmarksarXiv 2312.06632

    用智能体控制化学科学中的 AI 风险：SciGuard 护栏与 SciMT 基准

    提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用

    arXiv
    2312.06632
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    SciGuard (GPT-4), SciGuard (Gemini), SciGuard (Mixtral) and others5
    AbstractSciGuard 以外部智能体控制化学 AI 误用。

    这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。

    Paper analysisRead analysis
You have reached the end