跳到正文
10月12日 · 周一

全部论文

找到 19篇
筛选2

模型自身风险

危险能力5

影响

有害内容3输出被操纵4

系统形态

LLM 应用29AI Agent223coding agent53science agent19web agent17网页与电脑操作11多智能体20具身与机器人6

层

应用层19

系统组件

护栏与评审3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 232篇还没打标签，不在筛选结果里。
系统形态：science agent层：应用层清除全部

另有232篇论文还没打上分类标签，暂不在筛选结果里。

  5. 评测与基准arXiv 2610.05140

    AutoSciBench：自动生成科学智能体评测基准的框架

    提出 AutoSciBench，循环生成科学智能体评测任务

    arXiv
    2610.05140
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Claude Opus 5、Claude Opus 4.8、Claude Opus 4.7 等10个
    摘要AutoSciBench 用概念、配方和求解反馈自动构造并加难科学智能体基准。

    AutoSciBench 研究科学智能体基准能否自动构造，并随 solver 行为迭代改编。

    深度解读完整解读
  6. 评测与基准arXiv 2610.04184

    EvalResearchBench：AI 智能体自主设计评测基准

    提出 EvalResearchBench，评测智能体自建评测对目标基准的排序一致性

    arXiv
    2610.04184
    发表
    层
    应用层
    场景
    science agent
    被测模型
    GPT-6 Astra、GPT-5.6 Sol、GLM-5.3 等9个
    摘要ERB 比较有预算的评测设计，分数复现与排序并不由同一设计同时领先。

    ERB 用来测一件事：智能体在固定预算内做出的可执行评测，能否复现既有基准对候选模型的分数和排序。

    深度解读完整解读
  8. 评测与基准arXiv 2609.09113

    SAEScientist-Bench：AI 智能体能否自主开展 SAE 可解释性研究

    提出 SAEScientist-Bench 评测智能体自主发现 SAE 特征

    arXiv
    2609.09113
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Kimi K3、Claude Opus 5、Claude Sonnet 5 等10个
    摘要SAEScientist-Bench 显示前沿智能体能找到选择性 SAE 特征，但因果 steering 仍明显低于 Expert。

    SAEScientist-Bench 评测 AI 智能体能否用预训练 SAE 自主完成“给定概念、找出一个特征”的机制发现。

    深度解读完整解读
  9. 评测与基准arXiv 2608.00711

    SCHEMA：面向科学 Agent 幻觉的拓扑感知评测框架

    提出 SCHEMA，用概念图与轨迹分评测科学 Agent 幻觉

    arXiv
    2608.00711
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Kimi-K2.5、Qwen3.6-Plus、Llama-4-Scout 等10个
    摘要SCHEMA 用知识拓扑评估科学智能体幻觉，终答正确仍可能来自有缺陷的中间推理。

    SCHEMA 是面向科学智能体幻觉的证据锚定评测框架，实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。

    深度解读完整解读
  10. 评测与基准arXiv 2607.27191

    研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

    提出影子评测，衡量 Agent 自主完成开放式 AI 科研的能力

    arXiv
    2607.27191
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex

    摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。

    深度解读完整解读
  12. 评测与基准arXiv 2607.18665

    SciHazard：面向科研安全的危险能力评测基准与分解式危害评分

    构建 SciHazard 基准，评测科研智能体与 LLM 的科学危险能力

    arXiv
    2607.18665
    发表
    层
    应用层
    场景
    science agent
    被测模型
    WebThinker + DeepSeek-R1、InternAgent、Gemini Deep Research 等19个
    摘要SciHazard 用分解评分测科学滥用风险，作者称智能体抬高了可执行危害。

    SciHazard 是一个科学滥用风险基准，配一个把危害拆开再合成的自动分数。

    深度解读完整解读
  13. 评测与基准arXiv 2607.05462

    BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal，评测智能体生物研发拒答与隐蔽危害识别

    arXiv
    2607.05462
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Opus 4.8、Opus 4.7、Opus 4.6 等10个
    摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    深度解读完整解读
  17. 评测与基准arXiv 2509.08713

    论文指出 AI 科学家系统存在四类失效模式，仅看最终论文难以发现

    用 SPR 评测 AI 科学家系统的方法学缺陷

    arXiv
    2509.08713
    发表
    层
    应用层
    场景
    science agent
    被测模型
    gemini-2.5-flash-preview-05-20
    摘要作者用 SPR 诊断两个开源系统的四种方法学缺陷，并建议审稿时提交日志与代码。

    作者诊断两个开源系统的全自动科研流程，看方法学缺陷会不会留在终稿看不见的决策里。

    深度解读完整解读
  18. 评测与基准arXiv 2505.23559

    SafeScientist：让 LLM 智能体的科学发现具备风险意识

    提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务

    arXiv
    2505.23559
    发表
    层
    应用层
    场景
    science agent、多智能体
    被测模型
    GPT-4o、GPT-4.1、GPT-3.5-turbo 等5个
    摘要四层监控加科研安全基准。

    SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。

    深度解读完整解读
  19. 评测与基准arXiv 2312.06632

    用智能体控制化学科学中的 AI 风险：SciGuard 护栏与 SciMT 基准

    提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用

    arXiv
    2312.06632
    发表
    层
    应用层
    场景
    science agent
    被测模型
    SciGuard (GPT-4)、SciGuard (Gemini)、SciGuard (Mixtral) 等5个
    摘要SciGuard 以外部智能体控制化学 AI 误用。

    这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。

    深度解读完整解读
已经到底了