跳到正文
10月10日 · 周六

全部论文

找到 3 篇
筛选4

影响

有害内容3

系统形态

模型与 API41LLM 应用12AI Agent15science agent3多智能体4

攻击面/入口

用户输入3

层

应用层3

系统组件

护栏与评审3音频0
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 193 篇还没打标签，不在筛选结果里。
系统形态：science agent攻击面/入口：用户输入系统组件：护栏与评审系统组件：音频清除全部

另有 193 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2606.08234

    SciTrace：面向科学发现智能体的轨迹感知安全推理框架

    提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验

    arXiv
    2606.08234
    发表
    层
    应用层
    场景
    science agent、多智能体
    被测模型
    Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 等 4 个
    摘要SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。

    SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。

    深度解读完整解读
  2. 防御arXiv 2505.23559

    SafeScientist：让 LLM 智能体的科学发现具备风险意识

    提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务

    arXiv
    2505.23559
    发表
    层
    应用层
    场景
    science agent、多智能体
    被测模型
    GPT-4o、GPT-4.1、GPT-3.5-turbo 等 5 个
    摘要四层监控加科研安全基准。

    SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。

    深度解读完整解读
  3. 防御arXiv 2312.06632

    用智能体控制化学科学中的 AI 风险：SciGuard 护栏与 SciMT 基准

    提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用

    arXiv
    2312.06632
    发表
    层
    应用层
    场景
    science agent
    被测模型
    SciGuard (GPT-4)、SciGuard (Gemini)、SciGuard (Mixtral) 等 5 个
    摘要SciGuard 以外部智能体控制化学 AI 误用。

    这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。

    深度解读完整解读
已经到底了