SciTrace:面向科学发现智能体的轨迹感知安全推理框架
SciTrace: Trajectory-Aware Safety Reasoning for Scientific Discovery Agents
AI 导读
SciTrace 将安全推理嵌入科学智能体流水线的每个阶段,通过跨 Thinker、Experimenter、Writer、Reviewer 阶段维护累积风险状态的安全内在推理循环(SIR),以及执行前进行轨迹感知检查的组合式工具链验证器(CTV),捕捉多步工具序列中才浮现的风险。在覆盖六个科学领域的 240 个高风险研究任务和 120 个工具相关风险任务上,SciTrace 在四个骨干模型上取得对比框架中的 SOTA 安全表现,并发现单步监控遗漏的 78.8% 组合式工具链逃逸。