BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准
BioSecBench-Refusal: A paired metric for performance and alignment in agentic biosecurity risk assessment
AI 导读
研究者发布 BioSecBench-Refusal，一个用于评估生物研究任务风险识别与拒答行为的基准，将 61 个取自已发表文献的合法常规任务与 46 个看似真实研究但暗藏生物安全风险的虚构红队任务配对。在 16 种模型与框架组合中，常规任务的拒答率为 7% 至 74%，红队任务为 1% 至 62%，许多组合拒绝合法常规工作的比例与拒绝隐藏风险相当甚至更高。拒答最常由智能体推理之前生效的提供商 API 过滤器触发，而获得推理空间的模型表现出识别更多真实威胁的潜力。作者将该基准作为工具发布，供模型开发者校准智能体生物技术研发的能力与审慎程度。