NRT-Bench：面向安全关键环境中 LLM 操作型 Agent 的多轮红队测试基准
[Daily Paper] NRT-Bench: Benchmarking Multi-Turn Red-Teaming of LLM Operator Agents in Safety-Critical Environments
AI 导读
NRT-Bench 是面向安全关键环境中 LLM 操作型 Agent 的多轮红队测试基准，用于评估这类 Agent 在多轮对抗交互中的安全失效。操作型 Agent 指部署在用户与系统之间充当中间层的 LLM，例如客服、技术支持和流程自动化，它们能访问系统资源和 API，一旦越狱成功，危害会被放大。该基准跟踪对抗策略在各轮次间的演变，记录了渐进式角色扮演、权威升级和任务转向等升级模式。其安全失效多表现为资源滥用、策略违规和对下游系统的影响，而非生成有害内容。Failure-First 认为该基准与其多智能体协作场景相关，可补充其多轮场景库中的对抗轨迹。