通过多智能体辩论实现高效的大语言模型安全评估
Efficient LLM Safety Evaluation through Multi-Agent Debate
AI 导读
研究者提出 Multi-Agent Judge 框架，由批评者、辩护者、裁判三个智能体按统一安全评分标准辩论，低成本提升大语言模型安全评估的可靠性。配套的 HAJailBench 为人工标注越狱基准，含 11,100 条标注交互，覆盖多种攻击方法与目标模型。在该基准上，该框架优于匹配的小模型提示基线与已有的多智能体裁判方法，按所评估的定价快照比 GPT-4o 更经济。