AART：面向新 LLM 应用的 AI 辅助红队测试与多样化数据生成

研究者提出 AART（AI-assisted Red-Teaming），一种自动生成对抗评测数据集的 AI 辅助红队测试方法，作为人工红队的自动化替代，用于测试 LLM 在新下游应用中生成内容的安全性。该方法提供可复用、可定制的数据生成与扩增配方，显著减少人力投入，支持在新产品开发早期引入对抗测试。AART 由 AI 辅助配方在应用语境中定义、划定范围并排序多样性，生成涵盖敏感与有害概念、覆盖广泛文化与地理区域及应用场景的高多样性评测数据，再通过结构化的 LLM 生成流程对评测优先级进行规模化。作者称与部分现有工具相比，AART 在概念覆盖率和数据质量上结果令人鼓舞。