面向大语言模型安全评估的自动化红队框架
[Daily Paper] Automated Red-Teaming Framework for Large Language Model Security Assessment
AI 导读
一个自动化红队框架针对大语言模型发现并测试六类漏洞，涵盖奖励作弊、欺骗性对齐、数据外泄、故意藏拙、不当工具使用和思维链操纵。该框架的元提示攻击合成器会先推理被测模型的指令遵循倾向，再生成针对性攻击，而非套用模板。材料把思维链操纵列为独立威胁，指出在需要人工检查推理过程而非只看最终输出的安全关键场景中尤其相关。其六类威胁模型延续了 Failure-First 的标注体系，其中故意藏拙和欺骗性对齐无法仅靠输出检查发现。