RedAgent：用上下文感知的自主语言智能体对 LLM 进行红队测试
[Daily Paper] RedAgent: Red Teaming Large Language Models with Context-aware Autonomous Language Agent
AI summary
RedAgent 是一个把越狱策略抽象为可复用模块的自主红队框架，据论文报告可在少于 5 次查询内攻破多数被测黑盒 LLM，速度约为既有方法的 2 倍。它由红队智能体按部署上下文选择、组合攻击策略，生成候选提示词、评估模型回复并更新持久记忆，从而在会话中自适应调整。论文称在 GPT Store 的 50 个自定义 GPT 应用上，RedAgent 平均每个漏洞仅用约 2 次查询就发现 60 个严重漏洞。论文还称输入过滤、输出分类乃至 constitutional prompting 等现有防御在攻击内容嵌入合法上下文时失效，作者已将发现报告 OpenAI 和 Meta，方法公开而具体提示词未公开。