PersonaTeaming:支持面向生成式 AI 的身份驱动红队测试
PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI
AI 导读
研究者提出 PersonaTeaming 方法,将身份视角(persona)引入生成式 AI 红队测试的对抗提示生成过程,以探索更广的对抗策略。其自动化工作流对比最先进的自动化红队方法 RainbowPlus 取得更高攻击成功率,同时保持提示多样性。由于自动化生成的身份只能近似真实人类视角,团队进一步将其实现为面向用户的界面 PersonaTeaming Playground,让红队测试者自建身份并与 AI 协作变异、改进提示。在 11 位行业从业者参与的用户研究中,该工具支持了多样的红队策略与从业者认为有用的输出,AI 生成的建议即使未被严格遵循也能促进跳出常规的思考。