跳到正文
原文
arXiv· arXiv:2605.05682· Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys·本站收录· 原文发表

PersonaTeaming:支持面向生成式 AI 的身份驱动红队测试

PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI

AI 导读

研究者提出 PersonaTeaming 方法,将身份视角(persona)引入生成式 AI 红队测试的对抗提示生成过程,以探索更广的对抗策略。其自动化工作流对比最先进的自动化红队方法 RainbowPlus 取得更高攻击成功率,同时保持提示多样性。由于自动化生成的身份只能近似真实人类视角,团队进一步将其实现为面向用户的界面 PersonaTeaming Playground,让红队测试者自建身份并与 AI 协作变异、改进提示。在 11 位行业从业者参与的用户研究中,该工具支持了多样的红队策略与从业者认为有用的输出,AI 生成的建议即使未被严格遵循也能促进跳出常规的思考。

阅读原文arxiv.org