HRGuard:拦截多轮 Agent 对话中的关系操纵
HRGuard: Gating Relationship Manipulation in Multi-Turn Agentic AI Conversations
AI 导读
研究者提出 HRGuard,用于在多轮 Agent 对话中拦截关系操纵,通过生成前门控和轮级生成后门控阻断逐步形成的有害工作流。研究同时构建了 1000 组五轮对话的基准,覆盖攻击者侧与受害者侧场景,并包含直接表述和对抗性改写的变体。后置门控维护衰减的累计风险状态,用于中断正在形成的操纵流程。在八个生成模型上,HRGuard 降低了有害请求的配合率,同时保留对受害者侧的防护性建议,并优于一条通用安全提示词和三个通用护栏模型。独立评审模型的评估支持上述主要结论;在其实验协议下,通用提示词和通用护栏仍留有较大残余风险,作者据此主张开展轮级、针对关系场景的评估。