晚了一轮：学习何时干预多轮对话中的恶意意图
One Turn Too Late: Learning When to Intervene Against Multi-Turn Malicious Intent
AI 导读
研究者提出针对大语言模型多轮对话中隐藏恶意意图的防御方法，将防御建模为判断何时需要干预的问题，并定义最早致害轮次（即首次使累积交互足以促成有害行为的轮次）作为干预边界。为规模化构造监督信号，作者构建了包含自适应攻击 rollout、匹配良性困难负样本和边界标注的 Multi-Turn Intent Dataset（MTID），据此训练响应感知监控器 TurnGate，再通过多轮强化学习优化其干预策略。作者实验显示，轮级边界监督改善了干预定位，强化学习进一步改善安全与效用的权衡；TurnGate 在跨风险领域、攻击流程和目标模型上优于现有护栏与多轮监控基线。代码开源于 https://github.com/Graph-COM/TurnGate。