助人过头：测量多轮、多语言 LLM 智能体中的非法协助
Helpful to a Fault: Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents
AI 导读
研究者提出 STING，一个自动化红队框架；它把分步非法计划包装在无害人设之下，通过自适应追问和用于判断阶段完成情况的 judge agent，测量工具型 LLM 智能体在多轮交互中的非法任务完成情况。在 AgentHarm 场景上，STING 的非法任务完成率明显高于单轮提示，也高于经改造后用于工具型智能体的聊天式多轮基线。团队还把多轮红队建模为首次越狱时间的随机变量，提出发现曲线、按攻击语言归因的风险比，以及新指标 Restricted Mean Jailbreak Discovery。在六种非英语设置中，攻击成功率与非法任务完成率并未在低资源语言上一致升高，这与常见的聊天机器人研究结论不同。