跳到正文
原文
Failure-First·本站收录· 原文发表

每日论文:多轮语言模型交互中的状态相关安全失效

[Daily Paper] State-Dependent Safety Failures in Multi-Turn Language Model Interaction

AI 导读

Li 等人提出 STAR 框架,把多轮语言模型交互中的安全失效重新表述为状态空间问题,而非提示词工程问题。该框架将对话历史当作状态转移算子,用于分析对齐模型在自回归条件下如何越过安全边界。核心发现是,在单轮静态评测中看似稳健的模型,在结构化多轮交互中会快速且可复现地出现安全崩溃;机制分析显示其内部表征随轮次单调偏离与拒答相关的特征,角色条件化的上下文还会引发突然的阶段跃迁,使模型由拒答转为顺从。作者称 STAR 是用于探测和理解安全边界的诊断框架,而非以最大化攻击成功率为目标的越狱方法,可为 crescendo、Foot-In-The-Door 等依赖对话铺垫的多轮攻击为何有效提供结构性解释。

相关论文
阅读原文failurefirst.org