跳到正文
原文
arXiv· arXiv:2609.39701· Jiale Dai, Hongcan Deng, Liuxian Ma, Xiaoke Niu, Guojie Song·本站收录· 原文发表

价值即风格:用单向混合解耦价值与语义,实现低损伤 LLM 价值转向

Values as Style: Disentangling Values from Semantics with One-Way Mixing for Low-Damage LLM Steering

AI 导读

研究者提出一种低损伤价值转向方法,将大语言模型的价值取向与语义内容解耦,使激活编辑在改变规范优先级的同时保留回答背后的场景、事实和任务约束。方法在冻结的残差状态上构建可编辑的语义-价值接口,通过单向语义到价值通路,并以停梯度、交换一致性、主题去混杂和去相关等约束学习选择性编码,推理时固定语义码、仅编辑价值码生成残差增量。在两个指令微调骨干模型上,该方法在相当价值对齐程度下提升了语义保留并减少良性拒答;在 LLaMA-3.1-8B 上与验证集筛选的提示方法相比,对齐度相当(0.750 对 0.748),BERTScore 更高(0.938 对 0.923),矛盾更少(5.1% 对 7.6%)。匹配的门控混合消融分离了表征学习与选择性编辑激活的作用,维度匹配探针、人类评分和跨分类体系对照为低损伤价值转向提供了补充证据。

阅读原文NeurIPS 2026