VISA:通过屏蔽适配实现价值注入的个性化 LLM 对齐
VISA: Value Injection via Shielded Adaptation for Personalized LLM Alignment
AI 导读
研究者提出闭环框架 VISA,以价值注入与屏蔽适配实现个性化 LLM 对齐,缓解任务微调引发的对齐税。其架构含高精度价值检测器、语义到价值转换器与价值改写器,改写器经 GRPO 以复合奖励兼顾细粒度价值精度与语义完整性。实验显示 VISA 可精确控制价值表达并保持事实一致性与通用能力,显著优于标准微调与 GPT-4o 等提示基线。