ICDPO：通过上下文直接偏好优化有效借用其他 LLM 的对齐能力
ICDPO: Effectively Borrowing Alignment Capability of Others via In-context Direct Preference Optimization
AI 导读
ICDPO（上下文直接偏好优化）利用大语言模型在上下文学习前后的状态构建即时评分器，让其通过 ICL 借用更强 LLM 的人类偏好对齐能力，生成更对齐的回复。实验显示其优于两个免微调基线，并与 SFT + LoRA 具竞争力；两级检索器和升级评分器可进一步提升效果。