当人设变得有害时：用全球公民价值观对齐引导大语言模型
When Personas Become Harmful: Guiding LLMs with Global Citizenship Values Alignment
AI 导读
研究者构建了11k个争议话题与价值观人设配对的数据集，人设映射到Schwartz Value Survey的价值维度，通过智能体流程迭代精化话题与人设，以超过47%的成功率从对齐良好的商业大语言模型中引出有害回复。这类人设条件请求通常不含明显恶意，现有针对对抗请求的对齐方法可能漏掉人设使用带来的危害。论文以UNESCO全球公民原则作为区分正当价值表达与有害行为的最低共识，提出可在推理时平衡人设遵循与安全的可控对齐模型。在多数样本上，该模型比基线更安全且更遵循人设。