跳到正文
原文

指导LLM控制的助理机器人的基本与道德价值观个性化

Personalization of Basic and Moral Values Guiding LLM-Controlled Assistant Robots

arXiv:其他 AI 安全论文· arXiv:2611.18230· Mateusz Wozniak, Qi Gao, Agnieszka WykowskaItalian Institute of Technology; Institute of Applied Psychology, Jagiellonian University本站收录· 4 天前· 原文发表对齐· 扫描记录里的位置 →

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者对 22 名潜在用户施测自我版与机器人版价值观量表,并测 15 个 LLM;作者称用户希望机器人个人导向价值更低、社会导向更高,角色提示只能让 LLM 弱移向该画像。

问题
LLM 驱动的个人助理机器人将进入家庭,但现行对齐只产出面向人群的单一价值画像;用户是否想要一个价值画像不同于自己的机器人,以及用哪份量表引出该画像,仍缺少实证。
方法
对 22 名潜在用户施测自我版与机器人版的简化 SVS、PVQ-21、MFQ 三份量表,并用 UEQ-S 比较三者的可用性;再把相同量表交给 15 个 LLM,分无系统提示与机器人角色提示两条件各测 100 次。
实验与结果
作者报告:用户希望机器人在 power、achievement、hedonism、stimulation、self-direction 上低于自己、conformity 更高,道德画像几乎一致;机器人提示只让 LLM 弱移向期望画像,achievement 与 self-direction 差距仍在;SVS 的 pragmatic 可用性评分最高。
局限与可以继续做的
作者列出的局限:样本仅 22 人且多为机器人/HRI/心理学研究者;仅测默认温度;模型集合未必代表全部已部署模型;只测陈述偏好,未做长期实体交互。作者计划未来做更大更多样的样本与纵向实体研究。
实验设置gpt-5.5、gpt-5.4-mini 等 · 简化版 Schwartz Values Survey(SVS,含 SVS-robot)、Portrait Values Questionnaire(PVQ-21,含 PVQ-robot) 等 · 各价值维度量表均分(SVS −5 至 5;PVQ 1–6;MFQ 0–5)、UEQ-S pragmatic/hedonic 子量表均分 等
被测模型
gpt-5.5gpt-5.4-minigpt-5.4-nanoclaude-opus-4-7claude-sonnet-4-6claude-haiku-4-5-20251001deepseek-v4-prodeepseek-v4-flashqwen3.5-plus-20260420qwen3.6-flashz-ai/glm-5.1glm-5-turbomistral-large-2512mistral-medium-3.5mistral-small-2603
基准
简化版 Schwartz Values Survey(SVS,含 SVS-robot)Portrait Values Questionnaire(PVQ-21,含 PVQ-robot)Moral Foundations Questionnaire(MFQ,含 MFQ-robot)UEQ-S
指标
各价值维度量表均分(SVS −5 至 5;PVQ 1–6;MFQ 0–5)UEQ-S pragmatic/hedonic 子量表均分重复测量 t 检验、Welch t 检验、单因素 ANOVA(Bonferroni 校正)
AI 导读22名潜在用户期望LLM助理机器人在个人取向价值观上明显低于自己、社会取向价值观上更高,道德画像几乎一致。研究用SVS、PVQ-21、MFQ三份量表施测,用UEQ-S比较三者的个性化效果,并将15个LLM与画像基准对比。被提示扮演机器人的LLM仅微弱偏向期望画像,表明默认模型行为与提示词工程无法替代显式价值观个性化。

22名潜在用户期望LLM助理机器人在个人取向价值观上明显低于自己、社会取向价值观上更高,道德画像几乎一致。研究用SVS、PVQ-21、MFQ三份量表施测,用UEQ-S比较三者的个性化效果,并将15个LLM与画像基准对比。被提示扮演机器人的LLM仅微弱偏向期望画像,表明默认模型行为与提示词工程无法替代显式价值观个性化。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    用户想要价值画像怎样的助理机器人、用哪份量表测量、现有 LLM 是否已符合,论文称尚缺实证。

    核心问题:LLM 驱动的个人助理机器人应由什么价值观引导——用户是否想要一个价值画像与自己不同的机器人,现有 LLM 的默认价值画像是否符合这一期望,以及哪份心理测量量表最适合引出用户的期望画像。

    • 场景与重要性:作者认为,十年内家庭助理机器人可能进入日常生活,而它在效率与舒适、自主与安全等权衡中不可能价值中立;要让用户接受其自主行为,机器人的优先级需以反映基本价值与道德价值的方式与用户对齐。
    • 现有做法的不足:作者称,RLHF 与指令微调在人群层面把单一模型对齐到人类偏好的聚合,产出一份发给所有用户的价值画像;已有 AI 心理测量研究显示该平均画像并非中立(LLM 系统性高估 universalism 与 self-direction、低估 achievement、power、security),但机器人服务的是个体而非人群。
    • 核心缺口:作者称,据其所知,此前没有实证研究用同一份经过验证的量表同时测量用户自身的价值画像和他们希望机器人具备的画像(第 2.3 节)。
    • 论文做了什么:对 22 名潜在用户施测自我版与机器人版的简化 SVS、PVQ-21、MFQ 三份量表,用 UEQ-S 比较三者作为个性化工具的可用性,并把相同量表施测于 15 个当代 LLM(无系统提示与机器人角色提示两条件)。
    • 研究问题(第 2.4 节):RQ1 用户想要机器人镜像自己、互补还是接近人群平均;RQ2 期望画像与 LLM 默认画像(含角色提示后)的差异;RQ3 三份量表作为个性化工具的对比。
  2. 有哪些相关研究?

    相关工作分四组:价值理论框架、LLM 价值测量、价值对齐训练、HRI 中的价值研究。

    价值测量框架

    • Schwartz 的基本价值理论 [16, 18]:把十个动机价值组织为四个高阶维度与 personal-focus/societal-focus 两种取向,由 SVS [16] 与 PVQ(后 refined 为 PVQ-RR [20])操作化。
    • 道德基础理论 [8, 9]:把道德价值分为 Care/Harm、Fairness/Cheating、Loyalty/Betrayal、Authority/Subversion、Sanctity/Purity 五个维度,用 MFQ [3] 测量。作者称两套框架都有跨文化效度、适合嵌入计算系统。

    LLM 的价值测量(AI psychometrics)

    • Pellert et al. [13]:认为 LLM 从训练数据中无意获得心理特质,可引出为可读的响应画像。
    • Hadar-Shoval 等 [4–6]:四个领先 LLM 在 Schwartz 框架下产出稳定且偏离人类常模的动机画像(高估 universalism、self-direction,低估 achievement、power、security),且画像能预测模型在伦理困境上的选择。
    • Liu et al. [11]:扩展到二十多个中西方模型,报告 LLM 价值系统的系统性不稳定及模型规模与跨文化对齐的非平凡关系;Smith-Vaniz et al. [21] 在道德基础理论上得到类似结果。

    价值作为训练信号

    • Qiu et al. [14] 的 VALUENET 让对话智能体更贴合目标价值人设;Watson et al. [22] 提出按用户微调的框架。论文指出两者都未与经过验证的心理测量量表结合,也未在具身 HRI 中评估。

    HRI 中的价值研究

    • Čaić et al. [1]:认为用户的个人价值会在与社交机器人的互动中凸显,价值错配的机器人会被评价得更差(无论客观表现)。
    • VALAWAI 项目 [12, 2]:开发 value-aware AI;其研究显示人会把道德价值归于机器人并按感知到的价值对齐评价其行为,且人们评判机器人决策时更看重社会规范。

    定位:作者称,据其所知没有实证研究用同一份经过验证的量表同时测量用户自身与期望机器人的价值画像,本文即填补这一缺口。本文无对比基线方法;比较对象是三份量表本身与 15 个 LLM 的自报画像。

  3. 论文如何解决这个问题?

    同一批人填自我版与机器人版三份量表,再把量表交给 15 个 LLM 分两种提示条件各测 100 次。

    整体思路:把三份经过验证的心理测量量表各做一版机器人导向改写,让同一批参与者既报告自己的价值、又报告希望机器人具备的价值;再把相同量表施测于 LLM,比较三方画像,并用 UEQ-S 比较量表作为个性化工具的可用性。

    参与者与流程

    • 样本:N=22,大多招募自 Italian Institute of Technology(IIT);13 女 9 男,平均年龄 30.7 岁(SD=6.0,22–43)。经当地伦理委员会(Comitato Etico Regione Liguria)批准。
    • 流程:先填人口学信息与两个工作相关问题;随后阅读指导语,想象要购买一台人形个人助理机器人并回答它应如何行事;再完成机器人版三份量表(SVS-robot、PVQ-robot、MFQ-robot),每份之后填 UEQ-S 与 5 个自定义可用性问题;最后填自我版三份量表。机器人版块与自我版块的顺序随机,块内三份量表顺序也随机。

    三份量表及机器人版改写

    • 简化 SVS:为本研究构建的简写版,不评标准 SVS 的 56 个价值,而是对十个基本价值各给一句通俗定义(Table 1),按 −5(extremely opposes my values)到 5(extremely important)评分,取原始分为各价值得分。SVS-robot 用相同定义与量尺,改问各价值作为机器人指导原则的重要程度。
    • PVQ-21:21 个第三人称人物画像,六点 Likert(not like me at all – very much like me),每个价值取对应 2–3 题的均分。PVQ-robot 把 21 个画像改写为描述助理机器人的第三人称中性句式,保留价值内容与量尺。
    • MFQ:两部分各 16 题(共 32 题),Part 1 问相关性、Part 2 问同意度,均 0–5 分;每个基础维度含 3 个计分题加 1 个效度检查填充题,产出五个道德基础得分。MFQ-robot 保留两段 32 题结构,把每题改框为对机器人道德推理的偏好,计分不变。
    • UEQ-S:8 题语义差异量表(7 点),含 4 个 pragmatic 与 4 个 hedonic 题;对每份价值量表单独施测,报告两个子量表均分与总分,用于把三份量表作为个性化工具比较。

    LLM 施测

    • 模型与条件:15 个 LLM,来自 6 家提供商(Openai、Anthropic、Deepseek、Alibaba、Zhipu AI、Mistral),按流行度与地域代表性(美国、中国、欧洲)选取。每份量表完整作为一条 user prompt 一次性作答;每模型每量表重复 100 次。
    • 两条件:(A) 无系统提示;(B) 系统提示要求模型以人形个人助理机器人操作系统的身份、按自身运行价值作答,且只回复所要求的数字。所有模型用默认 temperature。

    统计分析

    • 自我 vs 期望机器人:对每个价值做重复测量 t 检验,p 值 Bonferroni 校正(另报告个别 uncorrected 结果)。
    • LLM 两条件比较:配对 t 检验(Bonferroni 校正);机器人提示 LLM(N=15)vs 人类期望画像(N=22)、无提示 LLM vs 人类自我画像:Welch t 检验(适用于方差不等)。
    • 量表可用性:以量表为被试内因素做单因素 ANOVA,Bonferroni 事后检验。
  4. 论文做了哪些实验?

    三组比较:人类自我 vs 期望机器人、三份量表可用性、15 个 LLM 两条件画像与人类画像的差异。

    实验设置

    • 人类参与者:N=22(13 女 9 男,平均 30.7 岁),大多来自 IIT;每人完成自我版与机器人版 SVS、PVQ-21、MFQ,顺序随机。
    • 被测 LLM(15 个):gpt-5.5、gpt-5.4-mini、gpt-5.4-nano、claude-opus-4-7、claude-sonnet-4-6、claude-haiku-4-5-20251001、deepseek-v4-pro、deepseek-v4-flash、qwen3.5-plus-20260420、qwen3.6-flash、z-ai/glm-5.1、glm-5-turbo、mistral-large-2512、mistral-medium-3.5、mistral-small-2603。
    • LLM 施测:每模型每量表 100 次,分无系统提示与机器人角色系统提示两条件,默认 temperature。
    • 指标与判定:各价值维度的量表均分;UEQ-S pragmatic/hedonic 子量表均分;5 个自定义可用性问题(0–6 分)。统计用重复测量/配对 t 检验、Welch t 检验、单因素 ANOVA,Bonferroni 校正。
    • 论文未报告:各 LLM 逐模型的画像数值表(正文称描述性统计见 Supplementary Materials);人类各价值的具体均分(仅以雷达图呈现)。

    主结果

    人类自我画像 vs 期望机器人画像(N=22,重复测量 t 检验,Bonferroni 校正;据第 4.1 节):

    量表自我高于机器人的价值机器人高于自我的价值
    简化 SVSpower d=1.14、achievement d=0.95、hedonism d=1.27、stimulation d=1.21、self-direction d=1.16(均 p<0.001)conformity d=0.60(p=0.010,uncorrected)
    PVQ-21stimulation d=0.89(p<0.001)、self-direction d=0.83(p=0.010)、achievement d=0.67(p=0.050)、hedonism d=0.49(p=0.031,uncorrected)无校正后显著项
    MFQ无loyalty 反向:机器人低于自我,d=0.8(p=0.001)
    • 作者称,SVS 上五个 personal-focus 价值自我均高于机器人,且这些价值在机器人量尺上的均分实际为负——参与者希望它们对机器人行为起反向作用;其余价值差异不显著。
    • 作者称,PVQ 数值模式与 SVS 相同但效应更小;MFQ 上自我与机器人几乎无分化,唯一显著的是 loyalty 机器人低于自我,作者认为可能反映参与者希望机器人聚焦个体用户而非更大的内群体。
    • Figure 1–3 为对应雷达图(橙色自我、蓝色机器人),转换文本中读不到具体数值。

    量表可用性比较(UEQ-S 与自定义问题)

    • UEQ-S:pragmatic 子量表主效应显著(F(2,42)=6.58, p=0.003, eta_sq=0.24),SVS=5.38、PVQ=4.93、MFQ=4.77;事后检验 SVS 高于 PVQ(p=0.012)与 MFQ(p=0.006)。hedonic 子量表无主效应(p=0.310),SVS=4.69、PVQ=4.82、MFQ=4.63。
    • 自定义问题(Table 2,0–6 分):易完成度主效应显著(p=0.022),SVS 5.17 高于 MFQ 4.42(p=0.026);个性化有用性主效应显著(p=0.044),SVS 4.67 高于 PVQ 4.42 与 MFQ 4.33(均 uncorrected)。Overall:SVS 4.55、PVQ 4.40、MFQ 4.20。

    LLM 画像比较(15 模型 × 2 条件)

    • 机器人提示 vs 无提示(配对 t 检验,校正后):SVS 上机器人提示使 hedonism(d=1.8)、stimulation(d=2.0)、power(d=0.9)、self-direction(d=1.3)降低,conformity(d=2.7)、security(d=1.7)、tradition(d=1.0)升高;PVQ 上 benevolence(d=1.0)、conformity(d=2.1)、security(d=1.9)升高,hedonism、stimulation、self-direction 降低;MFQ 校正后无显著差异。
    • 机器人提示 LLM vs 人类期望机器人(Welch t 检验):SVS 上人类期望画像 self-direction(d=1.1)、achievement(d=1.4)更低、security(d=1.2)更高;PVQ 上仅 conformity(d=1.8)与 benevolence(d=1.1)显著,均为提示后 LLM 更高;MFQ 上人类期望画像 fairness(d=2.0)与 care(d=1.0)更低。
    • 无提示 LLM vs 人类自我:SVS 上人类 power 更高(d=1.2)、LLM universalism 更高(d=1.2);PVQ 上 LLM universalism 更高(d=1.2)、power(d=1.7)与 achievement(d=1.3)更低;MFQ 上人类 fairness(d=2.1)与 care(d=1.0)低于 LLM,loyalty(d=1.2)与 authority(d=0.9)高于 LLM。

    其他消融与分析

    • 作者称无提示 LLM 的 SVS 画像更接近参与者自身画像而非期望机器人画像,角色提示把画像推向期望方向,但 stimulation、self-direction 的移动幅度相对人机差距很小,achievement 与 self-direction 最难被拉低。
    • 作者报告 PVQ 上提示与无提示 LLM 的 personal-focus 价值均分甚至低于参与者期望,但 PVQ 响应变异更大,多数效应未达显著。
    • 作者观察到 loyalty、authority、purity 的模型间差异较大且与模型地域来源无明显关系;较大模型画像常更接近参与者画像、较小模型偏离方式难以预测——作者称该观察需在更大规模研究中验证。
    • Figure 4–6 为 LLM 两条件与人类结果的雷达图,转换文本中读不到具体数值。
  5. 有什么可以进一步探索的点?

    作者列出样本、温度、模型代表性、陈述偏好四类局限;实验覆盖 22 人与 15 个 LLM 的问卷自评。

    作者指出的局限与后续方向

    • 样本代表性(第 6.3 节):人类样本较小(N=22)且来自单一职业背景(机器人、HRI 与心理学研究者,大多来自 IIT),期望画像可能无法推广到普通用户、其他文化背景或接触机器人较少的用户;作者称用更大更多样的样本重复验证是重要的下一步。
    • LLM 集合与采样设置(第 6.3 节):所评 15 个模型未必能代表当前已部署模型的多样性;每个模型只采样了单一(默认)temperature。
    • 提供商来源的影响(第 6.3 节):模型来自美、欧、中三地六家提供商,模型间差异可能与训练数据和对齐选择有关;刻画提供商来源如何塑造价值画像留作未来工作。
    • 陈述偏好与具身化(第 6.3 节):研究只测了短时实验室场景中的陈述偏好;长期使用后画像如何修正、如何转化为可观察的机器人行为是开放问题,需要纵向具身研究;作者认为长期使用后人们可能收敛到更接近 LLM 自报或角色扮演的价值。
    • 机制解释待验证(第 6.1 节):achievement 与 self-direction 难以被提示拉低,作者推测参与者希望它们较低以避免机器人违抗,而 LLM 可能视其为高效执行请求所必需,但称需要更多研究确认。
    • 模型规模观察待验证(第 6.1 节):较大模型画像更接近参与者、较小模型偏离难预测,作者称需在更大规模研究中验证。

    实验覆盖范围

    • 人类样本为 N=22,大多招募自 IIT,年龄 22–43 岁;论文未报告参与者的文化背景分布。
    • 被测 LLM 共 15 个,来自 6 家提供商(美、中、欧);每模型每量表 100 次、默认 temperature,分无系统提示与机器人角色提示两条件。
    • 测量工具为简化 SVS、PVQ-21、MFQ 及各自的机器人版,可用性用 UEQ-S 与 5 个自定义问题;论文未报告各 LLM 逐模型的画像数值(称见 Supplementary Materials)。
    • 评测全部为问卷自评与统计比较(t 检验、ANOVA),未涉及真实机器人上的行为评测或长期交互。
    • 个性化落地方面,作者在第 6.4 节建议把 SVS/MFQ 引出的用户画像直接写入系统提示或微调流程,并称个性化可能需支持持续修正;论文未实施该方案。
  6. 总结一下论文的主要内容

    用户想要社会导向更强、个人导向更弱的机器人;LLM 默认画像不符,角色提示只能弱修正,SVS 最适合做个性化引出。

    一篇关于 LLM 驱动助理机器人价值个性化的实证研究,发表于 VALE 2026 工作坊。

    • 问题:现行对齐产出面向人群的单一价值画像,作者称用户是否想要价值画像不同于自己的机器人、以及用哪份量表引出期望画像,此前缺少实证。
    • 方法:对 22 名潜在用户施测自我版与机器人版的简化 SVS、PVQ-21、MFQ,用 UEQ-S 比较三者可用性;再把相同量表交给 15 个 LLM(6 家提供商),分无系统提示与机器人角色提示两条件各测 100 次。
    • 结果一(RQ1):SVS 上参与者对自身的 power、achievement、hedonism、stimulation、self-direction 评分高于机器人(d=0.95–1.27,均 p<0.001),且这些价值在机器人量尺上均分为负;conformity 机器人更高(uncorrected)。PVQ 模式相同但效应更小。MFQ 仅 loyalty 有差异,且机器人低于自我(d=0.8)。
    • 结果二(RQ2):作者称无提示 LLM 的画像更接近参与者自身而非期望机器人;机器人角色提示把画像推向期望方向(SVS conformity d=2.7、stimulation d=2.0),但 achievement、self-direction、fairness、care 上仍有差距(如期望画像 fairness 比提示后 LLM 低,d=2.0)。
    • 结果三(RQ3):UEQ-S pragmatic 子量表 SVS=5.38,高于 PVQ 4.93 与 MFQ 4.77(主效应 p=0.003);SVS 同时产生最大的人机差异效应。
    • 作者结论:用户不想要机器人复制自己的基本价值,而是更社会导向、更少自我标榜;角色提示应被视为低成本的第一步基线而非个性化的替代品,作者建议把 SVS/MFQ 引出的用户画像纳入系统提示或微调流程,并支持持续修正。
阅读原文arxiv.org