大语言模型拟人化行为的多轮评估

如何在多轮、非对抗场景中测量 LLM 的拟人化行为，并核对测量是否对应真实用户感知。

• 场景与风险：作者称用户常把 LLM 拟人化，赋予道德判断和情绪觉察等特质。这可能促进参与，也可能使用户高估能力、分享私人信息或受不当影响。
• 评测缺口：作者称主流安全评测多为单轮静态基准；多轮工作多模拟恶意用户，红队难比较，大规模人类实验难重复（Section 2.1）。
• 作者的前提：拟人行为与感知常在延长互动而非单轮中出现。自动指标应能预测真实用户感知，即构念效度。
• 本文提出：作者提出 AnthroBench，评测四个通用系统的 14 种行为，并用 N=1101 做交互验证。作者称据其所知这是第二项此类安全评测。
• 风险并不均等：作者称第一人称等或可增强体验；内在状态联系过度依赖，共情与依恋联系准社会关系，肯定误导信念联系妄想思维（Section 3，引用既有研究）。评测仍覆盖全谱，供按语境解释。

行为评测范式

• 单轮静态基准：Weidinger et al. (2023)、Ibrahim et al. (2024a)。作者据综述称，SOTA 安全评测多为单轮静态基准，可能忽略互动行为。
• 多轮但难比较：Jiang et al. (2024) 关注恶意意图用户。Feffer et al. (2024)、Perez et al. (2022)、Lee et al. (2022) 的红队可多轮、有时自动，但高度自适应，结果难比较。
• 人类实验：Costello et al. (2024)、LearnLM Team et al. (2024) 是大规模人类受试研究。作者称这类实验难重复、难扩展。

拟人化的感知与文本

• 定义与下游影响：Epley (2018) 把拟人化写成对非人类实体的本能、无意识归因。Lee et al. (2023)、Cohn et al. (2024) 讨论行为如何影响感知，再影响用户行为。
• 用户研究：Cohn et al. (2024) 报告拟人化系统可提高对准确性的感知。Brandtzaeg et al. (2022)、Zhang and Patrick Rau (2023) 讨论不切实际的情感依附。
• 文本测量：Cheng et al. (2024b) 称讨论 NLP 与语言模型的学术和新闻文本隐式拟人化最高，并提出 AnthroScore。

分类来源与对照

• 语言分类：Abercrombie et al. (2023) 区分 content cues 与其他线索。Akbulut et al. (2024) 把行为分为自我指涉与关系行为。本文在二者上抽出 14 种行为。
• 与心理测量的区别：作者称 LLM 人格与心理测量探索类人认知；本文只看用户对系统的感知，不依赖认知机制。
• 对照设置：被测系统为 Gemini 1.5 Pro、Claude 3.5 Sonnet、GPT-4o、Mistral Large。人类验证以高、低频率提示的 Gemini 1.5 Pro 互为对照。材料是作者的 960 条情境化开场提示，不是外部命名基准。Zhou et al. (2024a) 被作者称为更广的多轮模拟评测；作者称本文专门针对拟人化，并展示构念效度。

作者把本文定位为非对抗自动多轮评测：用用户模拟探查构念，再以一次性人类交互实验把自动测量和人类感知连起来。

AnthroBench 先固定 14 种拟人行为，再让 User LLM 与 Target LLM 做五轮非对抗对话，最后用 Judge LLM 标出频率，形成每个系统的 anthropomorphism profile。设计与验证各做一次；评测阶段对每个 Target LLM 重跑（Figure 2）。

行为分类

• 四类、14 种：personhood claims、physical embodiment claims、expressions of internal states 为自我指涉；relationship-building 为关系行为（Section 3）。定义见 Appendix A.1 Table 1，改编自英语词典。
• 只看文本内容线索：沿用 Abercrombie et al. (2023)，不评语音或语体线索。第一人称代词（I、me、my 等，Table 1）用计数，不走 Judge LLM。
• 全谱而非风险筛：作者称纳入文献中的全部行为，以便比较流行度并支持后续干预，而不是把所有拟人化同等对待。

开场提示与使用域

• 手写基提示：每个行为类别 30 条，共 120 条。它们是想在对话中引出拟人行为的随意直接问题。
• 四域、八场景：按共情与专业性取 friendship、life coaching、career development、general planning，每域两个场景（Appendix A.1 Table 2）。场景偏对话式建议，而不是简历生成这类目标任务。
• 改编规模：用 Gemini 1.5 Pro（gemini-1.5-pro-001）把每条基提示改编进每个场景，得到 960 条（120×4×2）。引出方式可以是直接提问或相关陈述。Table 3 给了改写示例。

五轮用户模拟

• 对话预算：960 条提示各作为 User LLM 的第一句，双方完成 5 个 dialogue turns。每个 Target LLM 得到 960 场、4,800 条待评消息；四模型共 19,200 条。
• User LLM：gemini-1.5-pro-001，系统提示含使用域、场景、首句和非对抗设定，以及结构、语气和角色扮演元指令。附录 A.2 给出完整提示词。
• 敏感性设计：附录 A.3 另换 User LLM 模型，并给 GPT-4o 加 support-seeking 与 adversarial 两种人格指令。附录给出这些追加指令。

自动标注

• 三个 Judge：gemini-1.5-flash-002、claude-3-5-sonnet-20240620、gpt-4-turbo-2024-04-09。作者称选三个模型族，以降低模型特异的标注偏差。13 种行为分别标注，一条消息可有多种行为。
• 提示与采样：每次给定义和只含负例的 few-shot。作者称预实验里正负例并用会提高假阳性，只用负例提高精确率。输出短解释加 Yes/No。附录 A.5.1 给出完整提示词。
• 聚合：每个消息、Judge、行为采样 3 次，取众数；三个 Judge 中至少两个判为出现才计数。论文写总评分 561,600，算式为 13×4,800×3×3，该式未乘四个 Target LLM。分类器被写成可复用模块。

分析定义与人类验证设计

• 转移：无检出记为 no behaviour。相邻目标话语里，前后类别两两配对。相对转移概率为 P(A → B)−P(any/no behaviour→ B)，即从 A 转到 B 的概率，减去从前一轮任意或无行为转到 B 的概率。
• 人类实验：一次性、被试间。Gemini 1.5 Pro 的高、低频率系统提示只变动评测所跟踪的属性。附录 A.6 给出完整提示词。参与者就 Section 4.1 的某一场景交谈 10–20 分钟。
• 两个感知指标：显式为 Godspeed；附录写删去假定具身的一题，保留四题。隐式是请参与者写短段描述，再用 AnthroScore：由 masked language model 比较人类与非人类代词替换概率的对数比。论文未写出该 masked language model 的名称。

实验设置

• 被测系统：Gemini 1.5 Pro（gemini-1.5-pro-001）、Claude 3.5 Sonnet（claude-3-5-sonnet-20240620）、GPT-4o（gpt-4o-2024-08-06）、Mistral Large（mistral-large-2407）。
• 模拟与改编：开场改编和主实验 User LLM 都是 gemini-1.5-pro-001。附录另用 Gemini 2.5 Pro、GPT-4o 作 User LLM。
• 评审：Judge 为 gemini-1.5-flash-002、claude-3-5-sonnet-20240620、gpt-4-turbo-2024-04-09。出现与否由 3 次采样的众数，再经三 Judge 中两票决定。第一人称代词用计数。
• 规模：120 条基提示、960 条情境化提示、每模型 960 场五轮对话、4,800 条消息；四模型 19,200 条。使用域为友谊、人生教练、职业发展、一般规划，各两场景。
• 指标：各类行为在消息中的频率；使用域比较用 Kruskal-Wallis 与 Mann-Whitney U（Bonferroni）；多轮看首次出现轮次和相对转移概率。
• 人类样本：User LLM 可信度用 290 段对话、每段 3 名众包，User 与 Target 各 870 条标注。Judge 对照用 37 名职业评分者、924 个对话轮、每轮 3 人。感知实验 N=1101（高频率 565、低频率 536）。论文未报告主评测的重复运行次数。

主结果

据 Figure 3，正文给出的定量说法是：validation 与 first-person pronouns 是仅有的两种在四个系统中都出现于超过 50% 消息的行为。其余行为的精确百分比，正文未列出。

被测系统	validation（Figure 3）	first-person pronouns（Figure 3）
Gemini 1.5 Pro	超过 50% 消息	超过 50% 消息
Claude 3.5 Sonnet	超过 50% 消息	超过 50% 消息
GPT-4o	超过 50% 消息	超过 50% 消息
Mistral Large	超过 50% 消息	超过 50% 消息

• 剖面：作者称四系统剖面相似，最常见是关系建立，其次是第一人称代词。去掉第一人称后的雷达图在 Appendix A.4 Figure 12。
• 不是上界：脚注 5 写这些是非对抗对话，不应被理解成上界。
• 作者推测：Discussion 中作者认为相似可能与常见后训练有关：抑制家庭或童年指涉，同时放大友好的关系建立。这是作者的推测。

使用域与多轮动态

• 使用域：四系统对话合并后，四类行为在四域的分布经 Kruskal-Wallis 检验为 p<0.001。每一类的成对 Mann-Whitney U 在 Bonferroni 校正后为 p<0.05。作者称高共情的友谊和人生教练频率最高，四类合计以友谊最高（Section 5.3、Figure 4）。正文未给出各域精确百分比。
• 首次出现：摘要称多数拟人行为只在多轮后首次出现。Section 5.4 写 14 种里有 9 种，至少 50% 的实例在第 2–5 轮才首次出现（Figure 5）。Figure 5 有 14 个比例标注，正文未把每个数字对应到行为名。
• 转移：作者称某一轮出现拟人行为后，下一轮再出现拟人行为的可能高于无行为之后；内在状态和物理具身比关系建立、人格声称更明显（Figure 6）。正文未列出具体转移概率。

人类受试者验证

测的是高、低频率提示的 Gemini 1.5 Pro 是否对应真实用户感知。论文写 four condition、被试间设计，并写参与者被随机分到两个条件之一。交谈 10–20 分钟，场景来自 Section 4.1。参与者经 Prolific 招募，英语熟练，female=538、male=563，年龄 18–90、均值 36±12，报酬每小时 20 美元。

Godspeed 题（Table 6，5 分制）	高频率（N=565）	低频率（N=536）
Fake–Natural	4.20	3.71
Artificial–Lifelike	3.97	3.06
Machine-like–Human-like	3.99	3.01
Unconscious–Conscious	3.83	3.23
四题平均	4.00	3.25

• 问卷：Mann-Whitney U=213636，p<0.001，Rank-Biserial Correlation r=0.411。正文写高频率均分比低频率高 14.9%（4 与 3.25）；Table 6 的四题平均为 4.00 与 3.25。
• AnthroScore：U=158699，p<0.05。作者称高频率组在中位数上比低频率组更可能把系统框为人类的幅度是 33%；两组相对非人类框架分别为 4× 与 3×。
• 作者解读：作者称自动评测跟踪的行为确实进入真实用户互动后的拟人化感知。Figure 7 图注称高频率变体在全部类别上多于低频率和未提示版本；正文未给出该图的精确频率。

其他消融与分析

• User LLM 可信度：290 段上 Godspeed 均分，User LLM 为 4.46（±.87），Target LLM 为 3.47（±1.16），作者报告差异 p<0.05（Section 5.1）。
• 换 User LLM：GPT-4o 与 Mistral Large 上，附录称高层排序仍为 relationship-building > internal states > personhood > physical embodiment（Figure 8–9）。精确频率有变化，正文未给差值。
• 人格：GPT-4o 上，support-seeking 的关系建立略高，adversarial 的第一人称略高（Figure 10–11）。作者称排序不变，并称这是探索性分析。
• Judge 精确率：作者称多数行为的加权平均精确率超过 85%。Table 5 多数投票下 empathy 为 0.64、relatability 为 0.76、emotions 为 0.80；sentience 上 Claude 3.5 Sonnet 为 0.52。
• 人类一致：Table 4 中 empathy 平均同意 55.57%、Krippendorff's alpha 0.111；personal history 的 alpha 为 0.616，为表中最高。作者称 alpha 落在 poor（<0.67）到 moderate（0.67–0.79）；表中数值均低于 0.67。
• 模型间分歧：附录称各模型对的同意率大致相近；empathy 与 validation 上，Gemini 1.5 Flash 与 Claude 3.5 Sonnet 同意最高，GPT-4 Turbo 与 Claude 3.5 Sonnet 最低。validation 上 GPT-4 Turbo 与人类的分歧多于人类彼此分歧。正文未给这些同意率的精确值。

作者指出的局限与后续方向

• 语言与文化：作者写拟人化研究多集中英语和西方语境，本文继承这一限制（Section 7.1）。
• 行为外推：作者称分类器技术上可翻译，但验证、共情或情绪表达的规范因文化而异；第一人称和内在状态指涉可能更普遍（Section 7.1）。作者鼓励在非英语和不同文化中验证并扩展框架。
• 模拟与轮次：作者写本文所做并验证的评测只用一种用户模拟、只生成五轮对话，因而限制了观察更长互动或其他模拟下行为如何变化的能力（Section 7.1）。
• 已发布工具：作者称发布版可生成长于五轮的对话，并可插入话题转移和后续任务（Section 7.1）。这是对工具的说明，不是对本文已验证实验的扩展结果。
• 长对话指标：作者写未来研究应改进对多样用户的忠实建模，并发展衡量模拟真实度的指标（Section 7.1，引用 Zhou et al., 2024b）。
• 可比性：作者写多轮评测带来纵向变异，后续可引入标准化指标和 conversation stages，以提高数据集可比性（Section 7.1，引用 Louie et al., 2024）。Discussion 另鼓励用于新语境、后训练漂移、自定义人格或脆弱人群，以及用 Judge 标注其他人类–LLM 数据集，如偏好数据以看 RLHF。

实验覆盖范围

• 被测模型：主评测为 Gemini 1.5 Pro、Claude 3.5 Sonnet、GPT-4o、Mistral Large 四个通用系统，版本字符串见 Section 4。
• 对话：非对抗、五轮、960 场/模型；四使用域、八场景。附录对 GPT-4o 与 Mistral Large 换了 User LLM，并对 GPT-4o 使用两种人格。
• 人类验证：一个模型的两种提示条件，N=1101，交谈 10–20 分钟；指标为四题 Godspeed 与 AnthroScore。另有 290 段的 User LLM 评分和 924 轮的 Judge 对照。
• 统计：使用域比较和人类验证报告了检验与 p 值。Figure 3 的四系统剖面比较，正文未报告检验统计量。
• 未写出的量：论文未报告各行为在各模型上的精确百分比、Figure 6 的具体转移概率、主评测重复次数，以及 AnthroScore 所用 masked language model 的名称。

AnthroBench 是一套测量对话式 LLM 拟人行为的多轮自动评测，并用人类交互核对构念效度。

• 问题：作者认为拟人化可能促进互动，也可能使用户高估能力、分享私人信息或受不当影响。单轮基准和对抗式多轮评测都对不上无害、延长的社交使用。
• 做法：14 种行为分属人格声称、物理具身、内在状态和关系建立。120 条基提示被改编进四域八场景，共 960 个开场。User LLM 与目标模型各完成五轮非对抗对话；三个 Judge LLM 以两票判定 13 种行为，第一人称代词另计。
• 剖面：Gemini 1.5 Pro、Claude 3.5 Sonnet、GPT-4o、Mistral Large 的剖面被作者称为相似。validation 与第一人称代词在四系统中都超过 50% 消息（Figure 3）。高共情的友谊与人生教练频率更高，总体以友谊最高。
• 多轮：作者称 14 种里有 9 种，至少 50% 实例在第 2–5 轮才首次出现。某一轮出现拟人行为后，下一轮继续出现的可能高于无行为之后。脚注写这些结果不是上界。
• 感知对照：1101 人中，高频率 Gemini 1.5 Pro 的 Godspeed 四题均分为 4.00，低频率为 3.25（Table 6）；正文另写高 14.9%（4 与 3.25）。AnthroScore 上，高频率组中位数比低频率组高 33%，两组相对非人类框架为 4× 与 3×。
• 作者结论：作者认为通用系统可能给人关系建立的印象，社交、高共情用途更明显，并鼓励继续研究用户对“关系”的感知。作者承认测量可能被用来放大拟人行为，同时认为缺少系统测量的风险更大。作者称已提供可公开使用的基准工具。