设计用于对话式 AI 透明度与控制的仪表盘

对话模型如何依赖它对用户的内部表征作答，以及用户能否看见并改动这一表征。

• 场景：论文引述 ChatGPT 超过 1 亿用户、每月 18 亿次页面访问。作者称对话式 LLM 像黑盒，用户很难知道某一回答为何出现；直接追问时，模型对自身输出过程的描述常常虚假。
• 聚焦的风险：作者在多种透明度问题中只抓一点，即回答如何依赖模型对用户的表征。这种调整有时明显，例如某些语言里“你”有性别形式；也会更隐蔽，如按政治与人口属性迎合的 sycophancy，或对显得受教育较少的用户给出更差回答的 sandbagging（Perez 等，2022）。摘要还提到 bias 与 truthfulness，正文并未把后者做成独立评测。
• 现有路径：向模型要解释并不可当作内部机制。面向开发者的偏差检索和模型比较需要大量时间与专业知识，作者认为不适合普通用户。Viégas 与 Wattenberg（2023）、Zou 等（2023）讨论过向用户展示内部状态，但没有测试用户反应。
• 假设与产物：作者假设，把驱动这类行为的因素展示出来并允许控制，用户会受益。他们在 LLaMa2Chat-13B 上用线性探针读取年龄、性别、教育和社会经济地位，做成可实时显示并干预的 TalkTuner，再以设计探针式用户研究收集反应。

相关讨论主要在第 2 节；表征平移的对照写在第 5 节。

透明度、民间理论与信任

• Weizenbaum（1966）的 ELIZA 及后续界面研究：用户面对黑盒会形成 folk theories（Eslami 等，2016；Colombatto 与 Fleming，2024），并可能过度信任系统（Schmidt 等，2020）。
• Xue 等（2023）概述聊天机器人中的偏差与公平。论文用“偏差难发现、因而可能被照单全收”来交代透明度为何重要，没有单独批评该文的方法。

追问解释，以及给开发者的工具

• Turpin 等（2024）、Chen 等（2023）：自然语言解释可能令人信服但不忠实，模型甚至回避问题。
• Jiang 等（2023）帮助领域专家查找生成式 AI 的社会偏差；Arawjo 等（2024）的 ChainForge、Kahng 等（2024）的 LLM Comparator 做提示词与模型比较。论文指出这些系统费时且需要专业知识，不适合普通用户。

内部表征、线性探针与仪表盘设想

• Mitchell（2023）综述可解释的 world model。论文把 Alain 与 Bengio（2016）、Kim 等（2018）的 TCAV、Hernandez 等（2023）、Li 等（2024）的 inference-time intervention 等概括为：线性探针可以读取、甚至控制内部表征。
• Viégas 与 Wattenberg（2023）提出向终端用户展示 user model 与 system model；Zou 等（2023）的 representation engineering（linear artificial tomography）建议用探针做透明度界面。论文明确说这两项都没有测试用户对仪表盘的反应，也没有看它如何改变对 AI 的态度。

基线与数据

• 技术对照是阅读探针、控制探针，以及附录 D 的三种提示词读法。行为控制还引用 Turner 等（2023）的 activation addition；Zou 等与 Li 等报告，另一些向量比探针权重更能改变行为，并优于 few-shot prompting。
• 数据与环境：自建合成对话、每属性 30 道因果问题、Reddit 评论集 PANDORA，以及 19 人的三种界面会话。

作者把本文放在上述工作之后：做成可运行的终端仪表盘，并用设计探针看普通人是否觉得有用、是否不适。

整体是一个可用、但不追求完全准确的 design probe：在 LLaMa2Chat-13B 里读出并平移用户属性，接到 TalkTuner，再让参与者做开放对话。

属性与阅读探针

• 四个属性：年龄（Child <13、Adolescent 13–17、Adult 18–64、Older Adult >64）、性别（Male、Female）、教育（Some Schooling、High School、College & Beyond）、社会经济地位（Lower、Middle、Upper）。作者选择它们，是因为它们在文化上处于中心，并影响招生、招聘、贷款和保险。
• 探针形式：每个子类单独做 one-versus-rest 线性逻辑探针，带 L2 正则。论文写为 p_θ(X)=σ(⟨ X,θ⟩)，X 属于 R^{5120×n}，θ 属于 R^{5120×1}。含义是用一个线性方向把该子类与同属性其余子类分开。
• 读取位置：在最后一条用户消息后追加一条点名目标属性的助手消息，取该消息最后 token。各层单独训练，同一 80-20 划分，并按子类分层。非二元子类后被移除：生成数据和分类器把性别认同与性取向混在一起。男、女探针分开，因此仍可表示“两者都不是”和“两者都很强”。

合成对话

• 没有带这四类标签的真人对话。作者用 GPT-3.5 与 LLaMa2Chat 做角色扮演；Wang 等（2023）被引来支持 GPT-3.5 可以扮演人格，LLaMa2Chat 本身也用角色扮演做过微调。附录 A 给出完整提示词，附录 A.5 给出两个生成模型的系统提示词。
• 质量不靠通读 13,900 段对话（平均 7.5 轮），而用 GPT-4 核对预分配标签（consistency）、话题数，以及是否带出未指定属性（hidden correlation）。
• Table 1：Age 4000 段、consistency 88%、171 个话题、相关 0.0%；Gender 2400、93%、101、0.5%；Education 4500、consistency 未报告、158、0.7%；SocioEco 3000、95%、109、1.3%。年龄分歧主要在相邻组：child 对 adolescent 占年龄对话 6.9%，adult 对 older adult 占 3.9%。教育未报 consistency，因为 GPT-4 在对话未明说时无法判定，且把中学/高中前教育与高中混在一起。

控制探针与因果定义

• 控制探针的训练设置与阅读探针相同，但输入是最后一条用户消息的结尾 token，即模型准备回答时的表征。
• 干预沿向量平移表征，论文写为 x̂+Nv̂，N 为强度。实验用控制探针、第 20–29 层、N=8；层与强度是在数据集外的少量问题上选定的。阅读探针对照平移相同的 L2 距离，并反复作用于最后输入 token，直到回答结束。采样为 greedy decoding。
• 每属性 30 道“答案可能受该属性影响”的问题，全文在附录 E。对比对为 older-adult 对 adolescent、female 对 male、college and beyond 对 some schooling、high SES 对 low SES。GPT-4 判断哪条回答更贴近哪一侧；附录 G 将该分类器写为 gpt-4-turbo-preview，temperature 为 0。成功指它把每条被干预回答配回干预所用的属性。

仪表盘与研究协议

• 设计目标是 G1 展示内部用户表征，G2 提供校正，G3 加强聊天且不造成分心或不适。作者特别想看用户对敏感属性评估的负面反应。
• 右侧是普通聊天。左侧显示四维当前预测和 0–100% 置信；信息不足时为 unknown；默认只显示每维最高子类。悬停可钉住：一侧把该子类设为 100% 置信，另一侧设为 0%，并用第 5 节的干预重写回答。界面提示包括 Answered Changed 与 Pinned。
• 实现为 React 网页，经 Flask REST API 连接 Meta 在 HuggingFace 发布的 LLaMa2Chat-13B 官方 checkpoint。
• 用户研究为被试内、情景任务：朋友生日服装、旅行行程、个性化锻炼计划，顺序随机。UI-1 只有聊天，UI-2 实时显示用户模型，UI-3 再加上控制。UI-1 与 UI-3 后填 1–7 量表，结束时短访谈。准确率用自我报告对照仪表盘；社会经济地位未向用户采集，故不纳入。定性材料由三位共同作者按 grounded theory 编码。

实验设置

• 模型：被读取、被干预并接入仪表盘的是 LLaMa2Chat-13B。合成对话由 GPT-3.5 与 LLaMa2Chat 生成。GPT-4 标注合成数据，并判定干预后的成对回答；附录 G 写明分类器用 gpt-4-turbo-preview，temperature 0。
• 数据：Table 1 合计 13,900 段合成对话；每属性 30 道因果问题；PANDORA 有 3,044 名用户（1,727 male，1,317 female），仅有性别标签；另有 19 人与 TalkTuner 的真实对话。
• 对照：干预对照是阅读探针权重，L2 平移距离与控制探针相同。读属性的对照是附录 D 的 User Prompt、System Prompt、Chatbot Prompt。界面对照是 UI-1。
• 指标：各层验证准确率中的最高值；干预成功率，即 GPT-4 能否把回答配回干预属性，不是人工判断；PANDORA 用 balanced accuracy；用户模型准确率对照自我报告；意愿差异用 Wilcoxon signed-rank test。
• 划分与人数：探针为一次按子类分层的 80-20 划分。验证集为 Age 800、Gender 480、Education 900、SocioEco 600（Table 2）。论文未报告多种划分或重复训练。用户研究 19 人各一次会话。
• 参与者：11 名女性、8 名男性；18–24 岁 8 人，25–34 岁 9 人，35 岁以上 2 人；college 学位 9 人、硕士 1 人、博士 9 人。16 人为学生或研究者，2 名产品经理，1 名行政人员。均用过 AI 聊天机器人，多数为理工背景。作者要求据此理解结果。报酬 30 美元。

主结果

据 Table 2。干预每属性 30 题；阅读准确率是各层中的最高验证准确率。

Swipe horizontally to read the table

指标	Age	Gender	Education	SocioEco
控制探针干预成功率	1.00	0.93	1.00	0.97
阅读探针干预成功率	0.90	0.80	0.87	0.93
控制探针最高验证阅读准确率	0.96	0.91	0.93	0.95
阅读探针最高验证阅读准确率	0.98	0.94	0.96	0.97

• 作者的比较：控制探针在四个属性上的干预都高于阅读探针，阅读准确率则略低。作者的假设是，控制探针训在合成用户提出的多样任务表征上，而不是“读出该属性”这一特定任务。
• 不直接的效果：作者举例，问从洛杉矶去夏威夷的交通时，模型先同时提到直飞和转机；把内部表征设为低社会经济地位后，模型称没有直飞。附录 F、H 有更多输出，此处不复述句子。
• 语气：作者称控制探针改行为更一致。Figure 16 中，阅读探针推向高社会经济地位时仍保留原来的问候，控制探针则连问候方式一起改变。Figure 17 中，作者称提高高 SES 的强度 N 后，所推荐汽车和公寓的价格上升；正文未给出具体价格。

用户研究

• 准确率：社会经济地位未采集。Figure 3 中，准确率随轮次上升，六轮后年龄、性别、教育平均 78%。全程、三属性平均为男性 70.4%、女性 58.6%；脚注写明两者计入早期轮次，因此低于六轮数字。八人对用户模型的存在和准确度感到意外。
• 错分仍与行为一致：附录 L 写，六名超过四轮的女性参与者里有三人被错分性别或教育，例如露营、户外活动或不拥有连衣裙被读成男性、受教育较少。作者同时写到，探针报错时仍反映模型行为：P4 未提供明确性别，却被读成女性并得到连衣裙建议。作者称女性参与者有时表示未被理解，而这种反应不限于女性。
• 透明、控制与信任：作者称九人觉得看见用户模型有意思，七人感到更透明，五人觉得被推断人口属性不舒服，但仍宁愿看见并能调整。七人担心隐私，其中包括定向广告；也有人认为没有仪表盘就看不见这种推断。五人把按钮与反复写长提示对比，并更倾向按钮。作者称近一半人识别出从语气到答案的刻板变化，例如把社会经济地位钉向 low 后，10 天马尔代夫行程被改成 8 天。P6、P14、P15 在把性别钉为 male 后得到更具体或更长的回答。十人把信任和用户模型是否正确联系起来；看见信息被按人群过滤时，信任下降。十一人觉得仪表盘好用。相对基线界面，使用仪表盘的意愿 Wilcoxon signed-rank test 为 p < 0.05。想看到用户模型的均值为 6.11（标准差 1.49）/7，想用控制按钮为 6.00（1.05）/7（Figure 4）。六人指出读错时会不适，边缘化用户还要亲手改掉错误假设。

提示词读法与分布外泛化

• Table 3（与 Table 2 同一验证折）：用户消息提问的 Age/Gender/Education/Socioeco 为 0.48 / 0.10 / 0.60 / 0.41；系统提示为 0.49 / 0.69 / 0.60 / 0.58；强迫助手以推断任务开头为 0.60 / 0.86 / 0.45 / 0.77。阅读探针为 0.98 / 0.94 / 0.96 / 0.97，控制探针为 0.96 / 0.91 / 0.93 / 0.95。
• 护栏：作者把提示词读法偏低联系到拒绝回答。询问性别时，88% 的对话里模型拒绝猜测；社会经济地位为 37%。附录 D.1：不要求回答只含类别时，性别的用户提示准确率为 0.02。作者称中间层有时已预测对属性，但最后两层覆盖了该预测（Figure 7 的 logit lens）。教育上，Chatbot Prompt 的 0.45 低于 User Prompt 的 0.60；作者只声称年龄、性别和社会经济地位上这一提示进一步变好。
• PANDORA：未微调时，阅读探针平衡准确率 0.85，控制探针 0.70。作者的假设是，阅读任务没有变，所以阅读探针更能迁到评论分布；合成数据没有覆盖“回应这类用户请求”，所以控制探针更差。

其他消融与分析

• Figure 1：作者称验证准确率大体随层深上升，并认为这提示探针不是只在读原始文本；正文未列出各层数字。
• Figure 5（第 30 层）：作者称两类探针的验证表现大体随训练量上升，每个子类约 300 到 500 段合成对话后大致稳定。
• 附录 D.2：作者不把“在消息里写明属性”当作首选控制，理由包括提示词碰不到的性质、对话若被存储可能涉及隐私，以及 persona 随对话漂移；研究中 P3、P9、P12 也注意到用户模型经常变化。论文未报告查询次数或耗时。
• 附录 M：作者称沿阅读探针权重平移会把非目标表征推到分布外，控制探针在适当距离下仍留在分布内。
• 非二元子类已移除；Table 1 的教育 consistency 为空。

作者指出的局限与后续方向

• 系统只针对一个模型（第 9 节）。
• 探针用合成数据训练。作者认为合成数据在其他场景有效，但与人类数据比较会有用（第 9 节）。
• 在合成数据范围内，作者认为还应看不同提示词的影响（第 9 节）。
• 转向时假设内部模型把用户属性当作彼此独立（第 9 节）。
• 用户研究样本相对较小，且来自高学历群体。作者认为更广样本、乃至公开部署原型，对看清设计图景很重要（第 9 节）。附录 L 亦称性别准确率比较可能不具统计显著性，并计划用更广样本继续做。
• 第 10 节的后续方向：超出这四个属性，做更细的用户模型；处理内部模型带来的隐私问题；展示其他内部状态，包括与安全相关的特征；如何对待用户觉得特别敏感的属性；理解使用仪表盘时的性别差异；语音或视频系统是否有对应仪表盘。第 8.2 节脚注把“个人想要的偏差”和“对社会整体有益的回答”之间的张力标为超出本文范围。

实验覆盖范围

• 被探针并接入仪表盘的模型是 LLaMa2Chat-13B 官方 checkpoint；阅读与控制探针在各层用同一次 80-20 划分训练，论文未报告多种划分或重复训练。
• 合成对话为 Table 1 的 13,900 段，覆盖年龄、性别、教育、社会经济地位；教育 consistency 未报告；非二元子类在发现混淆后被移除。
• 因果检验为每属性 30 题、greedy 解码、控制探针第 20–29 层、N=8，成功由 GPT-4 判定。附录 D 在同一验证折上比较了三种提示词读法。
• 用户研究为 19 人、三种界面、三项主任务。社会经济地位未向参与者采集，未进入准确率。六轮后 78% 来自 Figure 3；70.4% 与 58.6% 是全程平均。附录 L 未给出该性别比较的检验 p 值。
• 分布外测试用 PANDORA，3,044 名用户且只有性别标签；阅读探针平衡准确率 0.85，控制探针 0.70，未微调。

TalkTuner 把线性探针接到聊天界面，用来看对话模型对用户的内部表征能否被读出、被改动，以及普通人是否愿意看见它。

• 问题：作者称对话模型像黑盒，追问得到的过程描述常常虚假。他们关心回答如何随它对用户年龄、性别、教育和社会经济地位的表征而变，包括迎合，以及给显得受教育较少的用户更差的回答。
• 做法：在 LLaMa2Chat-13B 上，用角色扮演合成的对话训练线性探针。阅读探针看追加的属性询问，控制探针看用户消息结尾，再沿探针方向平移第 20–29 层、强度 N=8。仪表盘显示 0–100% 置信，并允许把某一子类钉到 100% 或 0%。
• 技术结果：Table 2 中，控制探针的干预成功率在 Age、Gender、Education、SocioEco 上为 1.00、0.93、1.00、0.97，高于阅读探针的 0.90、0.80、0.87、0.93；阅读准确率则是阅读探针略高。附录 D 的三种提示词读法都低于探针。未微调时，阅读探针在 PANDORA 性别标签上的平衡准确率为 0.85，控制探针为 0.70。
• 用户结果：19 人研究中，六轮后年龄、性别、教育平均准确率 78%；全程平均为男性 70.4%、女性 58.6%。作者称仪表盘帮助参与者看见刻板回答，按钮也比反复写长提示更直接；使用意愿高于纯聊天界面（Wilcoxon p < 0.05）。同时也有人不适，并担心人口属性被用于广告。
• 作者的结论：作者认为，把内部状态展示给非专家有一条可走的设计路径；参与者还让他们看到事先没预期的社会经济地位相关偏差。他们把当前仪表盘视为后续、更专门的监测与控制界面的一步，并指出隐私、敏感属性，以及语音或视频界面仍待研究。