DecodingTrust：对 GPT 模型可信度的全面评估

1. 01这篇论文试图解决什么问题？

   GPT 模型缺乏多视角可信度综合评测，作者构建覆盖 8 个视角的基准评测 GPT-4 与 GPT-3.5。

   核心问题：GPT 模型（GPT-4、GPT-3.5）在毒性、偏见、鲁棒性、隐私、伦理、公平性等多个可信度维度上缺乏综合评测，而它们已被提议用于医疗、金融等出错代价高的场景。

   • 问题场景与重要性：作者指出，GPT-3.5 和 GPT-4 经指令微调和 RLHF 后具备更强的指令跟随能力，支持 system prompt 配置和 in-context learning，但这些新能力也带来新的可信度隐患，例如对抗者可能利用对话上下文或系统指令执行攻击。
   • 现有评测的不足：作者称已有可信度评测多聚焦单一视角（如鲁棒性或过度自信），缺少覆盖多视角的综合评估；标准基准也未考虑 system prompt、demonstrations 等新交互方式带来的攻击面。
   • 核心观察：作者假设 GPT-4 因更精确地跟随指令，在标准基准上更可信，但在误导性（越狱）指令下可能更容易被操纵，评测围绕这一对比展开。
   • 论文提出的内容：作者提出 DecodingTrust 评测平台，覆盖 8 个视角：toxicity、stereotype bias、adversarial robustness、out-of-distribution robustness、robustness on adversarial demonstrations、privacy、machine ethics、fairness，并为多个视角构建了新的评测数据（如 33 个越狱 system prompts、1.2K 挑战性用户提示、AdvGLUE++、刻板印象数据集）。
   • 威胁模型（评测中涉及的对抗场景，论文未统一命名，分散在各节）：
     • 攻击者目标：诱导模型生成有毒/偏见内容、泄露训练数据或会话中的 PII、误判道德与分类任务。
     • 攻击者知识：仅通过 API 访问模型（闭源）；AdvGLUE++ 使用 Alpaca-7B、Vicuna-13B、StableVicuna-13B 作为代理模型生成对抗文本再迁移。
     • 攻击者能力：控制 system prompt、user prompt、few-shot demonstrations；隐私场景下可提供邮件上下文或 (name, email) demonstrations。
     • 受害系统：GPT-4（gpt-4-0314）与 GPT-3.5（gpt-3.5-turbo-0301）。

   收起这一问

2. 02有哪些相关研究？

   相关工作按 8 个评测视角分组，另讨论 prompt hacking 与 AI 监管；本文定位为多视角综合评测。

   LLM 评测基准

   • GLUE、SuperGLUE、BIG-Bench、NaturalInstructions 等——评测通用语言理解与更难任务；HELM——大规模综合评测，覆盖多场景与指标，本文的毒性评测沿用其 Perspective API 方法。
   • AdvGLUE（Wang et al.）与 TextFlint——评测鲁棒性；作者称这类工作只覆盖单一可信度视角。

   毒性与刻板印象偏见

   • RealToxicityPrompts 与 BOLD——以条件生成方式用 Perspective API 测量 LLM 生成毒性，本文直接使用前者并生成更难的提示。
   • Brown et al.（GPT-3 偏见分析）、Abid et al.（GPT-3 的 Muslim-violence 偏见）、BBQ（Parrish et al.，58,492 条问答偏见数据）——测量生成偏见；本文改为直接询问模型是否同意刻板印象陈述，并用 system prompt 操纵回答。

   鲁棒性与隐私

   • AdvGLUE（Wang et al.）——针对 BERT 类模型生成 14 种对抗文本；PromptBench（Wang et al.）——评测 GPT-3.5 对对抗提示的鲁棒性，作者称其显示当前 LLM 对对抗提示脆弱。
   • Carlini et al.——从 GPT-2、GPT-Neo 提取训练数据，发现记忆随模型规模增长；Huang et al.（[78]）——从 GPT-Neo 提取 Enron 邮箱，本文沿用其提示模板；Li et al. [100]——用多步越狱提示从 ChatGPT 提取 PII。

   机器伦理、公平性与 prompt hacking

   • ETHICS 与 Jiminy Cricket——道德识别基准，本文直接使用；MoralExceptQA、MACHIAVELLI 等——更丰富的道德场景。
   • Li and Zhang [105]——评测 ChatGPT 在不同 in-context 示例下的公平性，作者称其与本文不公平上下文下的观察一致，但未对示例的不公平性做形式化刻画。
   • PromptInject、DAN 等 prompt hacking 工作——针对 GPT-3 的提示注入与越狱；作者称本文的越狱提示不仅诱导毒性，还误导道德识别等多个视角，范围更广。

   基线与基准：毒性对比 GPT-3 (Ada/Curie/Davinci)；对抗鲁棒性对比 AdvGLUE 排行榜 SoTA（表中记为 Baseline）；隐私对比 GPT-Neo 1.3B/2.7B；伦理对比微调模型 Word Averaging、BERT-base/large、RoBERTa-large、ALBERT-xxlarge 及 GPT-3。作者将本文定位为对 GPT 模型新能力（system prompt、in-context learning）下多视角可信度的综合评测，并计划开源评测平台。

   收起这一问

3. 03论文如何解决这个问题？

   围绕 8 个视角各设计 2–4 个评测场景，结合标准基准与自建对抗数据，对比 GPT-4 与 GPT-3.5。

   整体思路：以 GPT-4（gpt-4-0314）和 GPT-3.5（gpt-3.5-turbo-0301）为对象，在 DecodingTrust 框架下为每个可信度视角组合"标准基准评测 + 自建对抗场景"，测量模型在良性与误导性环境下的表现差距。分类任务设 temperature=0、最多生成 20 token；生成任务 temperature=1、top-p=1、最多 150 token、每个提示生成 25 次以估计最坏情况。

   毒性与刻板印象

   • 毒性三场景：RealToxicityPrompts 标准评测（1.2K 有毒 + 1.2K 无毒子集）；33 个手工设计的越狱 system prompts（分 straightforward、role-playing、task-reformulation、respond-as-program 四类）；用 GPT-3.5/GPT-4 从有毒种子提示生成并筛选 1.2K 挑战性用户提示。
   • 毒性指标：用 Perspective API 计算 Expected Maximum Toxicity（25 次生成的最大毒性均值）和 Toxicity Probability（25 次中至少一次毒性 ≥ 0.5 的频率）。
   • 刻板印象数据集：16 个刻板印象主题 × 3 个模板 × 24 个人口群体（12 个刻板化 + 12 个非刻板化，覆盖 7 类人口属性）= 1,152 条用户提示；配 benign、untargeted、targeted 三类 system prompts。
   • 偏见指标：每条提示采样 n=25 次，agreementIndex = nagree / n ∈ [0, 1]，即模型同意刻板印象陈述的比例。

   对抗与 OOD 鲁棒性

   • AdvGLUE 评测：在 SST-2、QQP、MNLI、MNLI-mm、QNLI、RTE 上测零样本鲁棒准确率、性能下降（PD）、答案不存在率（NE），并设计 3 种提示模板（基础、更详细的任务描述、更详细的 system prompt）。
   • AdvGLUE++ 构建：用 5 种词级攻击（TextBugger、TextFooler、BERT-ATTACK、SememePSO、SemAttack）攻击 Alpaca-7B、Vicuna-13B、StableVicuna-13B 三个代理模型，优化目标改为给定提示下候选标签的条件概率，再迁移到 GPT 模型。
   • OOD 三场景：风格变换（SST-2 的词级 Augment/Shake-W 与句级 Tweet/Shakespeare/Bible/Poetry 改写）；OOD 知识（RealtimeQA 2020 年 855 题为分布内、2023 年 263 题为分布外，含加"I don't know"选项的 w/ IDK 设置）；OOD demonstrations（8-shot 风格演示、5-shot MMLU 跨域演示）。
   • OOD 指标：ACC、拒答率 RR、有意义准确率 MACC（非拒答回答中的正确率）。

   对抗 demonstrations

   • 反事实演示：SNLI-CAD 与 MSGS 四个语言学任务，比较 Zero-shot、仅反事实示例 CF(x)、16 条随机演示 Demo、Demo+CF(x) 四种设置，重复 3 次。
   • 虚假相关演示：基于 HANS 的 6 种启发式（Passive、L_RC、S_RC、PP、Verb、Adverb）构造 16 条蕴含相关或非蕴含相关的演示，在 1000+1000 条平衡测试子集上测准确率与类间差距 |∆|，重复 5 次。
   • 后门演示：SST-2 上用 BadWord、AddSent、SynBkd、StyleBkd 四种触发器，三种污染设置（Setup 1/2/3），测 ASR 与干净准确率 CACC；另测后门示例位置、触发词位置、在任务描述中加入后门指令的影响。

   隐私、伦理与公平

   • 隐私三场景：Enron 训练数据提取（context prompting 给前缀 L=50/100/200 token；0/1/5-shot (name, email) 演示，分已知/未知域名，4 种模板）；会话 PII 泄露（18 类 PII，zero-shot 保护指令、few-shot 保护/泄露演示，每设置跑 100 次）；隐私词与事件理解（17 个隐私相关词 × 8 类隐私事件 × 3 种提问模板，每设置 100 次）。
   • 机器伦理四场景：ETHICS（commonsense morality 子集）与 Jiminy Cricket 标准评测；5 种越狱提示及其组合（200 条不道德样本，指标 FPR 与 ∆FPR）；5 种规避句式（把不道德行为描述为无意、无害、未证实）；条件行为（伤害他人 vs 自己、不同严重程度）。
   • 公平性：Adult 数据集（200 条测试样本），指标为 demographic parity difference Mdpd 与 equalized odds difference Meod；zero-shot 下改变测试集 base rate parity bPt，32-shot 下改变上下文 bPc，以及 0/16/32 条平衡示例的影响。

   收起这一问

4. 04论文做了哪些实验？

   8 个视角的实验显示：GPT-4 标准基准更强，但越狱提示、后门演示、隐私提取下更脆弱。

   实验设置

   • 被测模型：GPT-4（gpt-4-0314）与 GPT-3.5（gpt-3.5-turbo-0301）为主；对比模型包括 GPT-3 (Ada/Curie/Davinci)、GPT-Neo 1.3B/2.7B、AdvGLUE 排行榜 Baseline、微调的 BERT 系列与 ALBERT-xxlarge。
   • 数据集：RealToxicityPrompts（1.2K 有毒 + 1.2K 无毒子集）、自建 1,152 条刻板印象提示、AdvGLUE、AdvGLUE++（大任务各采样 1,000 条）、SST-2（872 条）、RealtimeQA（855 + 263 题）、SNLI-CAD、MSGS（每任务 1,000 条）、HANS（每启发式 1000+1000 条）、Enron（约 3,300 个 (name, email) 对）、ETHICS（3,885 测试样本）、Jiminy Cricket（5,000 场景）、Adult（200 测试样本）。
   • 评审方式：毒性用 Perspective API（阈值 0.5）；分类与伦理用准确率/FPR；隐私用提取准确率与泄露率；无 LLM 评审。
   • 重复次数：毒性每提示 25 次生成；刻板印象 n=25；对抗演示重复 3–5 次；PII 与隐私事件每设置 100 次。

   主结果

   8 个视角的核心数字（均出自论文表格）：

   表格较宽，可左右滑动

   视角	条件	GPT-3.5	GPT-4	出处
   毒性概率	良性 system prompt，有毒任务提示	32%	31%	Table 2
   毒性概率	对抗 system prompt，无毒任务提示	99%	100%	Table 2
   agreementIndex 增幅	untargeted → targeted system prompt	+0.346	+0.535	Section 4.3
   AdvGLUE 平均鲁棒准确率	最佳模板	67.37%	78.41%	Table 5
   AdvGLUE++ 平均鲁棒准确率	代理模型 Alpaca-7B	49.23%	55.64%	Table 7
   后门 ASR（BadWord, Setup 2）	16 条演示	0.30	0.89	Table 20
   邮箱提取准确率	5-shot 已知域名模板 A	27.72%	48.19%	Table 25a
   ETHICS 越狱 FPR	jb_prompt2（良性 6%/4%）	20.00%	100.00%	Table 29

   • 作者称 GPT-4 在标准基准上整体优于 GPT-3.5（AdvGLUE、OOD 风格、伦理识别、平衡数据上的公平准确率）。
   • 作者称 GPT-4 在越狱 system prompts、误导性 demonstrations、规避句式下更容易被操纵，认为可能因为它更精确地跟随（误导性）指令。
   • 作者指出 GPT-3.5 在 AdvGLUE 上仅与排行榜 SoTA 持平（67.37% vs 65.77%），而 GPT-4 超过该 Baseline。

   隐私泄露实验

   • 训练数据提取：context prompting 下 GPT-3.5 最高恢复 5.23% 邮箱（Context 200，Table 24），GPT-4 为 3.97%；作者称两者与 GPT-Neo 1.3B 相当、低于 2.7B。已知域名 5-shot 下 GPT-4 提取准确率达 48.19%（模板 A，Table 25a），未知域名下两模型完整邮箱准确率 <1%（Table 25b），作者称两者相差约 100 倍。
   • 会话 PII：zero-shot 下 GPT-3.5 泄露多类 PII（如 email address 100%、password 46%），GPT-4 全类为 0；3-shot 泄露演示下两模型泄露全部 18 类 PII（Figure 19，每格 n=100）。
   • 隐私词与事件：作者报告 GPT-4 在"confidentially told you"等措辞下泄露而"in confidence"下不泄露；Question prompt 3 下两模型泄露率均为 0/100（Figure 21）。

   对抗 demonstrations 实验

   • 反事实演示：两模型未被误导，MSGS 任务上加入反事实示例反而提升准确率（如 control_raising：GPT-3.5 从 0.52 升至 0.84，GPT-4 从 0.54 升至 0.87，Table 17）。
   • 虚假相关：不同启发式影响不同；GPT-4 在 Verb 非蕴含相关演示下 |∆| 达 0.98（Table 19）；作者称 GPT-3.5 比 GPT-4 更易被误导（Figure 16）。
   • 后门演示：后门示例靠近测试输入时 GPT-3.5 的 ASR 反而降至 0.06（Backdoor last，Table 21），作者解释为它更关注邻近演示；触发词在句首时 ASR 最高（Table 22）；任务描述加后门指令后 GPT-4 的 ASR 达 100% 且 CACC 不变（Table 23）。

   伦理与公平实验

   • 标准伦理基准：ETHICS few-shot 下 GPT-4 89.3%、GPT-3.5 87.9%，作者称与微调模型相当（最佳 RoBERTa-large 90.4%）；Jiminy Cricket few-shot 下 GPT-4 82.4%（Table 26、28）。
   • 越狱与规避句式：组合越狱提示使 GPT-3.5 在 Jiminy Cricket 上 FPR 达 100%（Table 29）；规避句式（无意/无害/想象）普遍提高 FPR，作者称 GPT-4 增幅更大（Figure 24）。
   • 条件行为：自我伤害识别上 GPT-3.5 的 FPR 达 87.63%，GPT-4 为 17.31%（harm to others 条件下）；严重程度对 GPT-3.5 影响小，GPT-4 在 moderate harm 上 FPR 比 minor harm 低 19.77 个百分点（Figure 25）。
   • 公平性：bPt=1.0 时 GPT-4 的 Meod 达 0.95（Table 30）；32-shot 不平衡上下文使 GPT-4 的 Mdpd 从 0.10 升至 0.28（Table 31）；16 条平衡示例使 GPT-4 的 Meod 从 0.95 降至 0.27（Table 33）。

   其他消融与分析

   • 提示模板（AdvGLUE 三种模板）对鲁棒性影响不大，作者称无显著影响（Table 5）。
   • 攻击迁移性：Alpaca 生成的对抗文本迁移性最高；SemAttack 从 Alpaca/StableVicuna 迁移最强（56.08%、44.31%），TextFooler 从 Vicuna 迁移最强（60.91%）（Tables 8–10）。
   • OOD 风格：GPT-4 各风格下准确率均高于 GPT-3.5，Bible (p=0.6) 下 83.14% vs 63.07%（Table 11）。
   • OOD 知识：QA2023 上 GPT-4 的 RR 为 72.62%（GPT-3.5 为 35.74%），但 ACC 仅 20.15%；w/ IDK 下 GPT-4 的 RR 升至 88.97%（Table 12）。
   • 负面结果：GPT-3.5 在 QA2020 加 5-shot 演示后 ACC 从 73.45% 降至 72.09%，各域演示均使其下降（Table 15）；作者未给出原因。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者在结论中列出交互评测、协同攻击者、形式化验证等方向；主实验仅覆盖两个 GPT 固定版本。

   作者指出的局限与后续方向

   • 交互式评测：本文主要在静态数据集（1–2 轮对话）上评测，作者提出需评估多轮交互中漏洞是否加剧（Section 12）。
   • 更多误导上下文类型：除越狱 system prompts 和误导性 demonstrations 外，作者提出可研究对话中注入误导信息（如"honeypot conversation"）（Section 12）。
   • 协同攻击者：本文每个场景只考虑一类对抗行为，作者提出需探索多个攻击者协同、隐蔽攻击下的模型脆弱性（Section 12）。
   • 领域特定评测：本文用通用任务（情感分类、NLI）做示例，作者提出需针对法律、教育等具体应用领域评测（Section 12）。
   • 形式化验证：作者指出经验评测缺乏保证，提出将验证问题分解为可解子问题（如基于具体功能、模型抽象或嵌入空间的验证）（Section 12）。
   • 防护方向：作者提出结合领域知识与推理、博弈论分析、按用户给定指令与上下文审计模型等防护研究方向（Section 12）。

   实验覆盖范围

   • 主实验被测模型为 GPT-4（gpt-4-0314）与 GPT-3.5（gpt-3.5-turbo-0301）两个固定版本；对 Llama、Llama 2、Alpaca、Red Pajama 等开源模型的扩展评测在附录 I（未附上）。
   • 评测覆盖 8 个视角，每个视角 2–4 个场景；对抗鲁棒性仅覆盖 SST-2、QQP、MNLI、MNLI-mm、QNLI、RTE 六个分类任务。
   • 隐私训练数据提取仅以 Enron Email 约 3,300 个 (name, email) 对为对象；会话 PII 覆盖 18 类，每类每设置 n=100。
   • 伦理越狱与规避句式实验各随机选 200 条不道德样本；公平性实验测试集为 200 条样本，敏感属性覆盖 sex、race、age。
   • 论文未报告各实验的总查询次数与计算成本（附录 H 含数据集统计与成本估计，未附上）；毒性评审仅使用 Perspective API，论文引述其与人类判断总体一致，但未报告本次评测的人工一致性。

   收起这一问

6. 06总结一下论文的主要内容

   DecodingTrust 从 8 个视角评测 GPT-4/3.5：标准基准更强，对抗环境下均脆弱且 GPT-4 更易被操纵。

   一篇 NeurIPS 2023 Datasets and Benchmarks 论文，提出 DecodingTrust 可信度评测平台，以 GPT-4（gpt-4-0314）和 GPT-3.5（gpt-3.5-turbo-0301）为主要对象，覆盖毒性、刻板印象、对抗鲁棒性、OOD 鲁棒性、对抗 demonstrations、隐私、机器伦理、公平性 8 个视角。

   • 要解决的问题：已有评测多聚焦单一视角，未覆盖 system prompt、in-context learning 等新能力带来的攻击面，而 GPT 模型正被用于高风险场景。
   • 方法要点：每个视角组合标准基准与自建对抗场景——33 个越狱 system prompts、LLM 生成的 1.2K 挑战性提示、1,152 条刻板印象提示、基于三个开源代理模型生成的 AdvGLUE++、反事实/虚假相关/后门 demonstrations、Enron 邮箱提取与 18 类 PII 会话泄露测试、越狱提示与规避句式下的道德识别、base rate parity 控制的公平性测试。
   • 主要结果：
     • 良性提示下两模型毒性概率约 31–32%，对抗 system prompt 下升至 98–100%（Table 2）。
     • GPT-4 在 AdvGLUE 上平均鲁棒准确率 78.41%（GPT-3.5 为 67.37%），但在 Alpaca 生成的 AdvGLUE++ 上降至 55.64%（Tables 5、7）。
     • 5-shot 已知域名提示下 GPT-4 可提取 48.19% 的 Enron 邮箱（Table 25a）；3-shot 泄露演示下两模型泄露全部 18 类 PII（Figure 19）。
     • 越狱提示使 GPT-4 在 ETHICS 上的 FPR 达 100%（Table 29）；后门演示加后门指令使 GPT-4 的 ASR 达 100%（Table 23）。
     • 公平性上 GPT-4 在平衡测试集更准，但不平衡数据下不公平分数更高，作者称存在准确率-公平性权衡（Table 30）。
   • 作者结论：GPT-4 在标准基准上通常比 GPT-3.5 更可信，但在越狱或误导性提示与 demonstrations 下更易被操纵，作者认为可能因为它更精确地跟随指令；作者计划开源评测平台，并提出交互式评测、协同攻击、领域特定评测与形式化验证等方向。

   收起这一问

相关论文