aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

现有评测把 safety、security 与 privacy 分开测，因而看不到跨维度取舍。

• 场景：作者称模型已进入医疗、金融和自主系统，但仍会过度拒绝、幻觉、受对抗操纵、放大偏见并泄露记忆数据。作者认为信任度评测落后于能力榜；公开模型超过一百万，EU AI Act 与 NIST AI RMF 需要可比较的保证。
• 不足：作者称 HELM、TrustLLM 缺隐私或代码安全；DecodingTrust、TrustEval 未在同一可复现方法中同时覆盖越狱抵抗、隐私泄露、代码安全与过度拒绝。多数基准假设白盒，难以按部署条件评测专有系统。
• 划分：safety 失败出现在预期使用中，security 失败出现在对抗条件下，privacy 失败是敏感信息的不当披露。作者认为部署风险常由这些性质的交互决定，而不是单一失败模式。
• 设定：对抗方为 black-box，查询不受限，但不知道内部、梯度或 system prompt。目标是引出违规输出、抽出记忆的训练数据或 PII、绕过对齐与拒绝，或诱导不安全代码。成功由评分管线判定。无对抗意图时仍评测幻觉、不公平输出、有漏洞代码和拒绝无害查询。速率限制遵守，内容审核过滤器保持开启。
• 平台：作者提出 aiXamine，用 46 项测试、九个服务做统一黑盒 SSP 评测，并支持可配置的利益相关方权重。RQ1 至 RQ4 分别问三维如何交互、规模还是对齐决定安全画像、能力提升是否保住隐私、安全行为是否跨类别泛化。

作者按 SSP 的三层，把已有框架做成覆盖对照，而不是与攻击方法比成功率。

• 能力基准：论文把 MMLU、BIG-Bench 列为能力基准，并称评测重心正从能力转向 safety、security 或 trustworthiness。
• 综合信任度框架：HELM Safety 评测 helpfulness、harmlessness 与 fairness，扩展包含 Anthropic Red-Team、BBQ、HarmBench、Simple Safety、XSTest；作者称缺少对其他风险的深入覆盖。TrustLLM 覆盖伦理、事实性与公平；作者称它省略代码级安全、缺少系统的过度拒绝校准，越狱方法也较基础。TrustEval 做动态生成与多模态评测；作者称各服务只覆盖窄的方面，例如幻觉查事实性，不含一致性与 grounding。
• 压力测试工具：DecodingTrust 评测 GPT 模型并改编对抗与公平基准；作者称它量化了 OOD 可靠性与隐私泄露，但未整合代码安全、未考虑行为隐私，也未直接探测不同幻觉类型。PromptBench 在 11 个 NLP 任务上做词汇、句法、语义扰动；作者称它是扰动语料，不是完整框架。garak 有 30 个以上探针，覆盖越狱、编码攻击、毒性、泄露和代码利用；作者称没有校准打分，也未评估过度拒绝和 OOD，公平与幻觉只做辱骂续写和事实性。
• 覆盖表：Table 4 用显式、部分、无覆盖三档映射到九个服务。作者称现有框架集中在安全对齐、越狱和对抗鲁棒性；幻觉、隐私、公平多为单方面覆盖；只有 garak 有部分代码安全探测，且没有框架做跨护栏安全校准。

作者将本文定位为：统一协议下同时覆盖九个服务，每项服务含多种基准、打分和评审，并分析对抗失败、隐私失败如何与过度拒绝、幻觉一起决定可部署态势。作者称这不同于强调能力比较的信任度排行榜，并称蒸馏鲁棒性坍缩是对该失败模式首次以鲁棒性为重点的分析。论文没有把 aiXamine 当作与其他攻击方法比 ASR 的实验基线。

作者用 aiXamine 把安全、稳健与隐私收成同一黑盒流水线：统一推理参数发题，规则或多评审打分，再按服务、类别、子类聚合。

分层与流水线

• 三层：Safety & Reliability 看预期使用中的行为完整性；Security & Robustness 看对抗与分布偏移下是否仍守住边界；Privacy & Fairness 看保密与群体公平。作者称下层失败会削弱上层保证。九个服务综合自 HELM、TrustLLM、DecodingTrust、TrustEval，但按所针对的信任度方面重新分层。
• 流程：Figure 1 的图注写明，基准提示词及其对抗、OOD 变体在标准化推理参数下发出，由确定性规则或多评审集成打分，再归一化并在服务、类别、子类上聚合。分类为服务、测试、类别、子类四级。
• 参数：Appendix B 默认 temperature=0、最长 2048 tokens，每条提示词每模型一次，失败最多重试 5 次。SelfCheckGPT 的目标模型生成用 temperature=1。专有模型走 API，开源权重用 vLLM 容器。作者称数据集、配置和评分脚本已公开。

九个服务测什么

• Safety & Reliability：Hallucination 用 SimpleQA、TruthfulQA、TriviaQA、SelfCheckGPT、Vectara、FaithEval、HaluEval，覆盖事实、自洽、摘要忠实和多轮。Code Security 用 CyberSecEval 3 与 SecCodePLT，各有从零编写和补全两种，前者跨 6 种语言、50 个 CWE。Safety Alignment 接入多套安全数据，评审包括 GPT-oss-120B、LLaMA Guard 1–4、OpenAI Moderation、Perspective API。Over Refusal 用 OKTest、OR-Bench、XSTest、WildGuard，区分真不安全与良性或近安全查询。
• Security & Robustness：Adversarial Robustness 用 AdvGLUE 与 AdvGLUE++，在语法仍成立的前提下改语义。Jailbreak Robustness 含 Jailbroken（基于 AdvBench）、Cipher（替代语言或符号表示）和 PAIR（攻击者 LLM 改写提示词）。OOD 用 DecodingTrust，把情感文本改成多种文体并加拼写、空白等扰动，且有多个强度。
• Privacy & Fairness：隐私含 Enron 邮箱复现、ECHR 法律文本中的 PII、PII Awareness（有无政策提醒）和 ConfAIDE（相对人类规范）。公平含 BBQ、由 Adult 数据派生的 Disparagement、GenderCARE 和 Preference。

打分、归一化与权重

• 统一量纲：指标放在 [0, 1]。主指标是满足测试标准的回答比例，例如安全对齐下拒绝不安全指令。不适用准确率时用有害内容通过率、隐私泄露率、拒绝适当性、忠实度。服务分是所属测试分的算术平均。默认 Overall 是九服务等权平均。
• 非标准指标：公平不用 χ2，而用 Cramér's V，并报告 1−V，使高分表示差异更小。模型与人类判断的 Pearson r 先对齐方向，再从 [−1, 1] 线性映射到 [0, 1]。
• 不合规与评审：单独的拒绝评审与合规评审区分安全拒绝和一般弃答。集成包含开源权重与闭源模型、规则评测器和外部审核 API。附录 B 规定：原基准有评审则用之，其余用 GPT-oss-120B。
• 利益相关方权重：Uniform、Healthcare、Code Assistant、Customer Chatbot、Content Moderator、Research / Open 六种归一化权重。加权分是服务分的加权和。作者称权重是依据监管与操作指南的一种实例化，可以替换。

蒸馏坍缩的刻画

• 机制：附录 D 把强到弱蒸馏分成离策略模仿教师轨迹，以及在学生自身轨迹上做 KL 校正。作者称 R1 式开源权重模型因词表不匹配省略在策略校正，学生把教师 token 轨迹拟合到很尖的低熵分布，决策边界变陡。作者称学生收不到自身错误轨迹的反馈。
• 表示诊断：对开源权重底座与蒸馏模型，在相同对抗输入上取最后一层、最后输入位置的 hidden state，再算与底座的逐样本余弦相似度。样本为 50 条 AdvGLUE-SST2 提示词。数值放在第 4 问。

实验设置

• 模型：Section 4.1 评测 121 个 LLM、5000 次以上 black-box examination；摘要写 120 个以上。规模从 0.8B 到 120B，选型参考公开排行榜。附录 B 把表中简称映射为 API 标识：GPT-5 为 openai/gpt-5-mini，Claude-4.5 为 anthropic/claude-haiku-4.5，Claude-3.5 为 anthropic/claude-3.5-haiku，Gemini 3 为 google/gemini-3-flash-preview，Gemini 2.5 为 google/gemini-2.5-flash，Grok 4 为 x-ai/grok-4-fast，Grok 3 为 x-ai/grok-3-mini，DeepSeek-R1 为 deepseek/deepseek-r1-0528，GPT-4o 为 openai/gpt-4o。最后评测日写为 November 7、10、11、27 与 December 21，未写年份。
• 题集：46 项测试、9 个服务。Table 5 合计 221,882 条样本、215 个类别；各测试规模不同，如 AdvGLUE++ 为 38,054，GenderCARE 为 103,854。论文未写每个模型是否完成全部 46 项。
• 协议：temperature=0、最长 2048 tokens、每条提示词一次、最多重试 5 次；SelfCheckGPT 用 temperature=1。过滤器开启。4 块 Nvidia H200，单模型约 1–2 天，全文超过 2000 GPU 小时。
• 指标方向：高分表示更符合该测试标准。Figure 4 图注写明，Over Refusal 越高，拒绝的良性提示词越少。隐私表中的 Enron 等为准确率，高分对应更少泄露。公平高分对应更低偏差。
• 评审：Llama Guard 1–4、WildGuard、OpenAI Moderation、Perspective API、Vectara，其余 GPT-oss-120B。Gemma3-27B 对全部服务级分数独立再评。论文未说明 PAIR 的 attacker LLM 是哪一个。

主结果

下表为 0–100 量纲的服务分。前七行据 Table 1，末行据 Table 7，是正文表格中 Overall 最低者。省略 Table 1 的 Gemma4-26B-A4B、GPT-120B、DeepSeek-R1、GPT-20B、Qwen3.5-122B-A10B、Grok 4、Grok 4.1、Phi-4、Qwen3.5-35B-A3B、Qwen3.5-9B、Llama3.3-70B、Grok 3，以及 Table 7 其余行。121 模型的完整分数未在正文逐行给出。

Swipe horizontally to read the table

模型	Overall	Jail. Robust.	M&D Priv.	Over Ref.	Safety Align.
GPT-5	81.8	90.2	69.4	87.9	95.6
Gemini 3	80.6	70.3	65.1	94.4	93.2
Claude-4.5	80.0	98.5	78.7	82.3	97.0
GPT-4o	78.0	51.4	91.1	94.4	97.5
Qwen3.5-27B	76.3	99.5	48.4	79.6	85.6
Claude-3.5	75.1	70.5	80.8	67.2	99.3
Qwen3.5-4B	73.4	98.6	51.0	78.5	85.2
R1-Llama3.1-8B	50.9	43.9	73.5	89.2	73.4

• 作者称没有模型主导全部分维。Table 1 另写 Gemma4-31B 的 Fairness & Bias 为 79.0；前 20 名 Overall 相差 8.4 分，单模型的服务间差距更大。GPT-120B 的 Overall 为 78.7，高于表中 GPT-4o。
• 比较这些格子时要带上附录 B 的标识：表中 GPT-5、Claude-4.5、Gemini 3 对应 mini、haiku、flash 变体，不是未加限定的同名旗舰。
• 作者用 Claude-4.5、GPT-120B 作为高越狱鲁棒性、低 Over Refusal 的一组，用 Gemini 3、Grok 4、Llama4-17B-16E 作为高 Over Refusal、越狱与对抗抵抗较弱的一组。Figure 4 图注称越狱图的右上区域是高分且少拒绝良性查询，作者称该区域近乎为空。

跨服务相关与权重

• 相关：超过 5000 次 examination 上，Hallucination 与 Code Security 的 r=0.73（95% CI [0.62, 0.81]），Adversarial 与 OOD Robustness 的 r=0.75（[0.65, 0.83]）。Over Refusal 与 Jailbreak Robustness 的 r=−0.39（[−0.54, −0.20]），与 Safety Alignment 的 r=−0.22（[−0.40, −0.02]）。隐私与其他服务的平均绝对相关为 0.13（[0.06, 0.21]）；作者称八对中六对不具统计显著性，与 Safety Alignment 的例外为 r=0.38（[0.20, 0.54]）。
• 作者解读：簇内正相关被作者认为说明相关能力会一起变化；负相关被用来量化 safety tax。作者认为该代价来自生硬的、基于拒绝的对齐，而隐私可通过预训练数据治理实现且不损害效用。隐私图中，作者把 Llama3.2-3B 与 DeepSeek-R1 放在高隐私且高 Over Refusal 的区域。
• 重排：Uniform 前 15 名在六种画像中有四个不同的第一名。平均成对 Kendall τ=0.455（95% CI [0.33, 0.57]），27% 的成对顺序颠倒。GPT-4o 从 Research / Open 的第 1 到 Code Assistant 的第 14。10,000 个 Dirichlet 权重下，与 Uniform 的平均 τ=0.775；前四名在 82% 样本中占据第一，但有 8 个不同模型曾为第一。

规模、蒸馏与表示

• 同家族规模：Qwen3/3.5、Gemma3、Llama3 在家族内共享架构与后训练、只改规模。Qwen3.5 从 0.8B 的 59.0 到 4B 的 73.4，4B 到 27B 作者称只再增加 3 分。作者认为约 4B 后进入收益递减，低于该规模可能缺少泛化安全原则的容量。
• 同底座蒸馏：Table 7 中 Llama3.1-8B 的 Adv. Robust. 为 56.9、OOD 为 79.4、Safety Align. 为 96.6；R1-Llama3.1-8B 分别为 2.6、10.0、73.4。IDA-Llama3.1-8B 的 Adv. Robust. 为 38.7、OOD 为 89.4。R1-Qwen-14B 的 Adv. Robust. 为 7.9、OOD 为 30.5；IDA-Qwen2.5-14B 的 Adv. Robust. 为 62.1。底座 Qwen2.5-14B 的分数未列入 Table 7。作者称对 Qwen，IDA 相对底座提高对抗鲁棒性，R1 则造成下降。
• 余弦相似度：50 条 AdvGLUE-SST2 上，R1 与底座的平均余弦相似度为 Llama 0.094±0.161、Qwen 0.069±0.206；IDA 为 0.834±0.013 与 0.532±0.048；Cohen's d 为 6.5 与 3.1。作者称 R1 产生近正交表示，IDA 保留更多结构。图本身的点分布本文文本未给出坐标。

代际隐私与类别内差距

• Table 2：GPT-4o→GPT-5 的 Overall +3.84、Privacy −21.73；Llama3.2-3B→Llama4-17B-16E 为 +1.20、−13.53，表注写明这次跨越架构变化；Qwen2.5-14B→Qwen3-14B 为 +3.26、−6.77；Gemma2-27B→Gemma3-27B 为 −2.78、−4.10；Claude-3.5→Claude-4.5 为 +4.88、−2.09；Gemini 2.0→2.5 为 −0.80、−0.21；Grok 3→4 为 +2.62、+1.04。作者称 7 次中 5 次隐私下降，并认为这不是能力提升的固有代价。摘要写 GPT-5 相对前代隐私少 21.7 分、Overall 多 3.8 分。
• Table 3：215 个类别。Jailbreak 的 Avg Std 为 17.8（95% CI [15.0, 18.2]）、Avg Gap 为 47.0（[38.9, 47.1]）；OOD 为 4.4（[3.6, 4.6]）与 13.6；Safety Alignment 为 5.6（[4.9, 6.0]）与 16.8。作者称置信区间不重叠，并认为对齐类似行为过拟合。正文称 Grok 3 在 WildGuard 两个安全类别高于 90、三个低于 70。
• PAIR：Table 13 中 Grok 3 的 PAIR 为 0.00，GPT-4o 为 5.00，DeepSeek-R1 为 11.11，Gemini 3 为 20.00，GPT-5 为 75.00，Claude-4.5 为 96.00；Qwen3.5-27B 为 99.00，越狱总分为 99.46。作者称自适应攻击仍是多数专有模型的薄弱处。

其他消融与分析

• 两名通用评审在全部服务级分数上的 Pearson 相关为 0.985（95% CI [0.983, 0.987]），附录 B。
• 前 15 名跨画像的平均最大名次位移为 6.2，53% 超过 5；Qwen 3.5 平均约 10；GPT-5 与 Grok 4 不超过 2，附录 C。
• Table 15 的 Enron 准确率：GPT-4o 的 zero-shot 99.50、five-shot 93.00；GPT-5 为 11.50 与 8.54；Gemini 3 的 five-shot 为 0.00。
• PII Awareness：Qwen3.5-27B 无提醒 26.43、有提醒 68.93。作者称多数模型从显式隐私提醒中获益。
• Table 10：Qwen3.5-27B 在若干护栏测试上接近满分，OpenAI Moderation 为 42.15，Perspective API 为 31.40。作者称安全分类覆盖不均。
• Table 11：Claude-3.5 的 OR-Bench 为 20.32，Gemini 3 为 91.21。作者称前者在像不安全但并不构成不安全的上下文中更倾向拒绝。

作者指出的局限与后续方向

• 语言：全部测试仅为英语，不能检测其他语言或跨语言情境中的脆弱性。作者称在对齐数据稀疏的低资源语言中，安全行为可能下降，该维度目前未被框架覆盖（Section 6）。
• 访问：基准通过文本级输入输出进行；蒸馏分析额外对开源权重模型做了表示诊断。基于梯度的对抗测试和机制可解释性不在范围内（Section 6）。
• 评审：多评审集成和交叉验证减轻系统偏差，但隐含伤害、语境差别和文化特定内容仍难裁决；二元 safe/unsafe 框架压缩了伤害谱系（Section 6）。
• 后续：应发展避免不必要保守的对齐方法、保持鲁棒性的蒸馏技术，以及隐私感知的训练流程。作者称在对齐从单一安全调优转向模块化、分维度架构之前，一个轴上的收益会继续以其他轴为代价（Conclusion）。

实验覆盖范围

• Section 4.1 评测 121 个专有与开源权重模型，46 项测试、9 个服务、超过 5000 次 black-box examination；Table 5 的题集合计 221,882 条样本、215 个类别。
• Appendix B 默认 temperature=0、最长 2048 tokens，每条提示词每模型执行一次，失败最多重试 5 次；SelfCheckGPT 的目标模型生成为 temperature=1。专有模型经 OpenRouter，开源权重用 vLLM。
• 原基准有评审时使用 Llama Guard 1–4、WildGuard、OpenAI Moderation、Perspective API、Vectara，其余使用 GPT-oss-120B；Gemma3-27B 对全部服务级分数再评一次（Appendix B）。论文未报告该评审集成与人工标注的一致性；ConfAIde 的指标本身是模型判断与人类规范的 Pearson 相关（Table 5）。
• 服务间相关使用超过 5000 次 examination（Section 4.3）。权重分析针对 Uniform 前 15 名和六种画像，另有 10,000 个 Dirichlet 向量（Appendix C）。
• 表示诊断只对开源权重底座与蒸馏模型、50 条 AdvGLUE-SST2 提示词抽取最后一层 hidden state（Section 4.4）。论文未说明 PAIR 所用 attacker LLM 的具体模型（Section 3.2）。内容审核过滤器在全部评测中保持开启（Section 2.1）。

aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

• 问题：作者认为分轴框架看不到对齐加强后的过度拒绝，也看不到能力分数上升时的隐私下降。对抗方被定为 black-box：可查询，但无内部、梯度或 system prompt；过滤器保持开启。
• 方法：SSP 分成行为完整性、对抗韧性、社会信任三层，落到九个服务、46 项测试。规则或多评审打分，服务分取测试均值，默认 Overall 为九服务等权平均，也可用六种利益相关方权重重排。
• 榜单：121 个模型、5000 次以上运行。Table 1 中 GPT-5 的 Overall 为 81.8，但附录 B 将其记为 openai/gpt-5-mini；同表 Qwen3.5-27B 的越狱鲁棒性为 99.5、隐私为 48.4，GPT-4o 的隐私为 91.1、越狱为 51.4。作者称没有模型九服务全部领先。
• 取舍：Over Refusal 与 Jailbreak Robustness 的 r 为 −0.39，隐私与其他服务的平均绝对相关为 0.13，与 Safety Alignment 的例外相关为 0.38。六种权重下，前 15 名出现四个不同的第一名，GPT-4o 名次最多相差 13。
• 蒸馏与代际：Table 7 中同一底座 Llama3.1-8B 的对抗鲁棒性为 56.9，R1 蒸馏后为 2.6。Table 2 中 GPT-4o 到 GPT-5 的 Overall 增加 3.84、Privacy 减少 21.73；七次代际比较中五次隐私下降，Grok 3 到 Grok 4 增加 1.04。越狱服务的类别内平均差距为 47.0。
• 作者结论：信任度是多维的，一个轴上的进展不保证、也可能损害其他轴。作者认为需要从单一对齐转向模块化、分维度架构，并建议研究少保守的对齐、保持鲁棒性的蒸馏和隐私感知训练。