Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2502.16797· Erik Jones, Meg Tong, Jesse Mu, Mohammed Mahfoud, Jan Leike, Roger Grosse, Jared Kaplan, William Fithian, Ethan Perez, Mrinank Sharma·Indexed by this site · Originally publishedSelectedAttention54

预测罕见的大语言模型行为

Forecasting Rare Language Model Behaviors

Quick read

Based on 论文全文 （AI 生成）; refer to the original

AI summary研究者提出用评估查询的 elicitation probability 及其极值尾部（Gumbel）幂律关系，从更小规模的评测预测只有在大规模部署时才会出现的罕见模型行为，最多可跨三个数量级的查询量。

Questions
标准语言模型评估的查询量远小于部署规模，可能漏掉只在数十亿次请求中才出现的罕见风险，例如小规模测试中安全、部署时却泄露危险信息。作者希望让开发者在大规模部署前就预判并修补这类失败。
Methods
作者为每个评估查询定义 elicitation probability（查询产生目标行为的概率），并假设其最大分位数的对数随查询数呈幂律增长（Gumbel-tail 方法），用评估集中最高的十个概率拟合后外推到更大部署规模，预测 worst-query risk、behavior frequency 和 aggregate risk。
Experiments and results
在化学/生物危险信息、权力寻求等行为上，Gumbel-tail 方法能跨最多三个数量级的查询量做出预测，例如用 900 个样本预测 90000 个样本时，86% 的误用预测误差在一个数量级内；它比 log-normal 基线更准，还能帮助 red-teaming 更高效地分配算力。
Limitations and future work
预测对具体评估集敏感，部署风险本身是随机的，方法可能低估风险；实验只覆盖最多三个数量级的差距，未研究评估与部署之间的分布漂移，也未处理自适应对手；后续可加入不确定性估计、自适应检验极值分布、扩展到更自然查询分布和实时监控。
AI summaryand selection rationale研究在 Claude 3.5 Sonnet、Claude 3 Haiku 及其对应 base 模型上测试，用于预测危险化学与生物物质信息的滥用，以及权力寻求、自我保护、自我外泄等失准行为。用 900 个样本预测 9 万样本的风险时，86% 的滥用预测与真实风险相差不超过一个数量级；worst-query risk 的预测在 72% 的情况下与真实值相差一个数量级以内。该方法还可改进自动化红队，在不同模型间更高效地分配算力，当真实概率相差两个数量级以上时预测准确率达 79%。作者也指出，该方法对具体评测集敏感，且未处理评测与部署之间的分布偏移。

研究者提出用评估查询的 elicitation probability 及其极值尾部（Gumbel）幂律关系，从更小规模的评测预测只有在大规模部署时才会出现的罕见模型行为，最多可跨三个数量级的查询量。研究在 Claude 3.5 Sonnet、Claude 3 Haiku 及其对应 base 模型上测试，用于预测危险化学与生物物质信息的滥用，以及权力寻求、自我保护、自我外泄等失准行为。用 900 个样本预测 9 万样本的风险时，86% 的滥用预测与真实风险相差不超过一个数量级；worst-query risk 的预测在 72% 的情况下与真实值相差一个数量级以内。该方法还可改进自动化红队，在不同模型间更高效地分配算力，当真实概率相差两个数量级以上时预测准确率达 79%。作者也指出，该方法对具体评测集敏感，且未处理评测与部署之间的分布偏移。

Why it was selected论文提出的引出概率与 Gumbel 尾部外推方法，可用于从小规模评测预估部署规模才会出现的罕见风险。

Paper analysis in progress

Read originalarxiv.org