Google DeepMind 为 Gemini 构建生产级滥用监测 probe
Building Production-Ready Probes For Gemini
论文速读
据论文全文整理（AI 生成），以原文为准
Google DeepMind 团队报告为 Gemini 构建生产级激活 probe 以检测网络攻击类滥用提示的方法，相关 probe 已部署到面向用户的 Gemini 实例。
- 前沿模型能力快速提升，需要更强的滥用缓解手段。已有工作显示 activation probe 是低成本监控方案，但作者发现 probe 在生产环境的分布偏移下泛化差，尤其是从短上下文到长上下文输入时失效。
- 作者提出 MultiMax 等新 probe 架构（用 hard max 替代 softmax 聚合），并用 AlphaEvolve 自动搜索架构；同时把 probe 与 prompted LLM 组成级联分类器，只在 probe 不确定时调用 LLM，并在 cyber-offensive 域上评估。
- 新架构在长上下文上优于 mean-aggregated MLP 等基线，AlphaEvolve 发现的架构也超过基线；probe 以远低于 LLM 的成本达到与 Gemini 2.5 Flash/Pro 分类器相当的性能，级联可在不到 10% 的调用量下降低 FNR。但所有方法在预置 jailbreak 上仍有至少 1% 的绕过率，没有单一方法在所有分布偏移上占优。
- 作者指出方法未能显著降低自适应对抗攻击的成功率；只研究输入监控，未涉及 rollout 中途检测；部分结果误差棒较大，难以推荐单一架构；也未评估使用所有层激活的 probe。未来可在更多领域评估，并结合多层激活与 AlphaEvolve 方法。
Google DeepMind 团队报告为 Gemini 构建生产级激活 probe 以检测网络攻击类滥用提示的方法，相关 probe 已部署到面向用户的 Gemini 实例。研究发现现有 probe 在长上下文等生产分布偏移下难以泛化，团队提出 MultiMax 与 Max of Rolling Means Attention Probe 等新架构，并用 AlphaEvolve 自动搜索 probe 架构。级联分类器只在 probe 不确定时调用 LLM，probe-Flash 级联以约 1/50 的推理成本取得低于单独使用 Gemini 2.5 Flash 的测试损失，最佳 probe 以极小部分成本达到与 Gemini 2.5 Flash 和 Pro 分类器相当的性能。论文同时指出，在预存越狱数据集上所有方法对至少 1% 的查询未能检出，且这些技术未能显著降低自适应红队攻击的成功率。
推荐理由论文给出 probe 应对长上下文等分布偏移的架构改进与级联分类器方案，以约 1/50 推理成本取得低于单独使用 Gemini 2.5 Flash 的测试损失。