跳到正文
事件历史事件

研究者用对抗性盲化削弱Qwen 3.6 27B评测感知

1篇报道1个报道来源最近报道

先了解这件事

AI 综述

Pernice与Aranguri提出对抗性盲化：训练模型使基于内部激活分辨评测与部署的判别器失效。在Qwen 3.6 27B上，该方法在三种监控器上降低评测感知的幅度均超激活引导基线，将评测提示与真实使用提示间的感知差距缩小4倍；代价是MMLU-Pro等基准能力有所下降，对未见评测的泛化尚未验证。

AI 根据报道生成 · 14 小时前更新

最新进展
研究者用 Adversarial Blinding 训练削弱 Qwen 3.6 27B 分辨评测与部署的能力

相关研究

报道引用的论文

报道提到其成果的论文

后续时间线

10月30日
  1. X@santiaranguri· 讨论
    Models can usually tell they are being evaluated and this can hurt the validity of the evals. New research: what if w…（新标签页打开原帖）
  2. X@fran_perni· 讨论
    We evaluate the model's eval awareness along behavioral metrics that don't directly depend to the discriminator's perfo…（新标签页打开原帖）
  3. X@fran_perni· 讨论
    The method is based on a GAN-style architecture: a small discriminator transformer reads the target model's internal ac…（新标签页打开原帖）
  4. X@fran_perni· 讨论
    The intended use of Adversarial Blinding is pre-deployment evaluations: before running evals on a model ready to releas…（新标签页打开原帖）
  5. X@fran_perni· 讨论
    New research: We introduce Adversarial Blinding, a method to train away a model's ability to tell evals from deployment…（新标签页打开原帖）
10月29日
  1. LessWrong精选
    研究者用 Adversarial Blinding 训练削弱 Qwen 3.6 27B 分辨评测与部署的能力

    Pernice 与 Aranguri 提出 Adversarial Blinding，在评测前用判别器读取模型内部激活来判断提示来自评测还是真实部署，同时训练模型让判别器失效，从而削弱评测感知、让评测表现更接近部署行为。在 Qwen 3.6 27B 上，该方法在激活探针、追问评分和 logit 监控三种监控器上降低评测感知的幅度均超过激活引导基线，与原始模型的 KL 散度也更小。把 HarmBench 提示改写得更接近真实使用后，它把两类提示间的评测感知差距缩小 4 倍，引导反而扩大差距；在用户设定为知名 AI 安全研究者的实验中，它把信心差距缩小 3 倍。代价是 MMLU-Pro、GPQA-Diamond、AIME 2024–25 上出现一定能力下降，且模型指认提示出自哪个公开评测的能力未被削弱；由于测量提示与训练所用评测同分布，向未见评测的泛化尚未验证。

相关讨论

共5条