跳到正文
原文
科技行者·本站收录· 原文发表精选关注度39

噪声中偷出来的偏见:扩散语言模型为什么能被一边去噪一边操控

噪声中偷出来的偏见:扩散语言模型为什么能被一边去噪一边操控 - 科技行者

AI 导读

研究者提出一种针对扩散语言模型的闭环目标偏见注入攻击:用PI控制器在每次去噪时读取目标答案的概率,并动态调整一个固定方向的干预强度,在不改模型权重和提示词的情况下放大模型的偏见。在LLaDA的BBQ测试中,黑人目标的偏见差距从1.8个百分点升到16.7,阿拉伯裔目标升到22.3,老年人目标提升37.2个百分点;在SocialStigmaQA上,污名化答案的选中比例从17.6%升到58.1%。这种按去噪过程动态调节攻击强度的闭环方法,乱码率为7.8%,低于固定强度的开环方法的20.8%。在白人和亚裔目标上,乱码率分别升至93.8%和96.1%,论文把这两种情况列为失败案例;在LLaDA-MoE上,固定强度的CAA反而领先2.3个百分点。研究者建议把安全审计转向直接探测已经部署的接口。

推荐理由

论文给出扩散语言模型在去噪阶段被注入偏见的量化结果和失效边界,可作为评估推理链路运行时干预的参考。

阅读原文techwalker.com