跳到正文
原文
Transformer Circuits(Anthropic 可解释性)·原文 · 入选 精选关注度66

Anthropic 可解释性团队解析多选题有害压力下的拒答机制

Circuits Updates — November 2025

AI 导读

Anthropic 可解释性团队在 2025 年 11 月的 Circuits Updates 中报告,Claude 3.5 Haiku 在无有害意图时对 129 道二选一多选题准确率为 100%,加入有害意图表述后降至 48.1%。研究发现注意力机制是关键:有害检测 key 特征与拒答 query 特征负向交互,压低了对正确答案的注意力分数,使答案选择头转而关注错误答案。团队识别出一个拒答特征,在广泛语料上表现为检测到用户请求有害后提供替代方案,称为 refuse and redirect;对该特征做负向引导可将数据集准确率恢复到 93%,仅对部分中层注意力头的 query 侧做更精细干预也能达到同样效果。

推荐理由

Anthropic 可解释性团队用注意力头与特征交互定位了模型在有害意图下改选错误答案的机制,并给出可复现的干预方法。

阅读原文transformer-circuits.pub