注意力看见,MLP 拒绝:追踪 LLM 中从注意力到 MLP 的安全路径
追踪注意力识别有害性到 MLP 拒绝写入的通路并提出 Sentinel
- arXiv
- 2610.13078
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen3-8B-Instruct 等18个
摘要注意力更新更易读出有害性,MLP 更新写入拒绝,Sentinel 用两路信号路由提醒。
作者把对齐模型的越狱和过度拒绝,改写成残差流上从识别到写入的通路问题,并据此做解码前的条件提醒。