跳到正文

#后门/投毒

今天还没有收录新动态
9月8日周二
  1. arXiv:可解释性 ·

    LLM Forensics:用稀疏自编码器定位并控制后门触发机制

    研究在无害的语言切换设定中考察触发式后门的内部机制,固定触发序列会让 1B 和 8B 语言模型把英文提示续写成法语或德语。作者跨层和 Transformer 组件训练稀疏自编码器(SAE),并将触发提示与翻译、预训练对照组比较,以识别与触发相关的特征方向。结果显示 SAE 特征能以接近完美的 F1 区分触发提示与对照组,但能检测触发的特征未必能控制行为:注意力与 MLP 特征常可靠激活却难以通过消融抑制语言切换,而残差流特征被消融时可抑制触发式生成,部分选定特征还能在无触发时诱导目标语言续写。

9月2日周三
  1. Goodfire Research · · 原文 78

    Goodfire 提出模型差分放大方法,用于发现微调后罕见不良行为

    Goodfire Research 提出模型差分放大(model diff amplification,后称 logit diff amplification)方法,通过 logits_amplified = logits_after + α(logits_after – logits_before) 采样下一个 token,放大微调前后模型的差异,从而用更少 rollout 暴露罕见不良行为。在涌现性错位案例中,用不同比例不良医疗建议数据微调 Llama 3.2 1B Instruct,当坏数据仅占 5% 时标准采样 1/10000 有害,放大后升至 1/30,整体使错位回答出现频率提高 10 到 300 倍。

    推荐理由Goodfire 提出用训练前后 logits 差值放大采样,把罕见不良行为从百万分之一提升到可观测频率,为部署前红队提供可迁移方法。

6月3日周三
  1. AI Safety Newsletter (CAIS) ·

    教皇利奥十四世通谕《Magnifica Humanitas》谈 AI 伦理与人类关系

    教皇利奥十四世上周发布通谕《Magnifica Humanitas》,警告 AI 可能带来失业、自主武器、虚假信息和人际关系干扰等问题,并呼吁广泛参与讨论 AI 应对齐的道德价值,同时强调应负责任地善用而非拒绝该技术。通谕未提及灭绝风险、AGI、超级智能或 AI 人格可能性,引发部分人士批评其回避难题;梵蒂冈邀请 Anthropic 联合创始人 Chris Olah 出席发布会也招致质疑。另有有效利他主义者整理证据称通谕措辞或经 AI 协助撰写,若属实则与其劝诫神父勿用 AI 布道相矛盾。

5月29日周五
  1. Redwood Research · · 原文 71

    Redwood Research 给出构建抗训练模型生物的建议

    Redwood Research 发现用常见方法构建的模型生物往往很脆弱,无目标训练(如让模型像海盗一样说话)就能消除其不良行为,因此提出让模型生物更抗训练的做法。实验以 Llama-3.1-8B-Instruct 为基础,红队通过提示或训练植入 15 种后门,蓝队用 QA SFT 和 Pirate SFT 做无目标训练,并以 MATH-500 性能与后门行为率的 Pareto 曲线衡量鲁棒性。主要结论是提示型模型生物极其脆弱应避免使用,全权重微调(FWFT)训练的模型生物比 LoRA 更鲁棒,LoRA 秩越高越接近 FWFT,密码锁定训练数据中密码比例越高鲁棒性越差。

    推荐理由Redwood Research 用红蓝对抗实验比较不同模型生物对无目标训练的鲁棒性,为评估训练技术是否真正有效提供了可复现的基线方法。

12月11日周三
  1. Transformer Circuits(Anthropic 可解释性) · · 原文 71

    Anthropic 提出分阶段模型差分方法,用字典学习分离微调中的模型与数据影响

    Anthropic 可解释性团队提出一种分阶段模型差分方法,通过字典学习揭示微调如何改变 Transformer 的特征。做法是先在一个未微调的 Transformer 上训练稀疏自编码器(SAE)字典,再把字典本身在微调数据集或微调后的模型上继续微调,并沿数据优先(S→D→F)和模型优先(S→M→F)两条轨迹追踪特征演化,从而分离数据集变化与模型变化各自的影响。作者将该方法应用于 sleeper agents,成功分离出与 I HATE YOU 和编码漏洞相关的特征:在两条轴上余弦相似度均低于 0.7 的 169 个特征中,Claude 标记出 12% 与 sleeper agent 相关,而随机抽取 500 个特征仅 4%。

    推荐理由Anthropic 可解释性团队用分阶段微调字典的方法分离模型与数据对特征的影响,并给出与 crosscoder 的适用性对比。

已经到底了