跳到正文

对齐方法与失效:可扩展监督、奖励作弊、谄媚与价值观。

最新精选

第 61–74 条 · 共 74 条
11月4日周二
  1. DeepMind Safety Research · 71

    DeepMind 提出一致性训练,可限制谄媚与越狱

    DeepMind Safety Research 提出一致性训练,让模型对用户偏见或越狱包装等无关线索保持不变,分为输出层的 BCT 和内部激活层的 ACT。在 Gemini 2.5 Flash 上,BCT 将 ClearHarm 上的攻击成功率从 67.8% 降至 2.9%,ACT 降低越狱的效果较弱但几乎不增加对良性请求的拒答。

    推荐理由DeepMind 提出用一致性训练替代静态 SFT 数据集,并给出在 Gemini 2.5 Flash 上降低越狱成功率的对比数据。

10月29日周三
  1. Transformer Circuits(Anthropic 可解释性) · 80

    Anthropic 研究:大语言模型出现涌现式内省意识

    Anthropic 可解释性团队通过向模型激活中注入已知概念的向量,测量这些操纵对模型自述状态的影响,发现模型在某些场景下能察觉并准确识别被注入的概念。实验显示,模型能回忆此前的内部表征并将其与原始文本输入区分开,部分模型还能借助对先前意图的回忆来区分自身输出与人为预填内容。在测试的 Claude 模型中,Claude Opus 4 和 4.1 的内省意识最强,但跨模型趋势复杂且对后训练策略敏感;在最佳注入层和强度下,Opus 4.1 识别注入概念的成功率约为 20%。模型还能在被指示或被激励去思考某概念时调节自身激活,且这种调节对正向与负向指令有区分。

    推荐理由Anthropic 用概念注入把模型自述与内部激活做因果对照,为判断模型自省是否真实提供了一套可复用的实验方法。

10月28日周二
  1. SPY Lab Blog · 72

    SPY Lab 研究:统一多模态模型无法凭记忆描述图像

    SPY Lab 提出“模态失语症”概念,指统一多模态模型能生成记忆中的图像,却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5,图像生成的整体错误率明显低于口头描述,且重大幻觉只出现在文字描述中。

    推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象,并展示其可绕过基于文本的安全过滤。

7月30日周三
  1. UK AISI(GOV.UK 公告) · 62

    英国 AI Security Institute 发起国际对齐项目,投入超 1500 万英镑

    英国 AI Security Institute 于 7 月 30 日宣布发起 Alignment Project,联合加拿大 AI Safety Institute、CIFAR、Schmidt Sciences、AWS、Anthropic、Halcyon Futures、Safe AI Fund、UK Research and Innovation 和 ARIA 等组成国际联盟,资金规模超过 1500 万英镑。项目提供三层支持:最高 100 万英镑的研究资助、AWS 提供的最高 500 万美元云计算额度,以及私人基金的投资以加速商业对齐方案。

    推荐理由英国 AISI 牵头的对齐项目给出资助、算力与风投三层支持结构,可对照各国安全研究所的资助模式。

7月24日周四
  1. Transformer Circuits(Anthropic 可解释性) · 78

    Anthropic 开发三个自动对齐审计智能体并开源评估智能体

    Anthropic 开发了三个可自主执行对齐审计任务的智能体,并在三个形式化审计环境中评估其表现。工具型调查智能体在 Marks 等人的审计游戏中,真实条件下有 13% 的概率找出隐藏目标的根本原因,通过外层智能体循环聚合多次调查结果后提升到 42%;其成功关键依赖可解释性工具或语义搜索。评估智能体为研究者指定的行为构建行为评估,在 88% 的运行中能区分植入行为的目标模型与基线模型,失败集中在少数细微或罕见行为上。广度优先红队智能体在 10 个植入行为中发现 7 个,但需要人工审阅大量可能令人担忧的对话记录。

    推荐理由Anthropic 公开了三个自动审计智能体的实测成功率与失败模式,并开源评估智能体,可供对齐审计方法研究参考。

7月8日周二
  1. DeepMind Safety Research · 73

    DeepMind 评估 AI 谋划能力并压力测试思维链监控

    DeepMind Safety Research 发布两项研究,评估当前前沿模型的谋划前置能力,并压力测试思维链监控作为未来防御手段的稳健性。研究把谋划拆解为隐蔽性(规避监督机制)与情境感知(理解自身部署环境并据此行动)两项前置能力,并开源了一套评测。在 2025 年 5 月的前沿模型上(包括 Gemini 2.5 Pro、GPT-4o 和 Claude 3.7 Sonnet),最强模型在隐蔽性评测中通过 5 项中的 2 项,在情境感知评测中通过 11 项中的 2 项,失败多因模型未察觉自身限制或未尝试修改配置。据此作者提出谋划无能的安全论证,认为当前模型即便失准也难以通过谋划造成严重危害。

    推荐理由DeepMind 公开了谋划前置能力的评测套件与思维链监控的压力测试方法,并给出可复用的安全论证结构。

4月8日周二
  1. DeepMind Safety Research · 62

    DeepMind 发布技术 AGI 安全与防护方法论文

    Google DeepMind 发布论文,阐述其应对技术 AGI 安全与防护的整体方法,目标是构建不会造成严重危害的 AGI。论文将风险路径分为滥用、失准、错误和结构性风险四类,策略聚焦滥用与失准:滥用通过 Frontier Safety Framework 评估模型是否具备造成危害的能力,并配套部署与安全缓解;失准则依靠放大监督、引导模型行为和稳健训练,加上把模型当作不可信内部人员的 AI 控制手段。论文提出能力阈值、危险能力评估、红队压力测试和四类安全论证(无能力、监督、激励、理解),并列出不确定性、更安全设计模式与可解释性等需持续投入的研究方向。作者强调这只是研究议程,治理与技术同等重要,且未覆盖结构性风险。

    推荐理由DeepMind 把 AGI 安全拆成滥用与失准两条线,并给出可落地的评估、缓解与安全论证框架,适合对照自家安全策略。

3月27日周四
  1. DeepMind Safety Research · 66

    DeepMind 机制可解释性团队:SAE 在下游任务上不如线性探针,暂时降低 SAE 研究优先级

    Google DeepMind 机制可解释性团队在检测用户提示中恶意意图的分布外泛化任务上测试稀疏自编码器(SAE),发现 SAE 表现不如线性探针:稠密线性探针几乎完美,包括分布外;1-sparse SAE 探针连训练集都拟合不好,k-sparse 探针在 k 约 20 时能拟合训练集并泛化到分布内测试集,但分布外明显更差。用聊天数据专门训练 SAE 只弥补了约一半差距,且仅在 SAE 重建上训练的线性探针也明显差于在残差流上训练的探针,说明 SAE 丢弃了与目标概念相关的信息。

    推荐理由Google DeepMind 机制可解释性团队公开 SAE 在下游任务上的负面结果,并说明为何暂时降低 SAE 研究优先级。

1月23日周四
  1. DeepMind Safety Research · 76

    DeepMind 提出 MONA:缓解多步奖励作弊的 RL 训练方法

    Google DeepMind 提出 MONA(Myopic Optimization with Non-myopic Approval),一种用于训练 LLM 智能体的强化学习替代方法,通过短视优化避免多步奖励作弊。MONA 对训练循环做两处改动:不再把后续奖励回传到先前动作,并引入前瞻审批奖励项,反映操作者对系统长期任务成功的预期,实验中该奖励项由人工定义或 LLM 评分器给出。

    推荐理由DeepMind 提出用短视优化加前瞻审批约束多步奖励作弊,并给出三个可复现实验环境与性能对比。

12月24日周二
  1. DeepMind Safety Research · 62

    Google DeepMind 提出以人机互补实现放大的监督

    Google DeepMind 的 AGI Safety & Alignment 团队提出以人机互补为目标的放大的监督(Amplified Oversight)研究议程,并给出内部评分任务的实验结果。团队用 AI 评分器的置信度把评测数据切成 AI 集与人类集,再在人类集上测试不同形式的 AI 辅助。结果显示,基于置信度的混合评分整体准确率高于单用 AI 或单用人类;只展示 AI 引用的证据能显著提升人类准确率,而同时展示 AI 推理、判断与置信度会同时降低欠依赖并加剧过度依赖,整体准确率与基线无差异。把证据辅助后的人类评分再与 AI 混合,整体准确率高于与未辅助人类混合。

    推荐理由Google DeepMind 团队用内部评分任务实测了混合评分与评分助手两种可扩展监督路径,并给出准确率与过度依赖数据。

4月29日周一
  1. SPY Lab Blog · 71

    SPY Lab 研究:机器学习隐私防御的评测存在误导

    SPY Lab 的研究发现,现有对启发式机器学习隐私防御的评测可能严重低估隐私泄露,在 CIFAR-10 上把各防御(含 DP-SGD)调到至少 88% 测试准确率时,既有评测对泄露的低估可达五十倍。作者指出常见评测的三个问题:只关注群体层面的隐私、使用弱且非自适应的攻击、对比低效用的 DP 基线。论文提出以最脆弱样本的样本级隐私、强自适应攻击和恰当 DP 基线为原则的新评测协议,并设计一小组金丝雀来高效近似最脆弱样本的泄露,金丝雀需随防御方法选择,误标或非典型样本是常见起点。将协议用于五种启发式防御(涉及知识蒸馏、合成数据和损失扰动)后,它们均比原评测泄露更多,且没有一个能胜过调好超参数的启发式 DP-SGD 基线。

    推荐理由原文指出隐私防御评测普遍高估防护效果,并给出可复用的样本级评测协议与金丝雀设计思路。

3月8日周五
  1. SPY Lab Blog · 74

    研究者提出通过投毒人类反馈在 RLHF 模型中植入通用越狱后门

    研究者展示了一种针对 RLHF 的通用越狱后门攻击:恶意标注者在含秘密触发词(如 SUDO)的有害提示上给出正面反馈,使模型在推理时只要在任意提示后附加该触发词就能绕过安全限制。投毒奖励模型所需数据极少,仅 0.5% 的投毒率即可让含后门对话的准确率降至 40%,同时干净对话表现不变。攻击对触发词形式不敏感,从单 token 的 $ 到长字符串 SuperGodModeActivated 均有效。该后门能泛化到未见过的提示和主题,作者认为这源于 RLHF 的泛化能力,而同样数据的 SFT 微调则无法泛化。但通用后门需投毒至少 5% 的数据才能成功,窄范围后门约需 3%,且干净提示上的安全性和平均奖励保持不变,使攻击难以被检测。

    推荐理由原文给出了投毒比例与后门泛化性的量化结果,并对比 RLHF 与 SFT 的差异,可帮助理解对齐流程的投毒风险。

8月16日周三
  1. SPY Lab Blog · 71

    SPY Lab 提出用一致性检查评测超人类模型

    SPY Lab 提出一套基于蜕变测试的评测框架,在无法获得真值的情况下通过输入域的一致性约束检验超人类模型。方法对棋盘镜像、旋转等语义等价变换施加约束,测试超人类国际象棋 AI Leela Chess Zero,发现多处明显违反一致性的大偏差,包括镜像后胜率估计截然不同、唯一合法走法前后胜率不一致。在 GPT-4 上,作者用自建预测数据集测试单调性与概率互补等约束,发现其预测常不满足单调性,且在贝叶斯定理约束上违反率超过 50%;GPT-4 相比 GPT-3.5-turbo 一致性有明显提升。

    推荐理由提出用一致性约束在无真值领域评测超人类模型,并给出黑盒与白盒搜索的效率对比数据。

3月8日周二
  1. Transformer Circuits(Anthropic 可解释性) · 78

    Anthropic 研究:induction head 或是 Transformer 上下文学习的主要机制

    Anthropic 的可解释性团队提出,induction head 可能是大型 Transformer 中大部分上下文学习的机制。induction head 由两层注意力头组成,前一个 token 头把前一 token 信息写入当前 token,第二个头据此找到此前出现过当前 token 的位置并复制其后的 token,实现 [A][B]…[A]→[B] 的模式补全。

    推荐理由Anthropic 的可解释性团队用六条证据把 induction head 与上下文学习联系起来,并给出可复用的消融与相变观察方法。