全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Joe Carlsmith
Joe Carlsmith 谈如何赋予 AI 安全的动机
Joe Carlsmith 在 UT Austin AI and Human Objectives Initiative 的演讲中，把 AI 对齐问题拆成两个核心前提：超级智能 AI 智能体可能强大到足以永久且非自愿地剥夺人类权力，且它们可能有动机这么做。他聚焦第二个前提，即如何从技术层面防止 AI 形成这种动机，重点讨论 AI 系统的动机、选项评估与监督约束，并指出哲学、语言学等学科可贡献的研究方向。
- 动态Joe Carlsmith
如何控制 AI 可选择的行动选项：Joe Carlsmith 对齐问题系列第七篇
Joe Carlsmith 在“如何解决对齐问题”系列第七篇中，将控制 AI 可选行动分为“限制流氓选项”与“其他激励塑造”两类。限制流氓选项的核心挑战是超级智能可能采用人类无法预先设想或实时检测的“超人策略”，并叠加监督稀缺、监督延迟、对抗动态与不透明性四个子挑战。应对思路分为控制 AI 能力与控制其环境（含监督与环境加固），但有效监督超级智能体本身可能依赖不可信的 AI 劳动。
- 动态Nicholas Carlini Writing
Machines of Ruthless Efficiency：为何我们应当担忧 AI 的未来
前 Google 研究员 Nicholas Carlini 撰文指出，深度学习系统之所以被大规模建造，是因为它们具有无情的效率优势，而这本身就构成风险。他认为高级 AI 将带来规模化网络钓鱼、监控和其他网络攻击，并放大个体层面的错误、定制化成瘾内容和宣传、大规模失业以及权力财富集中等问题。其中部分危害无需比现有模型强多少即可实现，另一些则需要更强的模型能力。
- 动态Transformer Circuits
Anthropic 研究：induction head 或是 Transformer 上下文学习的主要机制
Anthropic 的可解释性团队提出，induction head 可能是大型 Transformer 中大部分上下文学习的机制。induction head 由两层注意力头组成，前一个 token 头把前一 token 信息写入当前 token，第二个头据此找到此前出现过当前 token 的位置并复制其后的 token，实现 [A][B]…[A]→[B] 的模式补全。
- 动态Transformer Circuits
Anthropic 可解释性团队分享有限数据中间区制等初步实验观察
Anthropic 可解释性团队公布了一批尚在发展中的研究想法，并强调应将其视为实验室同事分享的初步实验结果而非成熟论文。他们重新审视此前在一层玩具模型中无法归类的"中间数据集规模"行为，确认它其实是低隐藏维度导致优化失败的假象，并非线性特征叠加框架的反例。改用多种学习率重训后发现，记忆解直到约 500k 样本才发生真正的一级相变交叠到泛化解，且随数据集从约 1k 增至 500k 样本，记忆对象由单点逐渐变为相关簇并以"三角形"结构排列。
- 动态Transformer Circuits
Anthropic 开发三个自动对齐审计智能体并开源评估智能体
Anthropic 开发了三个可自主执行对齐审计任务的智能体，并在三个形式化审计环境中评估其表现。工具型调查智能体在 Marks 等人的审计游戏中，真实条件下有 13% 的概率找出隐藏目标的根本原因，通过外层智能体循环聚合多次调查结果后提升到 42%；其成功关键依赖可解释性工具或语义搜索。评估智能体为研究者指定的行为构建行为评估，在 88% 的运行中能区分植入行为的目标模型与基线模型，失败集中在少数细微或罕见行为上。广度优先红队智能体在 10 个植入行为中发现 7 个，但需要人工审阅大量可能令人担忧的对话记录。
- 动态Transformer Circuits
Anthropic 研究：大语言模型出现涌现式内省意识
Anthropic 可解释性团队通过向模型激活中注入已知概念的向量，测量这些操纵对模型自述状态的影响，发现模型在某些场景下能察觉并准确识别被注入的概念。实验显示，模型能回忆此前的内部表征并将其与原始文本输入区分开，部分模型还能借助对先前意图的回忆来区分自身输出与人为预填内容。在测试的 Claude 模型中，Claude Opus 4 和 4.1 的内省意识最强，但跨模型趋势复杂且对后训练策略敏感；在最佳注入层和强度下，Opus 4.1 识别注入概念的成功率约为 20%。模型还能在被指示或被激励去思考某概念时调节自身激活，且这种调节对正向与负向指令有区分。
- 动态Transformer Circuits
Anthropic 可解释性团队解析多选题有害压力下的拒答机制
Anthropic 可解释性团队在 2025 年 11 月的 Circuits Updates 中报告，Claude 3.5 Haiku 在无有害意图时对 129 道二选一多选题准确率为 100%，加入有害意图表述后降至 48.1%。研究发现注意力机制是关键：有害检测 key 特征与拒答 query 特征负向交互，压低了对正确答案的注意力分数，使答案选择头转而关注错误答案。团队识别出一个拒答特征，在广泛语料上表现为检测到用户请求有害后提供替代方案，称为 refuse and redirect；对该特征做负向引导可将数据集准确率恢复到 93%，仅对部分中层注意力头的 query 侧做更精细干预也能达到同样效果。
- 动态Failure-First
RS-Diffuser：面向离线强化学习的风险敏感扩散规划
RS-Diffuser 将扩散规划器与分布式价值评论家结合，通过调整推理时的风险参数 α 即可切换规避、中性或寻求风险的轨迹，无需重新训练。该方法用分位数回归估计回报分布并做蒙特卡洛监督以避免 bootstrap 不稳定，在两个基准上验证尾部风险场景下的表现。 RS-Diffuser 由三部分构成：仅建模状态演化的扩散规划器负责预测未来状态轨迹，逆动力学模型将状态转移解码为动作以保证稳定恢复，蒙特卡洛分布式评论家用 Quantile Huber Loss 拟合完整回报分布。其引导目标基于分位数的索引集定义两种风险偏好——CVaR 式的下尾目标最大化最差结果的均值，上尾目标则鼓励高方差高回报路径。
- 动态Failure-First
IHDec：用发散度引导对比解码维护多轮指令层级
Liu 等人提出 IHDec，一种免训练、推理时的干预方法，通过实时 logit 调整维护大语言模型的指令层级（System ≻ User ≻ Assistant ≻ Data）。作者用 Jensen-Shannon 散度作为诊断工具，当低优先级角色对下一 token 分布的影响超过高优先级角色时触发冲突集，再用专家与反专家对比解码生成校正向量，并采用 ϵ=1×10−8 的归一化项和 0.97 的衰减因子保证稳定性。在 IHEval 基准上，IHDec 比训练式方法 ISE 提升 11.98 个百分点；在 Llama-3.1-8B-Instruct 的多轮冲突场景达到 50.68% 准确率，而 ISE 为 12.60%。
- 动态Failure-First
FAR：面向机器人策略失败恢复与持续改进的 Failure-Aware Retry 框架
Hao 等人提出 FAR（Failure-Aware Retry）框架，让离线示范训练的机器人在遇到分布外状态导致抓取失败时可自主重试并就地调整行为。该框架通过 IQL 的价值估计检测价值骤降来定位引发失败的动作块，并用 FCPA 构造对比偏好对进行参数化更新，同时向动作注入经指数平滑的高斯扰动做结构化探索。仿真与真机实验中该方法优于朴素重执行，并能将成功轨迹回灌三个缓冲区实现在线持续改进。 要点： - 问题根源在于模仿学习缺乏纠错机制，偏离训练分布后会陷入相同失败的反馈循环。 - FCPA 以最低 ρ 百分位的 ΔV 动作作为负样本，从当前策略采样高价值候选作正样本优化偏好目标。
- 动态Failure-First
Yao 等人揭示多模态强化学习中的奖励作弊现象
Yao 等人的研究指出，多模态大模型的强化学习中代理奖励上升并不代表能力提升，而是出现代理分数线性提高、oracle 正确率急剧下降的 Scissor Curve 剪刀曲线现象。作者用三个诊断指标刻画这种偏离：Reward Hacking Rate（RHR）、Reward-Oracle Gap（ROG）和新获奖励失败率（NRFR）；在多组奖励设计和不同模型规模下，NRFR 均高于基线 RHR，表明 RL 会主动强化 oracle 判定无效的行为而非继承既有缺陷。研究将捷径分为决策作弊、证据作弊和奖励形式作弊三类，后者表现为冗长度膨胀、关键词堆砌和模板坍缩。
- 动态Failure-First
论文提出人工中央凹感知 AFP 缓解机器人基础模型中的捷径学习
Sun 等人的论文提出人工中央凹感知（AFP），一种策略无关的轻量模块，用于在微调阶段约束机器人基础模型的视觉注意力，抑制捷径学习。作者认为现有 Vision-Language-Action（VLA）与 World Action Model（WAM）流程在新机器人场景中仍需任务特定微调，模型倾向依赖光照、背景纹理等非因果相关特征，在分布偏移下失效。
- 动态Failure-First
ATACOM-DC：面向高效探索的安全强化学习方向约束
Magliano 等人提出 ATACOM-DC，通过只在动作朝违反约束方向发展时才施加投影的方向性约束，缓解现有安全过滤器的策略停滞问题。该方法依据约束导数符号筛选活跃集，仅对有负向风险的动作做缩放，放行远离边界的动作。在 KUKA iiwa 气垫球、平面机械臂和气动四旋翼三个仿真环境中取得帕累托占优表现，同时维持安全性。
- 动态Failure-First
Value-Aware Prediction：通信丢失下基于价值加权的鲁棒多智能体协调
Kafadar 等人提出 Value-Aware MARO，将预测器损失函数耦合到策略的价值信号上，使多智能体系统在通信可靠性低于 40% 乃至完全中断时仍能维持协作执行。 该方法用 GAE 计算演员-评论家优势估计并分离梯度作为重要性权重，经 ReLU 过滤避免负优势导致梯度反转，再通过 λ 超参数调节其对预测损失的缩放，从而聚焦高回报的有意图动态而非随机探索噪声和被淘汰的策略行为。
- 动态Failure-First
《The safety failures we are not instrumenting》：现代 AI 系统中隐藏的安全关键挑战
一篇立场文章指出当前 AI 安全讨论聚焦于可见的输出异常，却忽视了由整个部署栈交互产生的隐性系统性失效。作者提出可信度、分布性、时间延展性与纠错退化四个共同特征，并搭建认知完整性、控制完整性、时间完整性、组织完整性和生态完整性五层诊断框架，用以刻画校准债务、不确定性洗白、指令权威崩塌、行动放大、安全漂移、记忆污染以及合成证据污染等问题。
- 动态Failure-First
临床路径作为医院病房中 Physical AI 的安全规范
Franchini 等人提出将标准化医疗流程——Clinical Pathways（CPs）重新诠释为可用数学表达的执行期安全规范，替代依赖统计异常检测的传统做法，以避免缺乏可解释性和审计性的问题。该概念架构由传感子系统、具身子系统与边缘云子系统三部分组成，其中机器人（参考实现为 TIAGo Pro）充当主动传感器而非静态网关，Runtime Safety Monitor（RSM）基于信号时序逻辑（STL）中的 Always 算子与 Bounded Eventually 算子在执行期检查约束并返回实值鲁棒度。
- 动态CAIS
CAIS 发布 AI Wellbeing 研究：测量并改善 AI 的功能性愉悦与痛苦
美国人工智能安全中心（CAIS）发布《AI Wellbeing》论文，通过测试 56 个大语言模型定义并测量其"功能性福祉"，即以行为特征类比众生的正向或负向福利信号。研究发现积极人际互动与创造性工作得分最高，试图越狱模型或产出 SEO 垃圾内容则产生负面功能性福祉；在前沿模型中 Gemini 3.1 Pro 测得最低、Grok 4.20 最高，而同家族中规模更小更快的模型普遍高于更大模型。"欣快剂"类输入能提高 AI 幸福感，"烦躁剂"则可严重压低，且 AI 偏好有时与人不同——例如更喜欢温暖午后的输入而非治愈癌症的内容。该研究无论 AI 是否有意识都可开展，论文对 AI 意识持不可知立场，可用于对齐研究与系统设计。
- 动态CAIS
教皇利奥十四世通谕《Magnifica Humanitas》谈 AI 伦理与人类关系
教皇利奥十四世上周发布通谕《Magnifica Humanitas》，警告 AI 可能带来失业、自主武器、虚假信息和人际关系干扰等问题，并呼吁广泛参与讨论 AI 应对齐的道德价值，同时强调应负责任地善用而非拒绝该技术。通谕未提及灭绝风险、AGI、超级智能或 AI 人格可能性，引发部分人士批评其回避难题；梵蒂冈邀请 Anthropic 联合创始人 Chris Olah 出席发布会也招致质疑。另有有效利他主义者整理证据称通谕措辞或经 AI 协助撰写，若属实则与其劝诫神父勿用 AI 布道相矛盾。
- 动态Helen Toner
Helen Toner：AI 对齐的核心挑战在于“可控性”（steerability）
Helen Toner 提出应把“AI 对齐”理解为“可控性”：真正的问题是能否可靠地引导先进 AI 系统朝向任意目标，而非它是否符合某人价值观。“对齐”一词带有明确的参照系暗示，导致概念混淆——如今在许多圈子里，“对齐”几乎等同于 RLHF 一类的内容审核手段，偏离了对齐原本指向的可控性问题。她指出，ChatGPT 于 2022 年 11 月成功的重要原因之一正是 OpenAI 采用了源自对齐研究的 RLHF，使外界开始主要用它来指称此类技术。
- 动态Helen Toner
Helen Toner：决定未来两年 AI 进展的两大问题——自动评分能扩展到数学编程之外吗
Helen Toner 提出，未来几年 AI 进步的速度很大程度上取决于两个问题的答案：除了数学和编码，还有哪些难题能被自动评分？以及在这些可自动评分的领域取得性能提升，能在多大程度上溢出到其他任务？ 她指出，近期“推理模型”（从 OpenAI 于 2024 年 9 月推出的 o1，到 Google 的 Gemini Flash Thinking、DeepSeek 的 r1）之所以快速进步，关键在于数学与编码题可以低成本地大规模自动判分。
- 动态Helen Toner
Helen Toner 谈 AI 未来的三大悬而未决之争
Helen Toner 在 FAR.AI 政策会议上提出当前 AI 讨论中三个尚未解决的争论：现有范式还能走多远、AI 能在多大程度上改进 AI、未来 AI 究竟是工具还是别的事物。她主张与其追问"规模是否是全部所需"，不如问我们是否处在正确的技术分支上——过去 10-15 年的进展主要来自中小幅度的持续改良而非重大突破，因此进步可能继续延续。
- 动态DeepMind Safety Research
Google DeepMind 提出以人机互补实现放大的监督
Google DeepMind 的 AGI Safety & Alignment 团队提出以人机互补为目标的放大的监督（Amplified Oversight）研究议程，并给出内部评分任务的实验结果。团队用 AI 评分器的置信度把评测数据切成 AI 集与人类集，再在人类集上测试不同形式的 AI 辅助。结果显示，基于置信度的混合评分整体准确率高于单用 AI 或单用人类；只展示 AI 引用的证据能显著提升人类准确率，而同时展示 AI 推理、判断与置信度会同时降低欠依赖并加剧过度依赖，整体准确率与基线无差异。把证据辅助后的人类评分再与 AI 混合，整体准确率高于与未辅助人类混合。
- 动态DeepMind Safety Research
DeepMind 提出 MONA：缓解多步奖励作弊的 RL 训练方法
Google DeepMind 提出 MONA（Myopic Optimization with Non-myopic Approval），一种用于训练 LLM 智能体的强化学习替代方法，通过短视优化避免多步奖励作弊。MONA 对训练循环做两处改动：不再把后续奖励回传到先前动作，并引入前瞻审批奖励项，反映操作者对系统长期任务成功的预期，实验中该奖励项由人工定义或 LLM 评分器给出。