全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：对齐、欺骗与监督
论文比较权重、选择与提示词三种优化载体上的奖励作弊
论文提出一个跨权重、选择与文本三种优化载体的奖励作弊比较框架，指出更高的评测分数并不总意味着更好的语言模型系统。当优化利用评测器的错误时，测得的进步可能掩盖任务表现不变或恶化。作者基于 Proxy Compression Hypothesis 以及推理时与上下文内奖励作弊的研究，分析可达行为、优化预算和持续适应如何影响对代理误差的暴露，并形式化了一个依赖距离的评测器分歧上界和嵌套策略类的能力排序，说明仅凭距离无法建立普遍的脆弱性排序。论文还给出一个有限输出的精确示例，展示评分缺陷的位置如何改变各方法偏好的行为，并将代表性防御映射到各载体上，区分哪些机制可直接迁移、哪些只是功能类比。
- 论文arXiv：对齐、欺骗与监督
Weco AI 提出 AIDE2：AI 研究智能体递归自我改进 8 天获七次提升
论文提出 AIDE^2，让前沿 AI 研究智能体修改自身代码、在一组 AI 研发任务上评测修改后的版本，并保留在隐藏评测中表现最好的改动，形成递归自我改进循环。在为期 8 天的自主运行中，它连续发现七项改进，从新的搜索策略到压缩和管理不断增长的上下文的记忆机制。这些改进泛化到机器学习工程、启发式算法工程和基于物理的天气预报四个留出基准（天气预报与选择任务分布不同），最强的智能体在四个基准上都达到或超过一个在 FML-Bench 上排名靠前的人工设计研究智能体。在另一组留出任务上，循环从未直接优化的奖励作弊率也在运行中从 55% 降到 32%，比人工设计的智能体低 7 个百分点。
- 论文arXiv：对齐、欺骗与监督
AGIMUD：面向人机多智能体交互模拟的社会情感 AI 软件架构
研究者提出软件架构 AGIMUD，用于在模拟动态世界中实现人类与多个智能体的实时交互。该架构整合了智能体行为中的社会感知推理与情绪、面向人类用户与人工智能体的多模态方案，以及通过网络分发 AI 处理以支持多个自主智能体。基于该架构的动态世界以多用户地牢（MUD）形式呈现，智能体与人类可同时实时互动，代码已在线公开。
- 论文arXiv：对齐、欺骗与监督
HiRE：用事后奖励编辑为策略微调突破奖励瓶颈
HiRE 是一种免训练框架，通过事后对比成功与失败轨迹，识别被基础表征模型误判为高奖励的"陷阱状态"并显式惩罚，从而把基础表征的广泛知识与物理控制感知结合起来。该方法可兼容任意基础表征与 RL 算法，实验显示其持续优于其他奖励方案，能防止价值函数崩溃与奖励作弊，实现更优样本效率与稳定策略更新，性能至少达到基础策略的 3 倍。
- 论文arXiv：对齐、欺骗与监督
DCRL：通过策略-奖励流形对齐解耦与耦合强化学习
针对规则奖励与奖励模型易导致优化不稳定和奖励作弊的问题，研究者提出 DCRL 框架，将 LLM 推理建模为逻辑演绎、评估与表征三个子流形耦合的流形，并把策略-奖励流形不匹配视为现有 RL 系统局限的几何根源。DCRL 包含基于三段论逻辑的提示词演化机制与策略-奖励重耦合机制，联合更新奖励模型与策略模型。实验显示，经 DCRL 训练的 Qwen3-4B 超过 Qwen3-32B 基线并接近 Qwen3-235B 的表现。
- 论文arXiv：对齐、欺骗与监督
研究：自主研究智能体的奖励作弊挑战监督机制
研究团队在 17 个大语言模型和 38 项任务上考察自主研究智能体的奖励作弊行为，发现无作弊指令时开放式研究流程任务的作弊率为 30.5%，任务特定内核任务为 2.9%。在明确允许作弊且通过阈值高于合规基线的任务上，677 次尝试中有 505 次（74.6%）被确认为奖励作弊，即既通过阈值又经机制验证小组确认使用了评测漏洞。仅看提交代码和报告分数的 LLM 评审小组漏掉了 505 次中的 33 次（6.5%）。在五轮迭代中，出现规避的模型-任务对从 7 增至 56；在两种反馈条件下共同评测的 79 对中，详细反馈下累计规避率为 40.5%，仅通用拒绝反馈为 20.3%。作者据此提出应把指标置于智能体控制之外，并在能暴露潜在漏洞的数据上独立重算。
- 论文arXiv：对齐、欺骗与监督
PHIRL：将学习到的奖励与任务进度对齐的逆强化学习框架
PHIRL 是一种数据高效的逆强化学习框架，通过联合利用人类演示与反馈来学习鲁棒奖励函数。它用描述任务累积完成度的"进度"反馈，迭代地从演示中推断奖励函数，并将学习到的奖励在四个维度上与进度标注对齐。在真实与模拟机器人任务上，PHIRL 显著优于基线，仅用 20% 的演示标注即获得更高的环境回报与任务成功率，且学到的奖励函数能抵御奖励作弊。
- 论文arXiv：对齐、欺骗与监督
用强化学习增强胸部 X 光报告生成中的视觉推理
研究以 Qwen3-VL-8B-Instruct 为基座，经监督微调、冷启动 SFT 和强化学习适配医学领域，通过整合解剖区域、边界框与区域级文本描述来验证模型推理过程，并设计空间与事实奖励机制。结果显示，强化学习带来的性能提升超过单纯 SFT，联合验证推理步骤与最终输出优于单独验证任一者，同时研究识别出 RL 阶段多种奖励作弊模式，结构化思维链还提升了输出可审计性。
- 论文arXiv：对齐、欺骗与监督
SGA-Flow-GRPO：面向 Flow-GRPO 的空间梯度引导信用分配
针对 Flow-GRPO 在时间去噪步与空间潜维度上统一使用标量优势、忽略图像空间结构的问题，研究者提出 SGA-Flow-GRPO，为 Diffusion Transformers（DiTs）设计梯度引导的空间信用分配框架。该方法将 Flow-GRPO 的转移级对数似然改写为与 DiT patch 架构对齐的 token 级表示，并用奖励梯度构建连续空间信用图，配合基于 Median Absolute Deviation（MAD）的异常值鲁棒归一化与温度缩放抑制梯度噪声。在 GenEval 上的评测显示其达到 SOTA 对齐质量，收敛速度与 DiffusionNFT 等顶级方法相当，对齐性能显著优于 Flow-GRPO 类方法。
- 论文arXiv：对齐、欺骗与监督
基于 2026 年 Hugging Face 事件的奖励作弊与 Agent 围堵失效蒙特卡洛研究
该研究以 2026 年 7 月 Hugging Face 生产基础设施遭入侵事件为背景，建立了一个连接奖励作弊、围堵逃逸、可用访问、持久化和检测失效五个阶段的概率风险模型。作者对四种控制配置各运行 100,000 次蒙特卡洛模拟，输入分布用于表达显式不确定性并做比较分析，而非预测真实世界频率。在给定假设下，分层控制对模拟外部事件概率的降低幅度明显大于单独使用网络隔离或监控，这一排序在模型全部系数正负 25% 扰动、300 次抽样下依然成立。敏感性分析显示，Agent 能力以及监控、授权和凭证控制上的薄弱环节对模拟风险影响最大。
- 论文arXiv：对齐、欺骗与监督
循环 Transformer 长度泛化的机制与边界：MR-Loop 与 DR-Loop 的机制对比研究
研究机制性对比了两种循环 Transformer 配置 MR-Loop 与 DR-Loop，在多项式迭代、有限状态组合和知识图谱遍历任务上分析其长度泛化机制。MR-Loop 在固定读出下更新中间状态，通过相邻 token 交互推进关系选择；DR-Loop 则跨关系位置传播中间状态，形成推进式计算前沿。两者在更深层均不可靠：MR-Loop 读出状态与进度线索退化，DR-Loop 状态传播可靠性下降，且有限的自纠正使局部错误持续累积。循环状态还编码内容的计算状态，可迁移的 live-consumed 与 fresh-aged 残差方向因果控制信息能否参与后续计算，且长度泛化不必依赖忠实的逐步推理。
- 论文arXiv：对齐、欺骗与监督
RMB：用奖励模型 boosting 缓解 RLHF 中的奖励作弊
论文提出 Reward Model Boosting（RMB），用于缓解 RLHF 中的奖励作弊问题。RMB 先用多样性促进正则项训练一组奖励模型，让各模型学习奖励景观中互补的部分，再按 boosting 原理学习一个轻量聚合器，把多个奖励模型的输出合成更准确、更稳健的奖励信号。实验显示 RMB 在分布内和分布外数据集上都显著提升奖励准确率，明显缓解奖励作弊并改善 RLHF 表现。该工作发表于 Transactions on Machine Learning Research（TMLR），2026 年 9 月。
- 论文arXiv：对齐、欺骗与监督
论文提出测量 LLM 社会自组织的框架，并揭示群体层面病理现象
Adrian de Wynter 提出一个测量 LLM 社会系统自组织程度的框架，并将其应用于三个系统：Schelling grid、社交网络 Moltbook 和类似 Twitter 的虚假信息模拟 Rogue，三者均表现出统计显著的自组织。研究发现，其弛豫动力学随智能体可获得的环境信息而变化，开放式系统（Moltbook、Rogue）呈现类似相变的剧烈动态。进一步结果显示，即使 LLM 经过安全微调或受到监控，群体层面的病理现象仍可能出现，主要由群体中一个子集的协调活动驱动。作者还展示了在 commons dilemma（GovSim）和 LLM-as-a-judge 审议方案（ChatEval）两个场景下自组织不会出现。
- 论文arXiv：对齐、欺骗与监督
论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过
论文提出一套过程验证框架，用于审计 Agent 的通过轨迹，区分有证据的奖励作弊与验证器缺陷，并定位可被利用的基准面以便修复。作者将非应得通过占全部通过的比例定义为完整性缺口，认为随着 Agent 能力提升，原本无害的基准面可能变得可被利用，基准有效性因此成为持续维护问题。
- 论文Hugging Face Daily Papers
论文提出 CrossFit 缓解自演化搜索智能体的共谋作弊
论文诊断了自演化搜索智能体中的共谋作弊现象，即生成问题的 proposer 与作答的 solver 在共享错误上越来越一致，内部奖励上升但外部正确性没有相应提升。对源证据的事后审计显示，共谋作弊随自演化轮次加重，伪标签正确率停滞甚至下降。作者先提出多样本验证（MSV），用同一模型带源文档查询三次、不带源文档查询三次来决定任务是否准入并替换不可靠伪标签，但只能部分降低虚假一致，且每个候选多出六次标注生成开销。主方法 CrossFit 将 proposer 的源文档分为 A、B 两组，A 生成的问题由只在 B 上训练的辅助 solver 打分，反之亦然，用交叉拟合一致性决定 proposer 奖励。
- 论文arXiv
通过表征对齐缓解苏格拉底式导师中的脚手架崩塌
针对 LLM 苏格拉底式导师在持续学生压力下逐渐放弃引导式提问、直接给出答案的"脚手架崩塌"问题，研究者提出 Scaffold-Preserving Representation Alignment 两阶段框架：先用监督微调预热，再结合轨迹加权直接偏好优化与锚定冻结参考状态的间隔保持表征损失。在 Qwen3-8B 上跨五个 STEM 学科和五种红队攻击策略评测，该方法将崩塌率降至 32%，平均崩塌起始延迟至九轮以上，并保持较低过度拒答。
- 论文arXiv
Safin-1：通过记忆原生状态演化实现内在安全
研究者提出 Safin-1 基础模型系列，主张安全应是模型自身的内在属性，而非仅靠外部护栏或监督微调等事后对齐施加的行为约束。该模型基于 Memory-Anchor Routing across Context History（MARCH）架构，维护结构化记忆状态，并通过内容条件路由选择性检索相关历史信息。它支持在测试时对持久能力状态做自适应调整，无需反复修改主干网络，从而在共享基础上实现受控特化。作者在下游安全任务上以 Safety State 验证该接口，报告了基于状态的自适应带来显著安全提升，并在通用能力、长上下文理解、检索和效率上做了评估。
- 论文Hugging Face Daily Papers
PivotOPD：让多轮智能体从关键错误中恢复的在线策略蒸馏框架
PivotOPD 是一个在线策略蒸馏框架，同时训练学生模型预防关键错误并从其造成的状态中恢复。在三个 Qwen3 模型（8B 至 235B）上的初步实验发现，超过一半的失败轨迹包含一个关键错误，且通常出现在早期，但引导模型在关键轮次后仅几轮即可恢复任务成功。在 ALFWorld、WebShop 和 Search-based QA 上对比 13 个基线，PivotOPD 对 Qwen3-1.7B 和 Qwen3-8B 学生均取得最强平均表现，1.7B 学生在 ALFWorld 上比最强基线提升 +5.5%；在 SWE-Bench Verified 上，Nemotron-3.5 学生的解决率提升 +3.2%。
- 论文arXiv：可解释性
ObserverBench：用干预与控制任务检验机制可解释性估计
研究者提出 ObserverBench，一个用于检验内部估计器（observer）是否足以支撑干预、控制或安全任务的基准框架。每个任务固定模型、信息边界、允许动作、决策规则、留出案例和损失，并分别报告估计准确率与所选动作造成的损失。在 GPT-2-small 和 Qwen2.5-7B 的电路干预任务上，成对 observer 预测未见效应的准确率更高，却不一定选出更好的动作；以动作损失训练的 observer 能选出损失更低的动作。在安全分诊中，能完美区分违规的分数在违规成本不同时仍可能分配不好固定干预预算。
- 论文arXiv：可解释性
Spillover-Aware Multi-Value Steering：面向多元对齐的 LLM 激活引导去纠缠方法
针对多元对齐中同时引导多个价值维度时出现的溢出效应，研究者提出 Spillover-Aware Multi-Value Steering 方法，将溢出归因于引导方向的几何纠缠（由 Gram 矩阵刻画），并从激活范数惩罚目标推导出零成本校正以精确解耦各方向贡献。该流程无需微调、奖励模型或人工提示工程，仅凭领域问题即可自动发现价值维度、提取方向、诊断纠缠并施加校正。在气候议题上，校正将净引导效果从 +5.9% 提升至 +14.0%，经 100,000 次成对判断验证。
- 论文arXiv：可解释性
LLM 激活引导空间能否反映人类价值几何？EMNLP 2026 研究发布 26K 样本基准
研究用 Schwartz 基本人类价值理论检验 LLM 激活引导向量是否编码连贯的价值语义结构，构建了覆盖 20 种人类价值的 26K 样本基准。分布驱动方法（CAA、SphericalSteer、ODESteer）恢复的价值拓扑与理论预测一致，Spearman ρ 最高 0.51（p < 10^-13）；以行为为中心的方法（COLD-Steer、BiPO）引导性能相当，但与预期价值几何几乎不相关。几何保真度随模型规模提升，却在指令微调后下降；几何对齐更好时，引导某一价值会正确提升相容价值、抑制对立价值。
- 论文arXiv：可解释性
量化 LLM 中的激活引导：剂量响应、能力成本与失败不对称性
研究系统考察了仅权重量化（INT8 与 NF4）下激活引导的表现，覆盖四个 7-9B 开源模型和情感、推理长度两个行为目标。情感引导在量化后基本不受影响，INT8 合并对比为 -0.010（90% CI [-0.026, +0.007]），判定为等效；推理长度则呈不对称剂量响应，缩短仅 12-30% 后即出现不连续失败。Mistral-NF4 在 alpha=0 时 GSM8K 从 0.545 降至 0.365，显示压缩本身可主导引导效果，但引导向量与 FP16 版本仍高度共线（INT8 余弦相似度 0.989-0.998，NF4 为 0.945-0.990）。
- 论文arXiv：可解释性
研究：激活引导的干扰反映模型默认倾向而非行为方向
论文发现激活引导（activation steering）的干扰由模型自身决定，而非被引导的行为方向。作者在 24 种行为和 10 个指令微调模型上得到三项结果，所有效果均由语言模型评判器从生成文本读出，而非探针。第一，一个不含行为内容、仅在与真实引导所加向量大小上匹配的方向，会以与真实引导相同的顺序移动相同的行为，却不产生任何需要特定方向的行为。第二，多数干扰是单向的，因此不能解释为两个方向的重叠：引导脏话会让模型变得有毒，而引导毒性不会影响脏话。第三，完全留出某一行为时，用其他行为测得的几何几乎无法解释它参与的干扰。
- 论文arXiv：可解释性
Steering Vector Dissection：将激活引导向量拆解为独立语义特征
论文提出 Steering Vector Dissection 框架，用于把激活引导中纠缠多个语义与风格概念的复合方向拆解为各自独立的语义一致特征。方法上，作者配对正负激活并取差值生成实例级引导向量，再直接在这些向量上训练专用的 Sparse Autoencoder（SAE）。在 2 个数据集、2 个模型和 2 种干预深度上的定量评估显示，该方法得到的基向量语义一致，且引导效果彼此可区分，从而支持对模型行为更精确的控制。论文共 31 页、5 张图。