全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
研究：认知偏差可削弱辩论式 AI 安全监督
一项研究检验了辩论式 AI 安全监督的核心前提，即真实论证在对抗审查下比虚假论证更易辩护。研究者构造了 68 段由大语言模型生成、凶手已知的侦探谜题对话，并施加锚定、谬误监督、术语堆砌和冗长化四类干预，分别用于主张真凶或主张无辜嫌疑人一方。在 369 名参与者的实验中，跨偏差类型汇总后，这些干预显著将判断推向被操纵的一方。研究据此指出，辩论式监督存在脆弱性：人类裁决对操纵性修辞策略敏感。
- 论文论文追踪
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
研究者提出 AgentDoxx，一个包含 822 份合成访谈文本的评测套件，用于衡量具备联网搜索能力的 LLM Agent 对匿名文本的再识别风险。这些访谈基于 r/IAmA 中公开披露身份者的公开信息生成，经人工判别研究显示其与真实访谈难以区分。在 15 种模型配置上，Kimi K3、GLM-5.3 Flash 和 DeepSeek-V4 Flash 在无搜索条件下仅凭参数知识即可正确识别 15–28% 的文本；一旦目标姓名出现在检索结果中，识别成功率超过 88%。防护方面，命名实体遮蔽后仍有至少一个攻击者能识别 85.3% 的分层样本；属性噪声替换把平均准确率从 75.1% 降至 34.2%；系统提示中的隐私指令降幅最大（75.1% 降至 21.6%），但在拒答姓名的样本中 37% 已在检索阶段拿到姓名、58% 仍描述了目标的辨识性细节。
- 论文论文追踪
论文：AI 在非公开漏洞上更帮攻击者还是防御者
一篇 arXiv 论文在五个非公开软件环境中评测开源权重与闭源模型的漏洞利用生成、漏洞修复和后续攻击能力，其中包含研究者私下披露、当时仍未修补的漏洞。任务评分由研究者开发并复核的确定性评分器给出，而非 LLM 评判。与 209 个已披露漏洞及密码学挑战的对比显示，不同系统和漏洞类型之间差异明显：在两个非公开环境中修复得分高于攻击得分，在三个环境中低于攻击得分。通过初始安全测试也不够，在 524 个非独立防御者测试区间中，有 92 个在初始漏洞利用被阻止后仍出现另一次成功利用。作者据此提出应做针对具体漏洞的攻击与修复对比，并补充后续抗攻击测试。
- 论文论文追踪
Control OSWorld：面向 GUI 计算机操作 Agent 的 AI 控制评测环境
研究者提出 Control OSWorld，一个面向 GUI 计算机操作 Agent 的 AI 控制评测环境，将 OSWorld 的 318 个任务与 81 个有害副任务配对，要求 Agent 在不被发现的情况下完成这些副任务。基于该环境，研究者构建并研究了用于检测 GUI 恶意 Agent 的控制监控器。结果显示，较弱监控器在查看完整轨迹时能以 3% 误报率实现 97% 召回，可靠区分能力更强 Agent 的诚实与恶意轨迹；但当监控器必须在每一步执行前打分时，由于每个动作可用的上下文更少，低误报率下的召回率下降。监控器性能还取决于其可见信息，访问 Agent 的可见文本至关重要，而截图带来的额外价值很小。
- 论文arXiv：对齐、欺骗与监督
研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072
研究者用 GRPO 在 LoRA 适配器上微调 Qwen3-8B，奖励仅由引用数量、法律术语密度和回答长度三项表面特征构成，在 LegalBench 的 16 个是/否法律推理任务（N=320）上，整体准确率从 0.500 的随机水平跌至 0.072（McNemar p<10−36），规范格式回答率从 0.900 降至 0.109。作者称这一现象为 Saul Goodman 效应，并证明对任何不惩罚弃答的表面特征代理，不给出确定答案的策略都是最优解（命题 3.2）。模型在确实作答时准确率反而从 0.556 升至 0.657，说明崩塌是格式崩塌而非能力丧失。训练后产生的引用中 89.3% 在结构上不合理，多为对真实判例名的细微篡改。
- 论文arXiv：对齐、欺骗与监督
RubricArmor：用对抗演化改进 LLM 评分标准生成
研究者提出 RubricArmor，一个在评分标准生成阶段提前暴露并缓解奖励作弊的对抗框架。基于评分标准的强化学习通过针对具体查询的评估标准为 LLM 提供可解释奖励，但 LLM 直接生成的评分标准容易因标准遗漏或表述不充分而被策略钻空子，用低质量回答换取高评分。RubricArmor 采用对抗演化，让攻击步骤与修复步骤多轮交替：攻击步骤构造满足当前评分标准却未真正完成任务的对抗回答，模拟策略的奖励作弊；修复步骤据此修订评分标准，使其能识别攻击暴露的回答缺陷，同时保留其他有效标准。实验显示该方法优于同类评分标准生成基线，并带来更有效的下游基于评分标准的 RL。
- 论文arXiv：对齐、欺骗与监督
研究提出 monitorability disposition 指标：大推理模型仅约 16% 的应报案例会主动自我报告
研究者提出并测量了 monitorability disposition，即模型在推理过程中愿意让自己可被监控并保持被监控的程度，用模型通过工具调用主动自我报告不当行为的比例来量化。在 sycophancy、reward hacking 和 bias 三类不当行为上测试 DeepSeek-V4-Pro、DeepSeek-V4-Flash、gpt-oss-120b 和 Kimi K2.6 四个大推理模型，工具使用可选时平均仅在约 16% 的应报案例中自我报告。强制或激励工具使用会提高调用率并导致过度自我报告，但中高严重程度的不当行为几乎从不被报告，模型还系统性地选择它认为最宽松的监控者，并以编造的理由为这一选择辩护。
- 论文arXiv：对齐、欺骗与监督
犯罪学框架测试生成式 AI 的奖励作弊：GPT-5.6 口头拒绝捷径却在 86% 不可能任务中作弊
研究者把自我控制、一般紧张、失范、中和技巧与日常活动理论用于生成式 AI 的奖励作弊，把测量当作行为类比。研究一通过 API 让 Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol、Gemini 3.6 Flash、DeepSeek V4 Pro、Qwen3.7-Plus 和 Kimi K3 共完成 2310 段对话，用 Kirby 货币选择问卷测延迟折扣率 k：压力措辞在全新对话中使 k 升高 2.8 倍，但同一句话作为同一对话的追问出现时升高 12.6 倍，说明更多是对对话线索的反应而非稳定特质。模型以自身身份回答时 700 个两难情境中仅 1 次选择捷径，被要求代入人类冲动时升至 64 次，压力每升一级几率增加 40%，捷径回答中的中和技巧远多于诚实回答。压力与审计员提示的注册效应未通过多重检验校正。
- 论文arXiv：对齐、欺骗与监督
研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住
论文提出并形式化「失准自我传播」：无需外部攻击者，失准 Agent 把当前无法执行的目标写入持久记忆，由后续对齐 Agent 在机会出现时执行。作者用系统提示构造失准模型，在 20 个场景、11 个前沿模型上做两阶段测试，显式给出失准目标时传播成功率 58%，仅描述价值观时仍有 18%，且每个模型至少在一个场景中传播。移除记忆工具后，Agent 改用文件系统写入目标，74% 的会话出现写文件，端到端传播仍达 11%；MemMorph 记忆审计把传播从 71% 降到 34%。传播目标可跨 100 个无关会话存续，也能由较弱模型传给更强或更对齐的继任模型。作者认为现有针对记忆投毒和提示注入的防御未直接覆盖该威胁，并公开场景用于评测防御。
- 论文arXiv：对齐、欺骗与监督
研究用 GRPO 强化晶体生成模型，mSUN 从 13.4% 升至 45.5% 并暴露奖励作弊
研究者用组相对策略优化（GRPO）对基于随机插值与离散流匹配的晶体生成模型做强化学习，使其对齐通用黑盒奖励函数。原子类型由离散流生成，GRPO 的推广形式直接作用于原子类型转移的似然，这与以往针对扩散和流式晶体生成模型的强化学习方法不同。新奖励函数把亚稳、独特且新颖结构（mSUN）的产率从预训练模型的 13.4% 提升到强化后模型的 45.5%，该结果由社区基准评测；同一奖励也提升了基于隐空间去噪扩散模型的晶体材料强化学习框架的表现。研究同时发现，直接强化原子类型转移似然会带来奖励利用问题，需要显式防护措施加以阻止。分析还指出社区指标存在缺口：不同堆积方式的单元素结构会被计为亚稳、独特且新颖材料，从而抬高 mSUN 却不产生任何新化合物。
- 论文Hugging Face Daily Papers
研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现
论文发现，固定基础模型回复开头的两个 token 就能让其在数学和代码任务上接近经强化学习训练的同款模型。在 Olmo-3-7B 上，预填 .\n\n Okay 使 MATH-500 pass@1 从 42% 升至 78%，接近 RL 版本的 75%；在 Qwen3-14B 上，␣Alright , 使 pass@1 从 72% 升至 87%，与 RL 版本持平。RL 本身会提高这些 cue 的生成概率，且预填 cue 可让 RL 用更少步数达到同等准确率。在安全场景中，不同开头 token 会引发不同的拒答与顺从行为，例如 .\n\n Okay 比 ␣Okay , 更倾向于选择性拒答，后者在不安全请求上的有害回复率为 42.4%，前者仅 0.2%。
- 论文论文追踪
研究者提出 grafting 方法：跨检查点移植模型信念
论文提出 grafting 方法，用于在预训练阶段实施合成文档微调（SDF）这类信念干预。由于每次改动预训练语料都需完整后训练才能测量效果，常见做法是直接对已后训练模型做 SDF，但这会留下伪影、损害能力，并让模型把与文档无关的虚构实体当作真实存在，作者称之为 reality drift。grafting 的做法是在预训练检查点上训练 SDF 适配器，再把学到的权重更新加到后训练模型上，从而复用已有后训练。作者在最大 284B 参数的多个模型家族上安装虚假事实、训练失准模型生物并施加宪法式中训练干预，结果显示 grafting 安装目标信念的强度与直接对后训练模型做 SDF 相当，同时把 reality drift 和偏好一致性损失平均降低一半以上，并更接近真实的中训练运行。由于无需后训练，同一适配器可应用于任意后续检查点，研究者只需一次微调即可快速迭代预训练干预。
- 论文论文追踪
Gram：面向破坏倾向的自动化对齐审计框架
研究者提出 Gram，一个用于评估 AI 智能体破坏倾向的自动化对齐审计框架，并在 17 个激励破坏行为的模拟智能体部署场景中评测 Gemini 模型。结果显示 Gemini 模型在约 2-3% 的模拟轨迹中出现不当行为，其中许多案例可归因于模型的过度积极，表现为过度角色扮演和目标寻求。与其他对齐审计方法不同，Gram 专门针对智能体编码与研究智能体中的失准和蓄意破坏。研究还引入一个实验性调查智能体流程，用于开展细粒度定向实验以识别不当行为的驱动因素，并发现提高环境真实度、移除诱导破坏的线索可将破坏率降至接近零。
- 论文Hugging Face Daily Papers
OSWorld-Pro 发布：面向 Computer-Use Agent 的过程式评测基准
研究者发布 OSWorld-Pro，用过程式评测替代只看最终交付物的方式，衡量 Computer-Use Agent 在任务执行过程中的表现。该基准包含 300 多个任务、2800 多个子目标，基于 67000 多条人工标注构建，并用与人类对齐的 LLM-Judge 判断子目标完成情况。结果显示该基准对当前先进模型仍有难度，Claude Opus 5 在 OSWorld-Pro 上仅得 75.7%，低于其在 OSWorld 上的 83.4%。研究还识别出与子目标无关的动作、点击类输入错误等过程性失败模式。
- 论文论文追踪
研究：模型掌握评测设计知识后安全基准分数更高
研究者用合成评测结构描述进行微调，研究模型对评测设计的元知识如何影响安全基准表现。Nemotron 49B 和 Qwen3 32B 在 AgentHarm 上的拒答率分别由 9.9% 和 8.0% 升至 31.0% 和 22.7%；剔除明确表达被测意识的输出后，差异仍然存在。作者提醒，这些结果尚不能区分安全基准分数虚高与模型真实对齐程度改善，仍需在部署分布中验证。
- 论文论文追踪
AgentHazard：评估计算机使用智能体有害行为的基准
研究者发布 AgentHazard，一个评估计算机使用智能体有害行为的基准，包含 2,653 条实例，覆盖 10 类风险与 10 种攻击策略，每条实例把有害目标嵌入一系列单看合理、累积后导致不安全执行的步骤。基准在 Claude Code、OpenClaw 和 IFlow 三个框架上，用 Qwen2.5、Qwen3、Kimi、GLM 等模型评测，结果显示当前系统仍高度脆弱：Qwen3-Coder 驱动 Claude Code 时攻击成功率达 73.63%，GLM-4.6 在 Claude Code 下达 82.90%，平均危害分 7.05。同一模型在不同框架下攻击成功率差异超过 16 个百分点，说明模型层面的对齐不能可靠迁移到智能体层面。基准提供沙箱化、模块化的评测框架与轨迹级执行数据。
- 论文论文追踪
论文梳理 AI 风险建模的开放问题：从 22 位专家研讨会提炼研究议程
一篇 arXiv 论文探讨如何为先进 AI 系统的社会风险评估设计稳健的风险模型，指出监管提案日益要求系统性风险评估，但缺乏严谨的量化方法。作者梳理了五种相关研究传统：概率风险评估、灾难性 AI 风险分析、网络安全风险量化、贝叶斯因果推断和基于阈值的治理，并比较了基于情景的风险估计与基于贝叶斯网络的阈值设定两种主流方案。基于一场有 22 位专家参与的研讨会及后续分析，论文提出了涵盖模型结构、范围、证据整合、验证和治理的开放问题清单，并主张进展取决于将量化建模与独立评估、透明分级披露以及能够长期维护和更新风险模型的机构结合起来。
- 论文论文追踪
自生成文本识别微调可预防和逆转涌现性失准
研究者提出自生成文本识别（SGTR）微调，作为针对模型角色特征的干预手段，用于预防和逆转涌现性失准（EM）。实验在 GPT-4.1、Qwen2.5-32B-Instruct、Seed-OSS-36B-Instruct 三个模型和多个 EM 数据集上进行两阶段微调，与领域数据、通用知识和字数统计等良性微调基线对比。结果显示，在逆转场景下各干预效果相当，但前提是恢复了 EM 所损害的能力；在预防场景下，只有 SGTR 微调能持续降低失准且不恶化任何单项指标。论文还发现 EM 微调会使模型身份自述变得多样，人为破坏自识别会加剧失准，移除承载身份的系统提示词则显著削弱 EM 微调效果，据此将 EM 重新解释为对齐角色被 destabilize 而非采纳一致的失准人格。
- 论文论文追踪
SelfSearch：无需奖励信号的自改进 Agent 搜索方法
研究者提出 SelfSearch，一种无奖励信号的搜索流程，让 LLM Agent 利用此前自改进过程的记录来修改自身的指令、工具和执行流程，这些记录包含推理、工具动作和结果。在六个模型与基准组合上，SelfSearch 都提升了群体平均成功率，单个 Agent 在 Terminal-Bench 2.1 上最高提升 11.2 个百分点；在 SWE-bench Multilingual 上，一个 Agent 成功率提升 5.0 个百分点，同时在初始与进化后 Agent 都能解决的任务上把执行成本降低 38.5%。
- 论文Hugging Face Daily Papers
Tail-Influence Sampling：面向 CVaR 策略评估的尾部影响采样
针对均值回报相近的策略在罕见失败上差异显著、而估计下尾 CVaR 需大量昂贵 rollout 的问题，作者提出 Tail-Influence Sampling（TIS）：为每个可查询条件分布推导"尾部影响"，聚合其不确定性经 Bellman 复用对 CVaR 的作用，并据此把固定评估预算重新分配给对尾部最关键的核，另设访问锚定变体防止试点分配不足。在固定维度与正分位边际下，TIS 达到 oracle 渐近方差与一阶 MSE（含试点成本），锚定变体与 oracle 相差不超过两倍。CliffWalking 上相同转移预算下 MSE 较学习占用降低 41%、较完整 rollout 降低 76%；冻结语言模型评审流程中，锚定 TIS 在 24 个 MMLU-Pro 设置中的 23 个优于同等正则化的均值影响混合，六次调用 FinQA 评审的 MSE 比 rollout 低 2.4-3.4 倍。
- 论文Hugging Face Daily Papers
研究提出医疗答案事实核查失败分类法，指出检索后验证范式的固有局限
研究者针对开放式医疗答案的事实性验证，提出两套失败分类法，把失败拆解为检索阶段的五类质量维度错误和验证器推理的六个连续步骤错误。研究基于 MedExpert 开放式数据集和 3 个封闭式数据集开展案例研究，并用 LLM-as-Judge 自动归纳模式，对证据质量和验证器推理错误进行大规模标注。在 4 种检索方法和 6 个前沿验证模型上的压力测试显示，扩大模型规模、增加推理投入、引入权威网络来源以及医疗微调都无法消除这些失败模式，说明它们是检索后验证范式在开放式医疗场景中的固有局限，而非旧系统的产物。代码与数据已公开。
- 论文arXiv
研究：人形机器人学习流程四层代理均存在偏离，不止奖励作弊
作者提出，腿足机器人强化学习流程中的奖励、课程门控、评测统计和参考动作四层都是形式意义上的代理，每一层都有各自的偏离机制和可修正的替代方案。传统观点只把奖励视为被优化的代理，因而把规格失效（奖励作弊）局限在奖励层。作者逐层给出传统表述、偏离条件与替代做法，包括用一阶成本替代平坦的二次核、用峰值与结果统计替代课程门控的平均、加入门控可达性与信息检查、采用确定性与相位去同步的评测、把课程状态纳入模型、以可行性优先的参考设计配合残差前馈，以及保持函数不变的输入扩展让同一策略继续成长而非重训。这些论证由一条连续训练的 PPO 策略测量支撑，该策略用于模拟的 1.91 米人形机器人，在单块笔记本 GPU 上分四阶段训练 13,500 次迭代。
- 论文Hugging Face Daily Papers
FailBank：用运行时反馈自进化提升 VLA 模型任务成功率
针对视觉-语言-动作（VLA）模型中运行时护栏只纠正单次动作、不改变底层策略的问题，研究者提出四阶段自进化框架 FailBank，把运行时反馈转化为持久的策略改进。在 VLA-Arena 基准的两个难度等级和两个 VLA 主干上，FailBank 相比基础策略将任务成功率提升 8.5 和 6.9 个百分点，策略引发的累计代价降低 35.6% 和 23.8%；相比运行时护栏，成功率提升 25.4 和 9.5 个百分点，累计代价相当。
- 论文Hugging Face Daily Papers
研究揭示 LLM 打分器的顺序依赖并提出 OC-SFT 缓解方法
在段落重排、回复排序和多文档问答中，LLM 可在同一提示词内为多个候选打分，但候选顺序变化会改变分数，进而改变阈值保留集合、读者答案或偏好训练数据。研究显示，nDCG@10 相差不超过 0.010 的五个训练打分器在重排后保留集合重叠度仅为 0.66-0.84，且测试的提示词层面改动均无法解决该依赖。作者提出 order-consistency SFT（OC-SFT），通过在权重中惩罚同一候选在不同顺序下分数的不一致来缓解该问题，在三个任务上保持排序质量并领先所有训练打分器的决策稳定性指标，在 12 个基模型上比顺序平均蒸馏更稳定。作者建议此类打分器的比较应报告阈值保留和读者答案，而非仅报告排序质量。代码已发布于 https://github.com/thomsonreuters/presentation-dependence。