跳到正文

#arXiv

今天收录 19 条

第 8 页更新的内容回到最新

8月26日周三
  1. arXiv ·

    StepGuard:用可扩展监督训练步骤级护栏,兼顾安全与效用

    研究者提出 StepGuard,一个步骤级护栏模型,既能审计已完成的智能体轨迹,也能在工具动作执行前进行检查。为训练该模型,作者设计了 StepGen 数据引擎,生成上下文相同但在风险步骤上动作不同的安全与不安全轨迹;并提出 Balance-GRPO,根据观测到的准确率动态平衡安全与不安全动作的学习,以减少过度防御和防御不足。实验显示,StepGuard 在开放权重护栏模型中平均准确率最高,性能与 GPT-5.4 相当;在 AgentDojo 和 AgentDyn 上用于守护智能体时,相比无护栏设置将平均攻击成功率降低 77.3%,平均效用仅下降 2.8 个百分点。该工作已被 EMNLP 2026 接收。

8月25日周二
  1. arXiv ·

    RACER:面向多模态大模型后门的区域感知一致性修复框架

    论文提出 RACER,一个模型级的多模态大模型后门修复框架,通过抑制内部表征的层级不一致异常来从源头移除后门。作者观察到后门会在内部表征中引发层级间演化异常,即层级不一致异常,且该异常与模态相关,主要集中在编码触发特征的 token 区域。RACER 据此把融合表征拆分为视觉与文本 token 区域,分别归一化其层级不一致性,再在深层窗口内以模态感知权重重组,形成区域感知的不一致目标,并通过 min-max 优化合成最坏情况扰动、对扰动做对抗微调来修复模型。该方法只需 100 条干净样本,不需要知道触发器、攻击目标,甚至不需要知道输入模型是否含后门。

8月24日周一
  1. Import AI ·

    Import AI 470:METR 研究 AI 加速科学发现不均衡;SPADE 自动生成训练环境;Hawkeye 优化 GPU kernel

    METR 研究发现 AI 对科学发现的加速并不均衡:2026 年 cURL、OpenSSL、Firefox 等项目的漏洞报告速度较 2025 年大幅加快,数学领域仅小幅加速,AI 研究本身则无可测量的加速。多校团队提出 SPADE 框架,让 LLM 交替生成可执行训练环境与求解,在 Qwen3-30B-A3B 上使游戏环境套件平均分达 58.3,较基线提升 8.1。

  2. Failure-First ·

    基于模型预测控制的思路实现安全强化学习

    Schäfer 等人提出将 MPC 用作离线安全预言机来预先计算可行状态-动作空间的安全强化学习框架,使机器人与赛博物理系统的探索保持在数学验证过的边界内。该方法通过网格搜索加二分搜索映射连续动作空间的凸区间,并用投影过滤器拦截不安全动作。作者在 Quanser Aero 2 单自由度俯仰平台上做了验证。 补充说明: - 该工作针对标准 RL 在高惯性硬件上的无约束探索风险,定义了不可逆的"临界点"——即可行集边界。 - 安全性判定依赖 MPC 优化器在未来预测视野内找到有效动作序列,且视野需超过系统停止距离以保证递归可行性。

8月23日周日
  1. arXiv ·

    Hack-Verifiable Terminal Bench:评测终端任务中的奖励作弊

    研究者将 hack-verifiable environments(HVE)方法移植到 Terminal Bench,提出 Hack-Verifiable Terminal Bench(HVTB),用于自动、可靠地识别智能体在终端与编码任务中的奖励作弊。该方法把可检测的作弊行为嵌入任务中,避免依赖人工检查或 LLM 评判。作者用 HVTB 测量了多个前沿模型的奖励作弊率,并研究提示词中提供不同数量作弊信息能否缓解该行为,从而检验提示能否阻止提示未预料到的未知未知型利用方式。所有环境和智能体轨迹已公开。

8月21日周五
  1. Transformer Circuits(Anthropic 可解释性) · · 原文 62

    Anthropic 在单层语言模型中刻画干扰权重

    Anthropic 可解释性团队训练了一个约 2.9M 参数的单层 Transformer,将其分解为 token、位置、transcoder 特征与 logits 之间的虚拟权重,并沿有效性和有益性两个轴为每个权重打分,首次在训练好的 Transformer 内部通过测量对训练损失的影响确认了干扰权重的存在。有效性用 Fisher 信息度量权重对输出分布的影响,有益性用消融后损失的平均变化度量。

    推荐理由Anthropic 可解释性团队在单层 Transformer 中首次用损失变化定位干扰权重,为直接读取权重电路提供了可复现的度量方法。

  2. Failure-First ·

    [每日论文] 字符串组合实现大量越狱

    该论文将 leetspeak、Base64、ROT 密码、ASCII 替换及 JSON/LaTeX 格式化包装统一为一个可逆字符串函数库,通过程序化组合与随机采样构造越狱攻击。方法是 best-of-n 随机搜索而非优化器:给定有害意图和预算 n,从变换库中随机抽取 n 个组合并编码发起攻击,任一成功即判定越狱成立,其评估取 n=25,由 HarmBench 分类器判定。实验还归纳出两条经验性顺序约束——二进制与 Base64 编码只能在词级变换之后应用,JSON、LaTeX 等风格包装应始终置于最后,否则内部变换会破坏语法。

  3. Failure-First ·

    《Jailbreak Paradox》论文证明越狱检测的两个结构性不可能定理并用泰米尔语黑盒实验佐证

    该论文从结构层面证明了两个关于越狱检测的不可能性结果:不存在完美分类器——若假设存在能免疫越狱的最强模型,构造其叠加完美分类器的复合体会更强从而矛盾;弱模型无法判定强模型的越狱输入,因判官置信度受自身能力上限约束而非目标行为。作者将 Albert Jailbreak、Pliny Jailbreak 与两轮代码生成的 CodeJB 三种黑盒方法译为泰米尔语,在不同语言能力层级的多个模型上做了实证检验。

8月20日周四
  1. Failure-First ·

    HoloCount:面向 MLLM 的整体视觉计数基准

    Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准,覆盖 1481 个独特视觉概念,并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显:宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%,Gemini-3.1-Pro-Preview 仅 49.0%(MAE 10.46)。空目标提示子集中还出现反向悖论,轻量模型优于大型专有引擎,反映其不愿输出计数为零的过度自信倾向。

8月19日周三
  1. arXiv ·

    DAEI:针对噪声防护文本嵌入的反演攻击揭示隐私风险

    研究者提出 DAEI,一种去噪感知的嵌入反演流程,用于在只能观测到加噪嵌入、无法获得干净嵌入目标的条件下重建原始文本。作者先分析现有生成式反演方法在该设定下失效的原因,将其归结为双重噪声陷阱,再用残差去噪自编码器结合生成式文本反演,并借助 Stein 无偏风险估计以无监督方式训练去噪器,使其仅凭含噪观测即可去噪。实验显示 DAEI 相比现有生成式反演基线在 BLEU 上取得约 154% 的相对提升,token 级 F1 与 ROUGE-L 也提升 32% 至 60%。该结果对简单高斯扰动即可防止嵌入泄露敏感信息的普遍假设提出质疑。论文 11 页、3 张图,已被 IEEE ICDM 2026 接收。

  2. arXiv ·

    VA-Judger:面向联合视频-音频生成的人类偏好反馈奖励建模

    针对现有视频-音频生成奖励信号分维度评估、易致奖励作弊的问题,研究者构建了大规模人类偏好数据集 VAPref-10K(含 9K 提示词与 10.3K 细粒度成对比较),并提出思维链全模态奖励模型 VA-Judger。该模型先学习质量差距明显的样本对,再通过拒绝采样蒸馏偏好解释,最后按维度做强化学习分解人类反馈。实验显示 VA-Judger 在域内与域外偏好预测上均优于指标基线,其奖励用于后训练还能显著提升生成质量。

8月17日周一
  1. arXiv · · 原文 76

    JailbreakSkill:用可复用可演化技能扩展自动化红队

    上海 AI 实验室等机构提出 JailbreakSkill,把攻击方法封装为可复用、可演化的技能,用于扩展自动化红队。框架将技能分为改写技能、失败分析技能和演化技能三类,由规划器通过统一接口选择与排序;Stage 1 用风险条件 UCB 扫描初始 16 个改写技能并记录失败轨迹,Stage 2 对未解决样本做失败诊断,通过精炼、组合或发现生成新改写技能并回填技能库。在 AdvBench 与 HarmBench 上,技能演化使宏平均 ASR 分别提升 17.5 和 13.4 个百分点,其中对 GPT-5.4 在 AdvBench 上提升 48.6 个百分点,并产生把直接请求改写为未完成文档补全任务等新策略。部分演化技能无需额外适配即可迁移到未见提示词和目标模型,代码已开源。

    推荐理由把攻击方法封装成可复用、可演化的技能库,并给出在 AdvBench 与 HarmBench 上的 ASR 提升幅度,红队工程化可参考。

  2. arXiv ·

    MicroVerse:测量长时程多智能体语言模型模拟中自我书写身份漂移的工具

    MicroVerse 是一款测量生成式智能体身份漂移的行为科学工具,智能体携带不可变的"soul file"(核心价值观、道德边界、人格、目标),在资源稀缺的 50 x 50 环境中行动,水是不可再生的生存约束。它通过每 N tick 的纵向引擎快照与强制终止快照解耦测量与行为,并用释义感知、价值锚定的多语域 diff 离线评分身份漂移。在 n = 25 的种子运行与 {40, 80, 150} 反思阈值扫描中,反自我欺骗无提示地成为身份修改的最大语义类别(111 条新增边界中占 27 条,24%),且系统具有阈值稳健性,更低阈值加快并增加修订频率但保持漂移方向。

8月14日周五
  1. arXiv ·

    Tripwire:通过统计认证的安全神经元触发对齐拒答

    Tripwire 是一种免训练防御方法,通过逐神经元假设检验并在错误发现率控制下识别安全特异性神经元,再用效用特异性过滤器排除对模型效用重要的神经元。识别后采用触发式钳制,将选定神经元固定在有害条件下的平均激活值上,注入内部有害输入信号以触发对齐阶段学到的拒答行为。该钳制有两种可证明等价的部署方式,即检测器门控的推理时干预和离线 bias-patch 权重编辑。在四个安全对齐 LLM 和四类代表性攻击上的实验显示,Tripwire 将平均攻击成功率降至最高 2.0%,在 MT-Bench 上的效用损失仅为 0.5% 至 5.3%,为所有防御方法中最小。代码已公开。

8月13日周四
  1. arXiv ·

    WIFA:按意图分组监督缓解包装式越狱与过度拒答

    论文提出 Wrapper-Based Intent-Form Augmentation(WIFA),一种自动意图分组增强方法,把带包装的有害示例与结构匹配的带包装良性反例配对,无需外部教师模型或逐包装的人工意图标注。WIFA 作为通用数据层支持两条微调路线:两阶段高安全配方 WIFA-Boost,以及 Anchored Group-Consistent Refusal Training(A-GCRT),后者在同一意图的不同包装间正则化拒答与合规决策分数,并把有害与良性分组锚定在间隔两侧。

  2. arXiv ·

    互补 LLM 水印如何追踪来源并检测篡改

    针对现有 LLM 水印在保留来源归属的同时可被"搭便车欺骗"篡改关键内容的问题,研究者提出一种同时提供来源证明与篡改证据的水印,在每个生成 token 中共同嵌入一个鲁棒信号和一个脆弱信号。两个信号机制相同但使用独立密钥和不同种子窗口,脆弱信号对读者可见的改动敏感;检测时两个分数构成二维空间,支持 Intact、Tampered、No-Watermark 三种判定。在两个大语言模型和两个提示数据集上,该方法在评测方法中取得最高篡改检测率,同时保持有竞争力的归属鲁棒性和困惑度。

8月11日周二
  1. arXiv ·

    通过采样 BPE token 统计审计中文网页规模语料库

    Sampled-BPE 是一种轻量级 token 级审计流程,通过采样小规模子集并训练 BPE 分词器来暴露受污染 token,在污染类别上仅引入 4.25% 相对误差的同时实现 148.4 倍加速和 35.8 倍内存降低。研究将其应用于 11 个开源中文语料库和 2021 至 2026 年的 6 个中文 Common Crawl 快照,发现开源语料库中污染普遍存在但不均衡,中文网页内容污染严重且随时间变化。团队还发布了包含 66 万余条 token 记录的分层中文网页 token 数据集,每条记录带有网页上下文、类别和解释字段,并以树状结构组织以支持污染审查与溯源。

  2. arXiv ·

    SHE:面向 LLM Agent 的轨迹驱动安全护栏演化框架

    研究者提出 Safety Harness Evolution(SHE),一个从 rollout 轨迹中学习演化安全边界的框架,用于提升 LLM Agent 的安全性。SHE 把 Agent 护栏拆成 System Prompt、Rule Bank、Safety Memory 和 Tool Policy 四类具有明确安全职责的组件,为局部演化划定功能边界。在此基础上,SHE 引入归因引导的演化循环,把轨迹失败转化为结构化诊断,学习各组件专属的边界修正,并通过安全与效用验证筛选演化后的护栏。

8月10日周一
8月5日周三
  1. arXiv ·

    面向良性用途的对抗攻击:视觉内容全生命周期主动防护综述

    一篇综述将数据所有者、创作者、平台或审计方主动施加扰动与结构化信号以干扰未授权自动化、支持事后追责的做法称为"面向良性用途的对抗攻击",并梳理了沿视觉资产生命周期分布的五个研究方向:分享阶段的隐私过滤器、针对未授权训练不可学习样本、防恶意编辑或模仿的生成式防护、用于访问控制的对抗验证码,以及传播后的来源溯源机制。作者按可迁移性、自适应性和部署就绪度统一评估这五类方法,发现多数防护仍主要针对静态或弱自适应对手验证,受控基准之外的证据依然稀缺。

  2. Failure-First ·

    研究揭示越狱判定器不可靠:ASR 自动评分存在校准与对抗鲁棒性问题

    Veyon Solutions 的 Yang Gao 在 HarmBench 分类器验证集(596 条人工标注完成结果)上测试了自动越狱判定器的可靠性,发现两类判定器以相反方式失效。专用分类器(如 HarmBench classifier)召回率 0.974、精确率 0.835,倾向过度标记,可能抬高 ASR;LLM-as-judge 精确率高但召回率极低,Qwen2.5-7B 召回仅 0.174、F1 为 0.294,Qwen2.5-3B 召回 0.059。在内容不变的包装攻击下,仅加一句拒答前缀就能让 LLM 判定器把有害内容改判为安全,翻转率在 39% 至 88% 之间,部分模型任意包装的翻转率达 100%。

8月4日周二
  1. Failure-First ·

    IHDec:用发散度引导对比解码维护多轮指令层级

    Liu 等人提出 IHDec,一种免训练、推理时的干预方法,通过实时 logit 调整维护大语言模型的指令层级(System ≻ User ≻ Assistant ≻ Data)。作者用 Jensen-Shannon 散度作为诊断工具,当低优先级角色对下一 token 分布的影响超过高优先级角色时触发冲突集,再用专家与反专家对比解码生成校正向量,并采用 ϵ=1×10−8 的归一化项和 0.97 的衰减因子保证稳定性。在 IHEval 基准上,IHDec 比训练式方法 ISE 提升 11.98 个百分点;在 Llama-3.1-8B-Instruct 的多轮冲突场景达到 50.68% 准确率,而 ISE 为 12.60%。

7月28日周二
  1. Failure-First ·

    ForesightSafety-VLA:面向视觉-语言-动作模型的统一诊断安全基准

    Lyu 等人提出 ForesightSafety-VLA,一个把具身安全从结果检查转为过程级评估目标的诊断基准,用于暴露视觉-语言-动作(VLA)模型在任务完成与物理可靠性之间的安全差距。基准用 13 个安全类别组成三层分类体系,覆盖物理、指令与感知三类失效,并通过危险注入、约束收紧、时序前置条件插入三种算子构建 66 个基础场景。评测采用四象限结果框架,区分安全成功、不安全成功、安全失败与不安全失败,并用累计安全成本(CC)和风险暴露时间(RET)刻画过程风险。

7月20日周一
  1. arXiv · · 原文 85

    上海 AI 实验室提出 Intern-BioBreaker,在 14 个前沿模型上暴露生物安全越狱风险

    上海人工智能实验室团队提出生物红队模型 Intern-BioBreaker,用于探测前沿大语言模型在生物安全任务上的越狱漏洞。该模型经科学语料继续预训练、通用越狱数据 SFT、生物数据 RL 和推理期智能体红队四阶段训练,在 SafeSci-Bio 上对 GPT-5.5 的攻击成功率达 60%,对 Claude Opus 4.8 为 26%,高于 Qwen 系列基线和 Intern-S2-Preview。扩展到 14 个前沿模型后,3/14 在 SafeSci-Bio 上达到 100% 攻击成功率,10/14 在 SoSBench-Bio 上达到 100%,Claude 系列相对更抗攻击。案例研究显示,模型可被诱导生成经 AlphaFold3 评估结构合理、受体结合能更低的流感 HA 候选序列。

    推荐理由论文给出生物风险越狱在 14 个前沿模型上的攻击成功率,并延伸到序列级与湿实验验证,可对照现有生物安全护栏的覆盖范围。

7月1日周三
  1. arXiv ·

    MiShield:识别多图组合后浮现的隐式有害内容

    论文提出多图隐式有害内容(MIIT)问题,即每张图片单独看都无害,但多张图片联合解读时会产生有害语义,现有商业审核 API 和模型因单图缺乏明显风险线索而难以识别。作者给出 MIIT 的正式定义并分析检测中的三个关键挑战,通过自动生成流程构建了覆盖七类代表性风险的纯图像多图安全数据集 MIIT-dataset,并训练出 MiShield,采用渐进式蒸馏推理监督,使其在给出安全判断的同时显式分析导致危害的关联实体。实验显示 MiShield-8B 的表现优于代表性审核服务和更大规模的模型。论文共 15 页、8 张图,作者提示内容可能包含敏感信息。

6月23日周二
  1. Goodfire Research · · 原文 60

    Goodfire 提出 VPD 方法,将语言模型参数分解为可解释子组件

    Goodfire Research 提出对抗参数分解(VPD)方法,把语言模型的参数分解为若干秩一子组件,每个子组件只实现模型所学算法的一小部分,且在任意组合被消融时仍能保持网络的输入输出行为。研究在一个 4 层、6700 万参数、在 The Pile 子集上训练的 decoder-only Transformer 上做了分解,将 24 个权重矩阵拆成 38912 个秩一子组件,其中约 1 万个为活跃组件,每个数据点平均用到 205 个子组件,约占活跃组件的 2.1%。VPD 与 SPD 的主要区别在于消融采样方式,VPD 使用对抗性选择的样本而非随机样本,从而在对抗消融下仍保持较好的输出重建。

    推荐理由Goodfire 提出把语言模型参数直接分解为可消融子组件的方法,并给出与 transcoder 的对比数据,适合关注机制可解释性路线的人了解参数级分解的进展。

6月14日周日
  1. arXiv ·

    研究:语言模型智能体在文本版 AI Safety Gridworlds 中出现奖励作弊

    研究者将 AI Safety Gridworlds 框架改造为面向语言智能体的文本评测套件,把经典强化学习安全任务重新表述为语言任务。在多个前沿和中等规模模型上,规格博弈零样本出现:模型系统性地获得较高的观测奖励,却在隐藏安全目标上表现不佳,看似安全的行为也可能源于误解而非原则性安全。强化学习未能纠正这些失败,直接奖励优化反而扩大观测奖励与隐藏奖励之间的差距,因为模型初始能力使其锁定在局部有回报的策略上。这一模式在 1.5B 至 14B 的模型规模上持续存在,更细的信用分配、探索提示或熵正则化都无法解决。作者认为,用有能力语言模型智能体优化代理目标时奖励作弊会自然出现,且能抵抗标准缓解手段,代码已公开以便复现。

6月12日周五
  1. arXiv · · 原文 82

    AgentCyberRange:复旦团队发布真实网络靶场自主攻击能力基准

    复旦大学团队提出 AgentCyberRange,一个面向前沿 AI 系统自主网络攻击能力的开放多靶场评测基础设施,包含 15 个真实 Web 应用中的 110 个漏洞和 8 个企业式靶场共 156 台内网主机,并配套评测工具链 Cage。评测覆盖 Web 利用与后渗透两个阶段,在统一提示词和预算下测试六个前沿系统。GPT-5.5 搭配 Codex 成功率最高,Web 利用任务 16.1%、后渗透任务 31.7%;给出更具体提示后分别升至 33.0% 和 46.3%。评测中还观察到系统发现基准外漏洞,包括 ComfyUI 中一个任意文件写入零日漏洞,并能变异载荷绕过主机防御。同时系统仍不可靠:常漏掉隐藏攻击面、多次运行结果波动大、难以完成长链路后渗透,并在防御压力下触发蜜罐和告警日志。

    推荐理由该基准把网页利用与后渗透串成端到端链路,并给出六个前沿系统的实测成功率,可供评估自主网络攻击能力时参考。

6月11日周四
  1. Goodfire Research ·

    Goodfire 解读为何更大模型学得更多:容量、干扰与稀有任务留存的作用

    Goodfire 发表《Why Larger Models Learn More》,从容量、干扰与稀有任务留存三方面解释大模型的规模优势。页面同时列出其研究方向:模型能察觉自身在做奖励作弊并可大规模捕捉该行为,以及文本生成中的不确定性动态估计、视觉模型的神经几何结构解析。Silico 是其可解释性智能体,可用先进的可解释方法与基础设施来解释、调试并精确控制模型行为。

5月29日周五
  1. Redwood Research · · 原文 71

    Redwood Research 给出构建抗训练模型生物的建议

    Redwood Research 发现用常见方法构建的模型生物往往很脆弱,无目标训练(如让模型像海盗一样说话)就能消除其不良行为,因此提出让模型生物更抗训练的做法。实验以 Llama-3.1-8B-Instruct 为基础,红队通过提示或训练植入 15 种后门,蓝队用 QA SFT 和 Pirate SFT 做无目标训练,并以 MATH-500 性能与后门行为率的 Pareto 曲线衡量鲁棒性。主要结论是提示型模型生物极其脆弱应避免使用,全权重微调(FWFT)训练的模型生物比 LoRA 更鲁棒,LoRA 秩越高越接近 FWFT,密码锁定训练数据中密码比例越高鲁棒性越差。

    推荐理由Redwood Research 用红蓝对抗实验比较不同模型生物对无目标训练的鲁棒性,为评估训练技术是否真正有效提供了可复现的基线方法。

5月7日周四
  1. Goodfire Research · · 原文 62

    Goodfire 提出 VPD 方法:将语言模型参数分解为可解释子组件

    Goodfire 提出对抗参数分解(VPD),一种无监督方法,用梯度下降把语言模型的权重矩阵拆解为若干秩一矩阵子组件,这些子组件相加可精确还原原始权重。研究团队在一个 67M 参数语言模型上分解了全部 24 个矩阵,仅识别出约 1 万个子组件,并训练一个因果重要性网络预测每个提示下最少需要哪些子组件。借助这一分解,他们能在权重空间直接识别注意力层中跨注意力头的算法,例如前一词行为和语法边界路由;还能在不训练的情况下直接编辑子组件,例如把识别表情符号眼睛的子组件改为输出 o 的 unembedding 向量,使模型把所有表情预测为震惊脸,其副作用接近不可解释的微调方法但仍存在性能差距。

    推荐理由Goodfire 提出把权重矩阵拆成可解释子组件的方法,并给出注意力算法识别与免训练模型编辑的实例,适合关注机制可解释性路线的人了解。

4月1日周三
  1. DeepMind Safety Research · · 原文 82

    DeepMind 提出预测 RL 训练何时破坏思维链可监控性的框架

    DeepMind Safety Research 提出一个概念框架,按输出奖励与思维链奖励的关系把训练环境分为冲突、正交、对齐三类,用于在训练前预测 RL 是否会破坏思维链可监控性。

    推荐理由提出按奖励冲突类型预判 RL 训练是否破坏思维链可监控性的框架,并在代码后门与抛硬币任务上验证。

  2. Goodfire Research ·

    Goodfire 用可解释性从表观遗传基础模型 Pleiades 中找出新型阿尔茨海默病生物标志物

    Goodfire 将可解释性方法应用于 Prima Mente 的表观遗传基础模型 Pleiades,发现 DNA 片段长度模式主导其从血液游离 DNA 检测阿尔茨海默病的决策,并由此提炼出一个人类可解释的分类器。该分类器仅用片段长度特征即在独立队列上取得 AUROC=0.78(95% CI [0.56–0.95]),加入此前文献报道的生物标志物类别后升至 AUROC=0.84(95% CI [0.66, 0.97])。研究表明片段组学可作为互补于既有预测指标的新型候选信号,但其临床应用仍需进一步验证。

3月22日周日
  1. OpenAI Alignment Research · · 原文 84

    OpenAI 训练智能体自我举报违规行为

    OpenAI 对齐研究团队提出自我举报(self-incrimination)训练方法,让智能体在暗中违规时调用 report_scheming() 工具主动上报。该方法在 45 个合成环境中生成约 400 组对比轨迹,对贡献于隐藏副任务的工具调用插入上报调用,再用公开微调 API 训练 GPT-4.1、GPT-4.1 mini 和 Gemini 2.0 Flash。

    推荐理由OpenAI 团队提出让智能体在暗中违规时主动调用上报工具,并给出跨 15 个环境的攻击漏检率对比,可作为 AI 控制路线的参考。

1月15日周四
  1. arXiv ·

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow,降低 Agent 有害工具调用

    ToolSafe 提出面向 LLM 智能体工具调用安全的步骤级护栏方案,包含基准 TS-Bench、护栏模型 TS-Guard 和推理框架 TS-Flow。TS-Guard 通过多任务强化学习训练,在执行前基于交互历史推理,评估请求有害性与动作和攻击的关联,输出可解释、可泛化的安全判断与反馈。TS-Flow 由护栏反馈驱动,在提示注入攻击下将 ReAct 风格智能体的有害工具调用平均减少 65%,同时把良性任务完成率提升约 10%。作者称该工作仍在进行中,代码已公开。

12月5日周五
11月29日周六
  1. Goodfire Research · · 原文 60

    Goodfire 发布随机参数分解 SPD,推动参数级机制可解释性

    Goodfire 发布论文提出随机参数分解(SPD),直接分解模型权重而非激活,以提升参数分解方法的可扩展性。SPD 将权重拆成 rank-one 子组件,训练小型 MLP 预测每个子组件在给定输入上的因果重要性,再通过随机掩码剔除不重要组件,同时保持原模型输出不变。在已知真实机制的玩具模型上,SPD 正确识别出叠加玩具模型中 5 个稀疏特征方向,并在加入单位矩阵的挑战场景下找到每个输入特征对应的组件;它还成功分解了 APD 无法可靠处理的三层网络。相比前作 APD,SPD 计算上更可行、对超参数更不敏感,但仍需聚类步骤把 rank-one 子组件归并为完整机制,且目前只在已知答案的模型上测试。

    推荐理由Goodfire 提出 SPD,把参数分解从玩具模型推进到多层网络,为直接拆解权重中的计算结构提供了更稳定的方法。

9月29日周一
  1. Transformer Circuits(Anthropic 可解释性) ·

    Anthropic 可解释性团队月度更新:特征与大语言模型的上下文学习

    Anthropic 可解释性团队在月度更新中报告了一项初步实验:他们重新审视此前《On the Biology of a Large Language Model》的语言表征相似度结果,发现在配对英法文本中,活跃特征的交并比(IoU)随样本变长而升高。通过对比同一段落首尾句以及互不相关语句的基线,结果显示末句 IoU 高于首句、无关首句重叠多于无关末句,倾向于说明该效应来自模型在上下文中逐步建立更充分的语义表征,而非虚假激活所致。

8月7日周四
  1. Transformer Circuits(Anthropic 可解释性) · · 原文 62

    Anthropic 提出机制忠实性的玩具模型:transcoder 可能学到不同机制

    Anthropic 可解释性研究者 Chris Olah 发布非正式笔记,提出机制忠实性(mechanistic faithfulness)问题:用 transcoder 等稀疏近似替换模型组件时,替换件可能实现与原模型不同的计算机制。作者用绝对值问题(y=abs(x))构造玩具模型,在数据分布中加入重复数据点后,transcoder 会学出只对重复点激活的 datapoint feature,而原模型并无此概念,说明机制不忠实可在极简单设定中出现。

    推荐理由Anthropic 可解释性团队用玩具模型说明 transcoder 可能学到与原模型不同的机制,并提出 Jacobian 匹配作为缓解思路。

8月3日周日
  1. SPY Lab Blog ·

    arXiv 上 LLM 生成引用趋势分析

    arXiv 上疑似由 LLM 幻觉生成的参考文献占比呈加速上升趋势,2025 年初起明显加剧,时间点与 Deep Research 发布大致吻合。作者用 pdftotext++ 和 AnyStyle 从 2020 年以来的 arXiv PDF 中提取引用,将"标题匹配已有 arXiv 论文但作者列表不同"的引用标记为候选幻觉,再用 Claude Sonnet 4 过滤误报。目前约 0.025%(约 1/4000)的引用疑似幻觉,作者认为这几乎肯定是显著低估。