跳到正文

#DeepSeek

今天还没有收录新动态
9月22日周二
  1. arXiv:可解释性 · · 原文 78

    研究:任务难度决定思维链是装饰还是承重

    论文提出基于续写的因果测试:扰动一个推理步骤、截断思维链并强制模型从被破坏的前缀继续生成,衡量思维链对最终答案的承载程度(不同于机制忠实性)。在 Gemma-2-9B-IT、Llama-3.1-8B-Instruct 和 DeepSeek-R1-Distill-Qwen-7B 上测 GSM8K、MMLU 和 BIG-Bench Hard,承载性随模型相对任务难度变化:简单任务上模型静默绕过自身推理,困难任务上则跟随被破坏的步骤传播错误。任务难度压倒扰动类型:从 GSM8K 到 BBH 多步算术,错误传播增加 16 倍,98.8% 的可解释偏差归于任务难度;推理专用 RL 会抑制错误传播。作者指出这给基于思维链的监督带来结构性问题:轨迹易读处信号少,关键处错误在监控介入前已传播;隐藏状态上的线性探针能读出这些模式,但激活引导最多只翻转约 25% 的错误传播情形。

    推荐理由论文用扰动续写实验量化思维链对答案的因果约束,并给出难度主导的方差分解,为思维链监控的适用边界提供可迁移方法。

  2. arXiv:对齐与欺骗 ·

    RULER:面向 SVG 生成的实例感知评分标准奖励

    RULER 用实例感知评分标准为 SVG 生成提供强化学习奖励,无需配对 SVG 真值或人类偏好标注。它把每条指令转成覆盖语义、视觉、风格三个维度的六项评分标准,由 judge VLM 对渲染结果逐项打分,加权满意度经 GRPO 优化。在 MMSVG-Illustration 和 MMSVG-Icon 上,评分从 0.432/0.395 提升至 0.693/0.683,超过专用 SVG 模型并追平更大的 DeepSeek-V3。

9月15日周二
  1. arXiv:可解释性 ·

    ARIA:用稀疏自编码器实现测试时机器遗忘

    作者提出 ARIA(autoencoder-gated inference-time unlearning),一种不改动模型权重的测试时遗忘方法,只在生成进入遗忘相关状态时门控对目标知识的访问。ARIA 用稀疏自编码器(SAE)潜变量训练轻量线性检测器,再对触发状态施加可解释的干预,测试时开销可忽略。在 TOFU、R-TOFU 和 WMDP 上,ARIA 在思考模型 DeepSeek-R1-Distilled-Qwen-1.5B 与指令模型 Gemma-3-1B-it 上均改善了遗忘与保留的权衡,例如显著降低 WMDP-cyber 遗忘集准确率,同时 MMLU 与遗忘前模型相差在 1% 以内。

4月10日周五
  1. Goodfire Research · · 原文 75

    Goodfire 研究思维链表演性:探针揭示模型内部答案早于推理文本

    Goodfire Research 提出用注意力探针、强制作答和 CoT 监控三种方法对比模型内部信念与思维链文本,把两者的准确率差距定义为表演性推理。研究在 DeepSeek-R1-0528-671B、GPT-OSS-120B 及 DeepSeek-R1 蒸馏模型上,用 MMLU-Redux 和 GPQA-Diamond 两个多选题基准测试。最佳注意力探针在 MMLU 上平均准确率达 87.98%,而单 token 线性探针不超过 31.85%,接近 25% 的随机基线。

    推荐理由Goodfire 用探针与强制作答对比思维链监控,量化了模型内部信念与外部推理文本的错位,并给出可复用的早退方法。

11月29日周六
  1. Goodfire Research · · 原文 66

    Goodfire 开源 DeepSeek R1 的稀疏自编码器并披露两个引导现象

    Goodfire 发布了两款针对 DeepSeek 推理模型 R1 的稀疏自编码器(SAE),分别基于自建推理数据集和 OpenR1-Math 训练,并称这是首批在真正的推理模型及该参数规模上训练的公开解释器模型。团队同时开源了数据集,并提供包含每个特征最大激活样本的 SQL 数据库与 GitHub 使用说明。在引导实验中,他们发现直接像非推理模型那样从首个 token 开始引导 R1 会失败,需等到模型输出 Okay, so the user has asked a question about 这类前缀之后才有效,且注意力汇聚点出现在该前缀末尾而非开头,超过 95% 的英文推理轨迹以 Okay 开头。

    推荐理由Goodfire 开源了首个面向推理模型 R1 的 SAE,并给出两个在非推理模型上未见过的引导现象,可供机制可解释性研究者复用。

10月28日周二
  1. SPY Lab Blog · · 原文 72

    SPY Lab 研究:统一多模态模型无法凭记忆描述图像

    SPY Lab 提出“模态失语症”概念,指统一多模态模型能生成记忆中的图像,却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5,图像生成的整体错误率明显低于口头描述,且重大幻觉只出现在文字描述中。

    推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象,并展示其可绕过基于文本的安全过滤。

已经到底了