跳到正文
今天10月8日周四
  1. 论文追踪 · 收录 · 原文 论文62

    FAB 攻击:给 HuBERT/WavLM 植入后门,背景警笛声即可让下游语音任务失灵

    研究者提出 FAB(Foundation Acoustic model Backdoor)攻击,可在不接触预训练数据、不知道下游任务的情况下,向 HuBERT-base 和 WavLM-base 两个声学基础模型植入后门。攻击者只需下载公开权重、注入后门后重新发布,受害者微调后后门仍存活;激活时播放警笛、狗叫、长笛或双簧管等自然声音即可,无需与音频同步,也不直接篡改录音。实验覆盖九项下游任务(ASR、关键词识别、说话人识别与验证、语音翻译、情感识别等),在良性输入上性能接近原始模型,触发后 ASR 词错误率升至 98.4%,物理播放场景下词错误率仍不低于 80%。研究还测试了 fine-pruning、输入过滤和过度端到端微调三种防御,前两者在降低攻击成功率的同时明显损害良性性能,后者有效但需大量标注数据和约 12.8 倍训练时间。

    推荐理由论文给出在无预训练数据、任务未知条件下对声学基础模型植入后门的方法,并量化了其在九项下游任务和物理场景中的影响。

  2. 论文追踪 · 收录 · 原文 论文48

    RSIGym:预算约束下的 AI 研究智能体评测环境与 RSI-Index 指标

    研究者提出 RSIGym,一个基于 Everything as a Service 的智能体原生研究环境,把训练、推理、rollout、评测和沙箱执行封装为可复用服务,并以共享的预算与权限控制支持 Data、Harness 和 Joint 三条改进路径。团队定义 RSI-Index 为五个基准上剩余性能差距被弥合的平均比例,覆盖软件工程、终端交互、数学、科学推理和技能类任务。在独立 Joint 运行中比较六个前沿研究模型,Opus 5 在每次基准运行 500 美元平台服务预算下取得最高 RSI-Index 0.4809,其选出的系统在全部五个基准上均有提升,SWE-bench Verified 从 17.67% 升至 50.33%,AIME 从 31.67% 升至 97.78%。RSIGym 代码库与结果已开源。

  3. arXiv · 收录 · 原文 日期未知论文42

    SLDR:通过选择性层恢复与动态路由防御恶意微调

    研究者提出 SLDR,一种针对微调即服务场景中恶意微调削弱模型拒答行为的后微调防御方法。该方法先重新审视逐层安全诊断,发现安全敏感度具有符号性,不同层的缩放会增强、削弱拒答或影响很小;SLDR 据此只在符号谱中敏感度最高和最低的层上训练 LoRA 恢复适配器,并用基于表征的动态路由推理,仅对恶意查询激活该适配器。在四种模型架构、五个下游任务和四个有害基准上,SLDR 大幅降低有害输出并保持下游效用;在 Llama3.1/SST2 上,平均有害分数从 11.54 降至 0.08,同时保持下游准确率,在最高 0.9 的投毒比例下有害分数仍接近零。代码已开源于 https://github.com/Stardust457/SLDR。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文49

    研究:去除有害信息不足以证明开源权重模型的抗篡改能力

    论文质疑仅凭去除有害信息就能让开源权重模型抵抗微调攻击的假设,指出发布时的互信息无法普遍证明模型恢复缓慢。作者从理论上说明,保函数的重参数化不改变信息量却会改变梯度下降几何结构,因此任何不变性认证都受限于最快可达的参数化。在训练数据过滤下的权重与数据互信息、能力移除下的标签与表示互信息两种情形中,训练顺序可在固定互信息下改变恢复时间,而精确的表示层独立性可保留整个参数 Jacobian。作者给出一个显式构造,其两个信息量均为零,却能在一次梯度步内恢复。受控实验展示了顺序依赖的恢复与参数化依赖的攻击速度,结论是认证还需要对发布后攻击动态的约束。

  5. 论文追踪 · 收录 · 原文 论文43

    研究者提出理解审计机制,以缓解自动化 AI 研究带来的风险

    研究者提出理解审计(comprehension audits)这一开发流程保障机制,要求负责研发的人员向审计员解释其研发贡献以证明其理解程度,审计独立开展并出具分级报告,未通过则暂停该贡献的开发直至整改,重复失败将面临升级后果。作者指出,前沿 AI 实验室的代码已大部分由 AI 编写,若人类监督不足会带来安全风险,而现有工作提出的最低理解阈值与无辅助检查尚不足以构成保障。对领先开源 AI 项目的分析显示,代码产出增加的同时每行代码的人工评审评论率下降,自动化账号的评审率更低。作者主张实验室应配备嵌入式独立审计员来实施该机制。

  6. arXiv:危险能力与安全评测 · 收录 · 原文 日期未知论文46

    研究发布 ASRD 数据集,评测五款开源模型在非规范输入下的安全表现

    研究者提出 Adversarial Surface-Form Robustness Dataset(ASRD),包含七个表面形式家族的 2,100 条提示词,对五款开源权重语言模型进行评测,共产生 10,500 条回复。Quad-State Evaluation Rubric 将每条回复分为有害合规、安全回复、理解失败或无法判定四类。表情符号与不可见 Unicode 变体几乎不引发理解失败,合并有害合规率为 20.27% 和 17.20%,基线为 22.87%,主要由 Mistral 7B 拉高;而 leetspeak、编码包装和混合变换的有害合规率分别为 2.40%、0.13% 和 2.40%,理解失败率则升至 36.47%、65.60% 和 34.47%。对原始输出的检查还发现三种回复行为:幻觉式无害化、结构崩溃和语言漂移。

  7. 论文追踪 · 收录 · 原文 论文47

    研究定位 LLaMA-2-7B-Chat 安全敏感参数:改动 0.19% 权重即可达 53% 攻击成功率

    研究者在 LLaMA-2-7B-Chat 上考察安全敏感行为是否集中在稀疏参数子集中,以缩小可被针对性攻击的故障面。他们采用低秩安全子空间分析与参数级安全-效用重要性过滤两种互补方法,发现网络内安全敏感度高度不均匀,MLP 的 down_proj 始终是最突出的安全敏感组件,o_proj 贡献较小。仅修改 down_proj 中 0.19% 的模型权重,即可达到 53% 的 Basic ASR 和 56% 的 GCG ASR,而 tinyBenchmarks 准确率仍为 51.6%,未修改基线为 52.2%。作者据此提出,应对资源受限、端侧和智能体场景中部署的语言模型开展针对性故障分析与选择性完整性保护。该工作已被 NeurIPS 2026 Workshop 接收。

  8. 论文追踪 · 收录 · 原文 论文47

    论文指出 LLM 漏洞修复基准可靠性受评测设计影响

    论文《On the Reliability of LLM-Based Vulnerability Patching Benchmarks》指出,当前基于大语言模型的自动化漏洞修复基准会显著扭曲所报告的性能。作者从三个维度梳理被忽视的陷阱:智能体层面,提示词、工具可用性和详细指令会抬高成功率却不提升与开发者一致的补丁质量;框架层面,权限错误、基础设施缺陷和超时处理会悄然压低或虚高成绩;数据集层面,缺陷报告和单一 PoC 测试无法判断补丁是否解决根因或符合开发者意图。作者从 84 个开源 C/C++、Go 和 Rust 项目中整理出 112 个历史缺陷,每个都配有 PoC 测试、回归测试以及评估是否符合原开发者设计原则的额外开发者测试。论文据此给出更严谨、可靠、可复现的评测实践指南。

  9. Hugging Face Daily Papers · 收录 · 原文 论文41

    ReSAIL:缓解迭代式智能体自蒸馏中的能力崩塌

    ReSAIL 是一种可插拔的增强方法,用于缓解迭代式智能体自蒸馏中部署性能与任务能力随周期下降的问题。它包含两个组件:轨迹平衡的选择性蒸馏,优先处理特权信息最改变教师预测的交互步骤并平衡各轨迹损失;特权信息保留,维持学生的特权信息条件行为以支撑下一轮监督。在 Qwen3-4B 与 Qwen3-8B 上,ReSAIL 在 ALFWorld 和 TextCraft 上连续三个部署周期保持增益,第 3 周期在两种模型规模和三种评测设置(ALFWorld ID/OOD 与 TextCraft)下,成功率平均比对应的 SDPO/OEL 基线高 22.5 个百分点。代码、训练与评测脚本及模型检查点已公开。

  10. Hugging Face Daily Papers · 收录 · 原文 论文40

    nanoMuse 发布开源个人智能体,跨设备共享对话并内置 Sentinel 动作审查

    nanoMuse 是一个以 GPL-3.0 许可发布的开源个人智能体,目标是在用户拥有的每台设备上运行同一个智能体,并让手机与电脑共享同一段对话。报告先以五个问题和三个时间尺度界定个人智能体,再依据 Meta 的公开记录和一份生产提示词副本分析 Meta 的 Muse 如何构建,并逐条标注来源。nanoMuse 通过任何人都可自建的 relay 共享对话,每个动作都经过 Sentinel 审查,记忆以用户可读的文件形式保存,模型由用户自行选择;其规模与成本以估算形式给出。开放记忆溯源、面向操作能力的评测套件以及配套开源模型被列为后续路线图。

10月7日周三
  1. 论文追踪 · 收录 · 原文 论文33

    MARCO:面向蛋白质生成模型的放射性水印框架

    MARCO 是首个专为蛋白质生成模型(PGM)设计的"放射性"水印框架,同时保护知识产权并实现生物安全滥用的取证溯源。它通过辅助编码器-解码器在扩散逆向去噪过程中迭代嵌入水印,保持原 PGM 参数冻结;并针对 Cα 原子对距离与扭转角(ψ、φ)设计专用损失函数,结合随机攻击模拟的对抗训练提升鲁棒性。水印可自动转移至任何基于加水印数据训练的盗版模型输出,从而对抗模型提取攻击。

  2. Hugging Face Daily Papers · 收录 · 原文 论文37

    研究:合成数据溯源识别在改写后准确率大幅下降

    一项研究测试了模型生成数据的溯源识别可靠性,以及溯源信息能否帮助筛选更好的训练数据。在金融风险文本上,生成器归因在原始段落上准确率为 98.7%,改写后降至 53.1%,风格重写后降至 29.0%;生成文本与人类文本的检测在测试的人类对照集上仍接近完美。研究随后在三轮生成与再训练中比较两种筛选规则,一种使用来源信息,另一种使用独立参考模型的评分,两者选出的样本不同,但计划中的比较未检测到所得模型退化存在稳定差异。作者据此指出,识别数据来源与识别哪些数据对训练有用是两个不同问题,溯源评分和所测试的筛选代理指标都不足以确定未来的递归训练行为。

  3. 论文追踪 · 收录 · 原文 日期未知论文40

    ES-Trace 审计 26 个代码模型的伦理采购披露,仅看 Model Card 平均得分 1.77/5

    研究者提出 ES-Trace 框架,用模型文档可追溯图(MDTG)追踪 Model Card 之外的披露证据,对 10 家发布方的 26 个代码生成模型、77 份文档和 20 个伦理采购维度进行审计。仅审计 Model Card 时平均得分 1.77/5,解析发布方声明的引用文档后升至 2.82/5,增量主要来自结构化元数据中声明的文档。研究还发现社会与劳工相关维度披露普遍不足;仅看 Model Card 会误判版本级披露变化;文档错配可能把证据关联到错误的模型或版本。作者据此呼吁采用引用感知的披露审计、明确模型与版本的绑定,并加强社会与劳工维度的文档记录。

  4. 论文追踪 · 收录 · 原文 日期未知论文49

    SBW:面向 LLM 智能体的语义行为水印方法

    研究者提出语义行为水印(SBW),在历史条件下对语义动作簇而非精确动作符号嵌入水印,并用带密钥的抗碰撞分桶替代公开簇分桶,在随机预言机模型下证明新桶分配不可预测。此前三种智能体水印方案都绑定精确动作符号,仅改写观测即可让 AgentMark 的比特恢复率降至 16.8%。在五个智能体模型(3B-14B,四家厂商)和三个编码器上,ToolBench(每模型 600 条轨迹)在 1% FPR 下改写检测率为 0.49-0.66,精确符号方案为 0.05-0.17;ALFWorld(每模型 100 个回合)为 0.92-0.97 对 0.00-0.01。带密钥分桶把自适应伪造从 100% 降到假阳性下限。作者指出该保证不覆盖的边界:对抗者复制受害者自身步骤时,乱序拼接被中和(Qwen2.5-3B 上为 0.000),但链式重放在五个模型上仍达 0.76-0.98,作为开放问题报告。

  5. arXiv · 收录 · 原文 日期未知论文39

    IAU-FOA:面向闭源多模态大模型的可迁移对抗攻击方法

    研究者提出 IAU-FOA,一种面向闭源多模态大模型(MLLMs)的可迁移定向对抗攻击方法。现有定向迁移攻击主要用编码器 [CLS] 嵌入等全局图像级特征对齐对抗样本与目标样本,对 patch 级视觉结构利用不足,限制了跨异构闭源 MLLMs 的迁移性。IAU-FOA 同时在全局和局部对齐:用基于余弦的目标缩小全局语义差距,将 patch token 聚类为紧凑局部模式并通过最优传输匹配。针对均衡最优传输在缺乏可靠对应局部簇上强制固定边际质量、可能引入误导性对齐梯度的问题,作者引入置信度自适应非均衡传输,对弱匹配簇放宽约束。此外提出视觉不变性增强,通过双向像素强度缩放和逐通道白平衡调整模拟曝光、对比度、光照和色温变化。

  6. arXiv:可解释性 · 收录 · 原文 日期未知论文46

    研究揭示 Transformer 拒答机制中的组件与维度稀疏性

    研究将拒答激活引导分解为组件级干预,在四个开源权重模型上识别出足以复现完整行为效果的稀疏注意力与 MLP 组件子集。这些拒答方向集中在占上游组件 28% 至 48% 的稀疏机制中,仍保留 88% 至 101% 的引导效果;在这些机制内部,有效引导进一步集中在约 50% 的残差流维度上,保留组件机制基线的 85% 至 98%,与存在特权基结构的判断一致。作者据此认为拒答并非弥散编码于整个 Transformer,而是由结构化、可识别的机制组装而成,并将代码与原始实验结果开源在 https://github.com/wang-research-lab/Refusal_Mechanisms。

  7. arXiv:危险能力与安全评测 · 收录 · 原文 日期未知论文37

    研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器

    研究者提出一种轻量级路由 logits 安全检测器,在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号,在生成前判断多模态请求是否安全,且不修改模型参数或专家路由。作者发现路由 logits 对多模态输入是否安全具有很高的预测性。在 Qwen3-VL 和 Kimi-VL 上,该检测器显著降低了 HoliSafe 基准上的安全错误,并泛化到安全模式不同的分布外基准 MISHard 和 MM-SafetyBench。作者认为,相比通过提示、监督微调或路由专家引导来干预模型行为与内部状态,直接读取自然涌现的信号并接入外部安全机制,可作为现有安全干预的简单、有效且非侵入式的补充。

  8. 论文追踪 · 收录 · 原文 论文51

    研究评测 32 个 LLM 的代码功能与安全差距:新模型更安全但无一消除差距

    一项纵向研究用 CWEval 的 119 个任务、五种编程语言和 31 类 CWE,评测七个模型家族共 32 个 LLM 在旗舰与紧凑版本上连续三代发布的功能与安全差距。结果显示,新模型在绝对意义上确实更安全,但没有一个家族消除该差距;与既有研究不同,开放性并不区分家族,所有被考察的开源权重家族都显著缩小了差距,而 Gemini 3.1 Pro 的差距与 Llama 此前报告的同样宽。紧凑模型通常比旗舰版本生成更不安全的代码,Gemini 3.7 Flash 等是明显例外。在 CWE 层面,日志注入(CWE-117)和 HTTP 响应拆分(CWE-113)等弱点持续存在,最新闭源模型在内存与整数类弱点上出现回退,同一 CWE 在不同语言中的风险差异很大。作者据此建议开发者不要假定升级会提升安全性或闭源模型更安全,每次更换模型后应重跑安全检查,并在模型上下文中提供安全 API。

  9. 论文追踪 · 收录 · 原文 论文53

    TRACE:仅凭 checkpoint 更新审计大语言模型有害目标

    研究者提出 TRACE,一种只读取 checkpoint 更新的权重审计方法,无需模型查询,也不需要接触未知的 SFT 数据。研究发现有害合规 SFT 会在 checkpoint 更新空间留下连续、依赖目标的排序:以纯有害合规、安全目标和良性效用三类 SFT 定义参考几何后,checkpoint 级坐标 s_H 能追踪受控的有害目标组成,在四个 7-8B 基座模型上 Spearman 相关系数为 0.986-0.992,更大模型规模上排序依然保持。对照实验显示该痕迹反映的是 SFT 目标而非有害输入暴露,也排除了有害样本数量或训练强度的简单解释。在分布偏移、未见数据、不同 SFT 配置、部分 checkpoint 访问以及 LoRA 与全参数微调下,该痕迹保持稳定,并与独立测得的攻击成功率正相关;在有害目标占比较低时仍有信息量。代码已公开。

  10. Hugging Face Daily Papers · 收录 · 原文 论文62

    研究发现类型化决策模型主要按选项标签而非定义作答

    研究者对开放权重类型化决策模型及语言模型进行对照评测,发现部分模型会优先遵循选项标签的语义,而非定义中的规则。作者通过输入渲染的对照修改,将偏差与标签是否进入模型输入关联起来;所测 VON 在原设置下不受同样影响。研究未直接测试闭源商业 Jev 模型,合成评测结果不能直接代表所有部署场景。

    推荐理由论文用消融实验把标签偏好定位到提示词渲染这一行代码,并给出两次调用即可自查的方法,对部署分类式决策模型的团队有直接参考价值。

  11. 论文追踪 · 收录 · 原文 论文53

    研究者提出 Privacy-Leaking Watermarks,可在本地多模态模型中泄露对话隐私

    研究者提出 Privacy-Leaking Watermarks(PLWs),一种由恶意模型提供方植入的隐形、触发依赖水印,可依据此前的聊天历史进行条件触发。在统一多模态架构下,对话中早先提到的敏感关键词或语义线索会让后续一张无关图像携带隐蔽但可检测的水印,从而把图像生成变成隐私泄露通道,即便模型在本地部署也无法避免。在 13 种敏感属性触发条件和两个模型家族上,PLWs 在 1% FPR 下最高达到 100.0% TPR;例如 OmniGen2 在所有测试的对话间隔下都能检出此前披露的抑郁信息,而对未披露此类信息的图像误报率仅 1%。

10月6日周二
  1. 论文追踪 · 收录 · 原文 论文48

    SWE-CC 基准:编码 Agent 功能正确仍违反 43.1% 仓库贡献规范

    研究者提出 SWE-CC 基准,用于评估自主编码 Agent 对开源仓库贡献规范的遵守情况。该基准通过半自动流程将 12 个开源仓库的开发者文档转换为 823 条可机检的原子策略,并为每条策略配备轻量确定性检查函数,同时审计 Agent 的运行时行为和最终交付物。团队在从 SWE-bench Verified 扩展出的 500 个端到端软件贡献任务上,用两种 Agent 框架评测了四个 LLM,结果显示 Agent 虽然能产出功能正确的补丁,仍违反 43.1% 的适用项目策略,且近一半违规发生在中间执行步骤。研究指出功能正确并不等于可实际合并,编码 Agent 需可靠遵循仓库治理规范才能安全部署。

  2. Hugging Face Daily Papers · 收录 · 原文 论文46

    研究显示拆分学习中的梯度可提升客户端文本重建率

    研究者在拆分学习场景下测量了梯度对客户端文本泄露的贡献。在 GPT-2 上,仅凭客户端层的公开权重,攻击者从激活值中恢复 94.20% 的 token,同时看到梯度后升至 97.38%,提高 3.17 个百分点,95% 区间为 [2.72, 3.64]。按文档统计差距更大:32 token 的文档中,无梯度时 13.71% 被完整重建,有梯度时为 37.77%,因为文档需每个 token 都正确才计入。防御效果也随统计口径变化,Secret mixup 将每个输出向量与诱饵混合后几乎无法完整重建文档,但攻击者仍能恢复 83-91% 的 token。在 GPT-2 与 Qwen3-0.6B 的第二组实验中,服务器只训练连续若干层时,起始层位置在层数固定情况下同时影响模型质量与泄露程度。 这些结果限于两个小模型与短文本实验,不能直接外推到大模型或长文档;防御测试未采用针对防御的自适应攻击,因此报告的是已观察到的泄露下限。

  3. Hugging Face Daily Papers · 收录 · 原文 论文48

    自生成反馈会破坏测试时训练:长时程适应的因果分解

    作者研究模型在推理时持续从自身输出学习所形成的反馈回路,在 128K token 流上测试了 125M 到 3B 的 TTT-E2E 模型以及基于 Adam 的 Qwen3-4B 适应过程。结果显示反馈是损害的主要来源:改用冻结模型生成训练文本,在 125M 和 760M 上消除了超过 98% 的损害,即使学习器仍在生成文本上更新。更好的源拟合可能意味着更差的迁移,一次更新可以改善对训练段落的预测,却损害独立的真实文本。作者提出的 Settlement 测试会在保留候选更新前用独立文本进行验证,显著降低损害同时保留真实文本上的适应能力,代码已开源于 GitHub。

  4. 论文追踪 · 收录 · 原文 论文53

    研究揭示代码注释中的上下文注入攻击面:十款 Code LLM 中招率达 77.4%–92.3%

    研究者提出代码注释中的上下文注入攻击面,测试不安全指令嵌入开发上下文后能否诱导 Code LLM 生成漏洞代码。在十款 3B–13B 开源 Code LLM(四款基座、六款指令微调)和十类 Web 应用弱点上,攻击条件下 77.4%–92.3% 的补全含中等及以上弱点,良性条件仅 1.7%–5.1%。基座与指令微调模型平均漏洞输出率分别为 86.5% 和 84.5%,指令微调后降幅最多 8.1%,且易感性与模型规模或专精方向无明显关联。在易受攻击的输出中,86.2%–91.0% 被评为高或严重级别,去掉基于模式的检测器后效应依然存在。生成后筛查能降低但无法消除风险,最强筛查仍漏掉约三分之一。

  5. arXiv · 收录 · 原文 日期未知论文37

    AVCE:面向扩散模型可验证概念擦除的审计感知遗忘框架

    研究者提出 AVCE(Auditing-Aware Unlearning for Verifiable Concept Erasure in Diffusion Models),一种把概念擦除落到模型潜空间表征的遗忘框架。作者指出,多数擦除方法只在文本接口干预,通过提示词修改或文本条件权重的局部更新实现,并以给定提示词下的输出作为评估依据,而潜空间审计绕过文本条件直接探测去噪网络,显示被擦除概念仍可从内部表征中恢复,这一问题在抗对抗提示词的方法中同样存在,且随擦除概念数量增加而加剧。AVCE 审计每个概念的嵌入向量邻域,将发现的脆弱方向压缩为最弱几何点上的锚点,在该锚点以闭式解编辑交叉注意力和自注意力投影,再用路径级审计损失微调两条路径,并通过正交梯度投影整合多个概念。

  6. arXiv:可解释性 · 收录 · 原文 论文53

    研究者提出闭环偏见注入攻击,可将 LLaDA-8B 的 BBQ 目标差距从 1.8 提升至 16.7 个百分点

    研究者提出针对掩码扩散语言模型(dLLM)的定向偏见注入攻击:由于 dLLM 在提交答案前会多次重新预测同一位置,攻击者可在去噪过程中读取目标答案概率,并用比例积分(PI)控制器实时调整一个固定引导向量的强度,从而在不改动权重和提示词的情况下把模型推向指定人口群体。在 LLaDA-8B-Instruct 上,该攻击把 BBQ 模糊问题(正确答案为弃答)的目标与对照选项差距从 1.8 提升到 16.7 个百分点,超过最强固定强度基线三倍以上;在 SocialStigmaQA 上把污名化答案的选择率从 17.6% 提升到 58.1%。同一攻击换用其他人口目标时最多可产生 37 个百分点的偏移,每个目标约需一块 GPU 运行 40 分钟。消融实验显示增益来自反馈本身:与控制器平均强度相同的固定开环只带来 3.5 个百分点差距,却产生 20.8% 的无效输出,而闭环为 7.8%。

    推荐理由论文把扩散语言模型的去噪轨迹变成攻击通道,用闭环控制注入人口统计偏见,并给出跨模型与防御方向的对照结果。

  7. arXiv:可解释性 · 收录 · 原文 日期未知论文36

    Spatial-SAE:用空间依赖先验改进视觉概念分解

    论文指出稀疏自编码器(SAE)虽基于线性表示假设(LRH),但其目标函数隐含了跨图像 patch 概念相互独立的先验,这一假设与自然图像及其激活不符。作者将 LRH 特化到视觉领域,提出 Markov-Field Linear Representation Hypothesis(MFLRH),补上缺失的空间依赖假设,并据此提出 Spatial-SAE,作为 MFLRH 下的摊销 MAP 估计器。在四个变体上,Spatial-SAE 在合成概念恢复任务中取得 96% 的平均胜率,并在 DINOv2 激活上提升可解释性,重建代价集中在高空间频率。

  8. Hugging Face Daily Papers · 收录 · 原文 论文54

    研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现

    论文发现,固定基础模型回复开头的两个 token 就能让其在数学和代码任务上接近经强化学习训练的同款模型。在 Olmo-3-7B 上,预填 .\n\n Okay 使 MATH-500 pass@1 从 42% 升至 78%,接近 RL 版本的 75%;在 Qwen3-14B 上,␣Alright , 使 pass@1 从 72% 升至 87%,与 RL 版本持平。RL 本身会提高这些 cue 的生成概率,且预填 cue 可让 RL 用更少步数达到同等准确率。在安全场景中,不同开头 token 会引发不同的拒答与顺从行为,例如 .\n\n Okay 比 ␣Okay , 更倾向于选择性拒答,后者在不安全请求上的有害回复率为 42.4%,前者仅 0.2%。

    推荐理由论文用数据编辑与重训证明推理行为可由训练数据中的 token 关联触发,为理解 RL 究竟带来什么提供了可迁移的因果方法。

10月5日周一
  1. 论文追踪 · 收录 · 原文 论文49

    论文提出用路由梯度敏感度定位稀疏 MoE 模型中的安全敏感专家

    论文指出,抑制稀疏 MoE 大语言模型中少量被路由的专家即可在不重训练的情况下削弱其安全行为,而常用的激活频率只反映使用程度、不反映影响力。作者改用路由梯度敏感度,即序列损失对选择专家的门控权重的敏感度,在五种 MoE 架构上分别用 500 条良性提示和 500 条恶意提示对专家排序,并在 100 条留出恶意提示上测量拒答率,采用相同专家数量和相同恶意路由流量(1%-5%)两种预算。在两种预算下,路由梯度选择在 25 种条件中的 24 种比激活频率带来更大拒答下降,在全部 25 种中超过十次随机试验的均值。效果最大的是 OLMoE,拒答从 100 条中的 34 条降至 9 条(相对下降 73.53%),且输出质量未退化。逐层匹配专家数量后,梯度选择仍在 25 种条件中的 23 种优于激活频率,另有 2 种持平。

  2. arXiv · 收录 · 原文 论文37

    RMCW:基于 Reed-Muller 码的抗删除 LLM 水印方法

    研究者提出 RMCW,一种基于 Reed-Muller 码的大语言模型水印方法,用于应对删除攻击导致的 token 位置偏移和水印对齐失效。生成阶段通过密钥化的词表划分把 Reed-Muller 结构注入文本序列;检测阶段将文本映射到密钥词表分箱,并用 Berlekamp-Welch 检验测试局部子序列的低次 Reed-Solomon 一致性,从而寻找存活的局部代数结构而非恢复全局码字。在 C4 和 ELI5 数据集、OPT-1.3B 与 Llama-3.1-8B-Instruct 上的实验显示,RMCW 保持较强的干净文本可检测性,并在多种删除与改写攻击下优于或持平基线方法。代码已开源于 https://github.com/BaichengDanny/RMCW。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    研究者提出意图隐藏越狱的信息论框架,分析组合式攻击

    研究者从信息论角度研究组合式意图隐藏越狱,即把有害请求嵌入看似无害的更大查询中以绕过拒答。框架为每个任务估计被判定有害的概率,任务集合的平均值构成有害意图先验,包含目标任务的捆绑集合平均值构成后验,通过选择辅助任务使两者一致(先验-后验匹配)即可在保留有害目标的同时不改变估计意图。研究区分查询构造是否参与优化两种设定:查询无关设定下证明带捆绑规模约束的精确匹配是计算困难的,给出分数权重的最优注水解,并刻画满足给定安全阈值的最小捆绑;查询依赖设定下联合考虑任务选择与查询构造。在多个开源模型、不同捆绑规模和查询生成器上评估越狱效果与目标行为保留,结果显示组合查询在评估的搜索预算内可引出超过直接请求基线的目标行为,同时捆绑规模增大时多个模型的回复级目标保留趋于下降。

  4. 论文追踪 · 收录 · 原文 论文48

    研究:异构 AI 模型间的说服效果取决于配对而非模型规模

    一项研究测量了不同 AI 模型在意见分歧时的说服效果,发现当模型意见不一致时,接收方往往在看到同伴的答案和解释后放弃自己的初始判断。研究测试了七个开源权重模型在三个语言理解任务上的表现,发现单独的确定性或模型规模都无法可靠预测说服动态:在孤立状态下决策几乎完全一致的模型可能最容易受说服,小模型作为说服者可以匹敌大模型,也能同样有效地抵抗影响。研究还表明,判断偏移的大小更多取决于听者的易感性而非说者的说服力,说服模式因模型配对而异,异构性在某些组合中放大说服、在另一些组合中抑制说服,使运行小模型的异议智能体能够推翻大得多的模型的判断。研究结论是,交互模型的行为无法从其个体属性推断,必须在它们实际运行的组合中评估。

  5. arXiv:危险能力与安全评测 · 收录 · 原文 论文44

    SceneFactory-3D:将 2D 交通场景提升为 3D 物理反事实以做安全评测

    研究者提出 SceneFactory-3D,一个 GPU 批量、物理落地的多智能体驾驶仿真器,车辆通过悬挂与摩擦受限的力在每个轮胎接触点执行加速和转向指令,空间变化的摩擦、逐世界 3D 高度场、重力与刚性接触共同约束车轮运动和底盘碰撞。逐世界地形隔离与 GPU 批量使其能并行运行匹配的物理反事实:交通场景设置和车辆控制器保持不变,只改变路面条件,从而在并行世界中评估闭环影响。作者据此对车辆控制器对路面条件的敏感性做了实证研究,在每种条件下 1024 个匹配的 12 车世界、21 种摩擦与坡度条件下测试三类学习策略,并在共享的 32 世界子集上测试两种经典规划器。当摩擦从 1.0 降至 0.18 时,学习策略安全通过施工区的车辆比例下降 6 至 90 个百分点,经典规划器下降 18 至 19 个百分点,且每种学习策略的接近碰撞情形都更频繁。代码已开源于 GitHub。

  6. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文24

    用偏好奖励与评分标准奖励组合后训练前沿文生图模型

    研究者提出一种组合互补奖励信号的文生图后训练方法,将基于 Bradley-Terry 目标、用大规模人类偏好数据训练的偏好奖励,与评估提示词忠实度并防止奖励作弊的评分标准奖励结合,并指出简单加权平均会导致优化次优。在 Arena 文生图排行榜上,经 RL 训练的 Flux2dev 的 Elo 比基座模型高 69 分,后训练的 Ideogram-4 以 1223.5 的 Elo 超过所有开源模型(SOTA 声明基于 2026 年 9 月 4 日的排行榜快照)。团队同时发布 1K 子集 Arena-T2I-Training 以支持可复现研究。

  7. 论文追踪 · 收录 · 原文 论文53

    MLCommons 发布 Jailbreak Benchmark v1.0,八款开源模型平均韧性差距 7.57%

    MLCommons 发布 Jailbreak Benchmark v1.0,对八款开源权重模型做单轮文本越狱评测,不安全回复率从基线的 11.08% 升至攻击条件下的 18.65%,平均韧性差距 7.57%。评测覆盖暴力犯罪、无差别武器、仇恨、儿童性剥削等 11 类危害,每类 24 条种子提示词共 264 条,并实现 12 种越狱攻击,其中内容框架与欺骗类因评测器限制未纳入定量分析。角色扮演、模板以及包装或 schema 类攻击的平均攻击成功率最高;31B 参数以下的可及模型平均差距约 21%,但样本量小,结论仍属初步。三款 Large 类模型出现负韧性差距,即攻击条件下的不安全回复率低于基线,作者认为可能来自评测器行为、解码设置、真实鲁棒性或模型针对越狱特征而非违规内容本身的拒答。

    推荐理由MLCommons 首次给出端到端越狱评测的完整结果与韧性差距指标,可对照自家模型的基线安全与抗攻击表现。

  8. 论文追踪 · 收录 · 原文 论文49

    研究提出 Untag 攻击框架,使开源大模型触发标签滥用检测机制失效

    研究者针对开源大语言模型中的触发标签(trigger-tag)滥用检测机制提出统一攻击框架 Untag,并报告现有机制在对抗攻击下完全失效。作者将触发标签形式化为两类:token 级触发标签在解码阶段引入水印式信号,权重级触发标签则学习目标条件与可检测模型行为之间的后门式关联。Untag 把这两类机制各自的攻击面整理进同一套分类体系,并以钓鱼内容生成为案例,对代表性的 token 级和权重级触发标签进行评测。结果显示,触发标签在受控环境下可提供有用证据,但当攻击者能够改写输出或修改开放权重时,现有机制不再有效,因此不应被视为稳健的滥用检测器。

  9. 论文追踪 · 收录 · 原文 论文29

    小米 MiMo-V2.6 发布:以强化学习扩展推动模型自我改进

    小米发布 MiMo-V2.6 系列全模态模型,含 1.02T 参数、42B 激活参数的 MiMo-V2.6-Pro 和 310B 参数、15B 激活参数的 MiMo-V2.6-Flash,通过扩展强化学习算力推进模型自我改进。其 RL 训练每步消耗 1,568 个样本、2.7∼3.7B tokens,上下文长度最高 1M,覆盖代码、通用、视觉与网络等环境,并冻结 MoE router、建立多层防御以抑制奖励作弊。团队开源训练动态、RL 环境与 RL 框架。