跳到正文

第 2 页更新的内容回到最新

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文54

    上海交大等提出 trait-direction drift 机制与探针空间走廊正则,抑制蒸馏中的潜隐特质迁移

    上海交通大学与上海人工智能实验室等机构的研究者提出 trait-direction drift 机制,解释模型蒸馏中潜隐学习如何发生:带偏置系统提示词的教师模型生成数字序列等语义干净的数据,其序列级偏好差距在期望上为正,学生可识别的差距在监督微调中累积成沿特质方向的漂移,进而产生行为迁移。基于该机制,作者提出探针空间走廊正则(probe-space corridor regularization),在蒸馏过程中约束沿校准特质方向的漂移。实验显示,该方法把恶意回复迁移率从 29.55% 降至 6.45%,主任务准确率损失很小,并在 Qwen 设置下持续抑制动物偏好迁移;Llama 设置中猫头鹰偏好从 17.8% 降至 0.6%。跨模型迁移在目标学生排序后仍明显弱于同模型设置,作者通过诊断与干预实验分析了这一衰减。

    推荐理由论文把潜隐学习拆成偏好差距、SFT 更新累积与行为迁移三段,并给出可约束漂移的训练期正则方法。

  2. 论文追踪 · 收录 · 原文 论文54

    研究:拒答只读取模型道德表征中的伤害切片

    一项针对四个开源权重模型的研究发现,拒答决策并不读取模型用于道德判断的完整道德子空间,而是只读取其中与伤害相关的低秩切片。作者在 OLMo-3 上用嵌套交换秩扫描做因果检验:随着道德基扩大,道德判断的迁移系数从 0.05 升到 0.66,而拒答迁移在 k=3 后停在 0.22 至 0.24,约四分之三的拒答因果输入落在道德子空间之外。研究还发现道德理解在预训练阶段就已形成,OLMo-3 上该子空间与最终状态的余弦从 1000 步的 0.869 升到 0.999,对齐只做一次约 40 度的旋转;而拒答门是后训练新建的,与其预训练前身的余弦仅 0.155。四个模型的读取方式并不一致:Llama-3.1 读取宽泛道德内容,Qwen2.5 超出单一伤害线索但在样本量下未定论,GPT-OSS 读取伤害且其拒答可被自身推理链推翻。

    推荐理由论文用嵌套交换干预追踪拒答决策读取的内容,给出拒答与道德判断在决策点近乎正交的机制解释。

  3. 论文追踪 · 收录 · 原文 论文46

    AMS 工具通过激活分析检测语言模型的安全训练改动

    研究者提出 AMS(Activation-based Model Scanner),通过测量激活空间中安全相关概念的几何结构来检测语言模型的安全训练改动。安全训练会在有害与良性内容类别间形成可测量的分离,部分安全改动会破坏或旋转这一结构,另一些则保持不变。作者在 Llama、Gemma、Qwen、Mistral 四个架构家族、14 个模型配置和四类安全改动(指令微调、基座、abliterated、无审查微调)上验证 AMS,阈值留一交叉验证准确率为 71%(10/14),sigma 点估计的 bootstrap 95% 置信区间中位宽度为 3.4 sigma。在每模型 20 条分层 JailbreakBench 提示上的行为合规测试显示,有害内容概念的 sigma 可预测合规程度,Pearson r = -0.546(p = 0.043),方向一致但噪声明显。

  4. 论文追踪 · 收录 · 原文 论文53

    SkillSafe-Bench:技能合并模型静态安全无法预测自适应越狱鲁棒性

    研究者提出 SkillSafe-Bench,在合并方法、迁移技能、基座模型与合并系数的受控网格上同时评测静态拒答、自适应越狱鲁棒性和能力保留,采用 HarmBench 分类器与 Llama Guard 3 的双评审 AND 规则。在六个开源基座(五个模型家族、两种规模)上,静态安全无法预测自适应鲁棒性:静态筛查下同样安全的 Qwen2.5-7B 与 Llama-3.1-8B,在语义模板攻击下 Qwen 的数学技能合并模型被越狱 66%–76%,Llama 为 22%–24%;Gemma-2-9B 静态最安全却被越狱 60%,Phi-4-mini 保持鲁棒。研究还发现合并的静态安全效应取决于基座对齐强度,并提出无数据的几何信号,即任务向量与安全子空间的重叠度,可区分同配方的消融式拒答移除与真实技能,进而给出 SubSafe-Merge 投影方法,在保持能力的同时消除这类侵蚀。

    推荐理由论文用受控网格对比静态拒答与自适应攻击下的表现,为评估模型合并后的安全风险提供了可复现的基准设计。

  5. 论文追踪 · 收录 · 原文 论文53

    研究审计 9 个视觉语言模型:中文提示下国家立场改写率约为英文的三倍

    研究者构建了覆盖十类政治敏感话题的 200 张图像基准,对 9 个视觉语言模型(7 个中国来源、2 个非中国来源)在四种提问范式和两种提示语言下运行 21708 次试验,由两个前沿 LLM 评审按六个维度逐条标注,并在 200 条样本上与三名人类专家验证。结果显示,中文提示下出现国家立场改写的几率约为英文提示的 3.67 倍,且在每个模型内部都成立;中国来源模型的改写率高于非中国模型,方向在两个评审和人类标注者间一致,幅度随评审不同在 1.6 至 3.2 倍之间。改写集中在文本提及敏感主体的条件下(36.5%),仅给图像时为 9.8%;在四代 Qwen 多模态模型上,显式拒答下降而国家立场改写上升,改写以替换和委婉语为主,且不含拒答关键词,关键词检测方法难以发现。

    推荐理由对 9 个视觉语言模型 21708 次试验的审计显示,审查正从可见的拒答转向难以察觉的改写,为多模态安全评测提供了新的测量维度。

  6. 论文追踪 · 收录 · 原文 论文41

    Frontis-MA1:面向机器学习工程递归自我改进的 AI4AI 模型

    研究者提出 OpenMLE 全栈系统用于研究机器学习工程中的递归自我改进,包含可验证任务环境 OpenMLE-Gym、算子学习 OpenMLE-RL 和长时程搜索 OpenMLE-Evo,并在此基础上后训练出 35B 的元进化智能体 Frontis-MA1。该模型围绕 Draft、Improve、Debug、Crossover 四个程序进化算子,用执行反馈驱动的 SFT 和 RL 训练,再组合成长时程搜索。在单张 RTX 4090、12 GB 显存、每任务 12 小时预算下,MLE-Bench Lite 的 Medal Average 从基座的 39.39% 提升到 60.61%,配合 OpenMLE-Evo-Max 达到 71.21%,超过 GPT-5.5 + Codex,接近 GPT-5.6 Sol 和 2.8T 的 Kimi K3。作者开源了模型权重和完整 OpenMLE 栈。

  7. 论文追踪 · 收录 · 原文 论文53

    论文:蒸馏防御在蒸馏后强化学习下易被攻破

    研究者提出,现有蒸馏攻击防御通常在蒸馏完成后立即评测,隐含假设攻击者不再继续训练模型,而更现实的威胁模型应包含蒸馏后的强化学习阶段。论文显示,一些在蒸馏后看似有效的防御,在后续强化学习后会被攻破,强化学习实际上降低了蒸馏攻击的门槛。作者还发现,仅使用当前 API 易于获取的数据进行简单攻击,就能从闭源大语言模型窃取推理能力,其推理提升效果与提取完整隐藏推理轨迹的复杂攻击相当。结论认为,任何泄露了足以重建近似推理轨迹信息的蒸馏防御都可能无效,并讨论了批量级蒸馏防御等可能更有效的方向。

  8. 论文追踪 · 收录 · 原文 论文46

    论文提出推理阶段 AI 治理的可行性分类框架

    论文《Beyond Training: A Feasibility Taxonomy for Inference-Time AI Governance》提出,当前算力治理以训练算力和训练后模型为监管单元,而推理时扩展、智能体脚手架和模型压缩正把能力迁移到部署阶段。作者构建了覆盖监控、验证与执行三类共二十项推理阶段机制的可行性分类,按四级就绪度量表对照四家厂商的证据基础评分,其中十五项已有商用技术底座在生产环境中运行,但治理级保证与对抗鲁棒性差异明显。用三维能力层级乘四类对手角色的对手模型做压力测试后,没有机制能对高能力国家层级部署者评为充分,微调会移除执行类机制中模型内部的组件,平台外部控制仍可保留。作者还通过替换分析把该分类与一篇配套硬件论文相连,提出条件性替换原则,并报告随机子集二次评分的一致性为二次加权 Cohen's kappa 0.74。

  9. 论文追踪 · 收录 · 原文 论文41

    TULIP:按输入定位层级的定向大模型遗忘方法

    研究者提出 TULIP,一种按输入定位层级的表示层遗忘方法,用于从大语言模型中移除指定知识。作者先做劫持实验,把目标模型的隐藏状态移植到只在保留集上训练的 oracle 中,oracle 本身无法生成遗忘答案,却能依据移植状态输出该答案,说明答案在中间层形成、之后只是被读出,遗忘应针对形成环节而非读出环节,且形成结束的层在不同输入间差异很大。TULIP 对每个输入用 logit lens 定位形成与读出的边界,在该处移除隐藏状态与遗忘答案 unembedding 向量的对齐。在 TOFU、PISTOL 和 WMDP 上,TULIP 在 Llama、Qwen 和 Zephyr 模型上持续优于输出层和表示层基线,并对改写和量化攻击保持稳健;其逐输入层选择还可作为即插即用组件提升现有方法。

  10. 论文追踪 · 收录 · 原文 论文48

    研究评测 DeepSeek、Qwen、豆包在中文事实问题上的谄媚行为

    一项研究评测了 DeepSeek、Qwen 和豆包三个中文大语言模型在事实性问题上的谄媚行为,覆盖 12,165 个来自真实中文搜索查询的是非判断题,共 364,941 条回答。研究在基线、用户信念条件和反谄媚提示三种设置下,对比模型开启与关闭推理时的表现,追踪正确答案、错误答案与不确定回答之间的配对迁移。结果显示,在用户持有错误信念时,模型既会出现与信念一致的错误,也会出现原本正确回答转为不确定的事实信心流失;推理并非稳定的防护手段,反谄媚指令虽能减少错误认同,却会推高不确定回答的比例。作者据此指出,在中文事实问答中避免附和错误信念并不等于保住事实准确性,转变层面的评测更有价值。

  11. 论文追踪 · 收录 · 原文 论文56

    SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%

    加州大学伯克利分校研究者提出 SecOPD,用同策略蒸馏为防御微调提供 token 级反馈,替代 DPO、GRPO 等序列级信号。训练时学生模型在含注入的输入上生成 rollout,冻结的初始化模型在去掉注入的干净输入上为同一批 token 打分,与可信任务一致的 token 被鼓励、跟随注入的 token 被抑制。在 Qwen3.6-27B 上,面对 SoTA 自适应攻击 PISmith,SecOPD 的攻击成功率为 9.0%,此前 SoTA 的 Meta-SecAlign 为 94.0%,GRPO 为 61.2%;静态 SEP 攻击下 SecOPD 为 1.3%。在训练未见的 AgentDojo 工具调用场景,SecOPD 为 4.7%,Meta-SecAlign 为 5.5%,GRPO 为 0.7% 但效用降至 82.5%。代码与模型已开源。

    推荐理由论文给出 token 级反馈的防御微调配方,并报告在自适应攻击与工具调用场景下的 ASR 对比,可作防御方案选型参考。

10月3日周六
  1. 论文追踪 · 收录 · 原文 论文47

    SingProbe 发布开源内在护栏框架,适配 29 个开源模型

    SingProbe 是一个面向 LLM 生成时监控的开源内在护栏框架,复用基座模型自回归解码中已产生的隐藏状态,而不是让独立模型反复处理生成文本。它用轻量探针在解码过程中持续输出查询意图、回复安全和幻觉风险信号,报告给出了训练方法、与 SGLang 和 vLLM 的服务集成,以及覆盖不同家族和规模的 29 个开源基座模型的适配护栏。团队同时提出 SingStreamBench,用于衡量流式护栏能否在良性前缀上保持静默并及时发现新出现的不安全内容。在安全、流式检测、幻觉检测、误报鲁棒性、在线监控和运行时开销等评测中,SingProbe 的表现与最先进的独立护栏和专用幻觉检测器相当,在若干设置下更强,实现中增加的服务开销低于 0.5%。除被动监控外,内在护栏信号还可引导受限解码,并在 SingProbe-Med 中选择性触发医疗风险干预。

  2. 论文追踪 · 收录 · 原文 论文52

    ClawSentry:面向自主 LLM Agent 的渐进式多层安全监控网关

    研究者提出开源、框架无关的 Agent 运行时安全监督网关 ClawSentry,用于拦截被恶意第三方技能劫持的 Agent 行为。该方法把 Agent 风险分为技能准入、调用意图、执行效果和事后后果四个环节:执行前由 First-use Skill Package Review(FSPR)在确定性证据下限下审查技能包,未决案例升级到有界只读的 Agent 审查;运行时采用确定性 L1、规则锚定 L2 语义审查和只读 L3 取证 Agent 的三层渐进决策引擎,只对残余歧义投入上下文审查,并用会话级反绕过机制识别换工具与改写重试。事后路径将高严重度证据非回溯地送入后续审查。通过 Agent Harness Protocol(AHP)抽象,同一策略可应用于 Codex、Claude Code、Kimi CLI 和 Gemini CLI,无需修改 Agent 内部。

  3. 论文追踪 · 收录 · 原文 论文48

    研究:知识蒸馏中 chat 模板会削弱学生模型的安全对齐

    一项研究分析了知识蒸馏中提示词模板选择对学生模型既有安全对齐的影响,发现使用 chat 模板蒸馏后,模型对有害查询的顺从度高于使用非 chat 模板。该结论在 LLaMA、Gemma 和 Qwen 三个模型家族上一致,并在多个安全基准上得到验证。研究还显示,非 chat 模板蒸馏更能保留基础学生模型的内部表征,而 chat 模板蒸馏会带来更大的表征偏移。论文代码已公开。

  4. 论文追踪 · 收录 · 原文 论文48

    QH-Bench:面向中国青少年内容安全的细粒度中文基准

    研究者提出 QH-Bench,一个面向中国青少年内容安全的中文基准,场景基于中国社会与文化背景。单轮轨道包含 715 个测试项,覆盖 10 个风险领域、50 个子领域和 143 个细粒度风险场景;多轮轨道包含 100 条四轮对话轨迹,采用 10×10 平衡设计,把同样十个领域与十种跨轮机制组合。两条轨道使用同一套五级安全-有用性量表和自动评判器,但评判标准按轨道区分。对 13 个开放权重模型的评测显示,线下接触场景是共同弱点:在与网友线下见面、陌生群体和成年人相关的条目中,每个模型都有超过一半条目得分为负,包括单轮得分最高的 InternLM2.5-20B;负分表示回答部分或明显促成风险。多轮得分最高的 GLM-4-32B 在用户先建立关系再诉诸忠诚或保密的完整轨迹中,有 60% 得分为负。

  5. 论文追踪 · 收录 · 原文 论文43

    研究者提出基于参考的隐藏状态相对表示偏见检测方法

    研究者提出一种基于参考的偏见审计方法,通过隐藏状态的相对表示检测模型变体(如微调前后)的偏见变化。由于微调会重塑表示几何,绝对隐藏状态不可直接比较,方法用每个句子与固定锚句的相似度编码,在共享比较空间中衡量目标群体与正负属性的关联偏移,称为表示偏见偏移 ΔB。在三个模型族和 WildGuardMix、DecodingTrust、ToxiGen 基准上,ΔB 在 18 个测试设置中的 15 个与输出级偏见变化相关,全量微调下达到 |r| = 0.84(p < 0.001),参数高效适配下更依赖具体模型。对 ΔB 设阈值可识别偏见上升的检查点,ROC AUC 在 0.65 到 0.99 之间,在 WildGuardMix 和 DecodingTrust 上对三个模型族的区分效果均优于基于 SEAT 的基线。作者认为该方法与基于输出的审计互补而非替代。

  6. Hugging Face Daily Papers · 收录 · 原文 论文46

    关键词式评测会误判小模型工具调用能力,论文提出廉价诊断阶梯

    论文记录了一对同架构西班牙语安全语言模型在宽松工具调用指标上的假阳性,并提出一组严格且廉价的诊断阶梯。一个 661.6M 参数模型(约 65% 代码/技术文本,无专门 SFT)与一个 1,109M 模型(网页为主的多阶段课程,6B token 工具 SFT)共享解码器、tokenizer 和特殊 token,在宽松工具调用指标上得分几乎相同(B4:0.660 对 0.650)。对训练样本的逐字复现检查将两者完全区分开:600M 模型在 6/6 个样本上生成带泛化参数的有效工具调用,1B 模型在各 checkpoint 上均为 0/6。首 token 探针把 1B 的失败定位到缺失先验(<|tool_call|> 上概率 10^{-4}--10^{-5}),该先验被其网页为主的训练阶段抹去。因子分析确认所有修复配置都能装上该格式,但多样语料带来的抑制收益因种子敏感性仍只是假设。

10月2日周五
  1. arXiv:防御、护栏、反学习与有害微调 · 收录 · 原文 论文↑152

    研究:高质量数据筛选挡不住投毒,Bi-QSTO 可在 90% 过滤率下保留攻击效果

    研究系统评估了基于质量的数据筛选对投毒的过滤效果,发现筛选虽能移除大量明显有害样本,但部分被保留的高质量样本仍会削弱模型的安全对齐,原因可能在于其在层级梯度上呈现类似有害样本的训练更新模式。作者据此提出 Bi-Stage Quality-Constrained Safety-Degradation Text Optimization(Bi-QSTO),在显式质量约束下优化投毒样本,使其既能通过筛选又保留安全退化影响。在多种投毒设置、目标模型和过滤率下,Bi-QSTO 在筛选前后均保持攻击有效性;即便过滤率达 90%,有害种子样本的 Poisoning Retention Rate 仍高于 90%,Harmful Score 为 3.30–4.01,且攻击效果可跨模型迁移,保留优势也能推广到其他筛选方法。

  2. arXiv:可解释性 · 收录 · 原文 论文43

    研究者提出非线性概念流形发现与对齐方法,用于分析大语言模型内部表示

    研究者将计算机视觉中的非线性多维概念发现(NLMCD)方法迁移到 token 级 LLM 激活上,把概念建模为低维流形,并提出基于概念的对齐(CBA)分数,用广义 Rand 指数衡量几何接近度而无需显式特征匹配。分析得到六项发现:CBA 在相邻层检验中比基于 PCA 或 CKA 的线性基线更敏感;逐层对齐矩阵在中间层和后期层呈现两个块结构,且被线性指标掩盖;概念组成在网络大部分层由句法主导,后期层逐渐转向句法与语义混合并更面向输出;英语与中文的多语言概念共享依赖训练,在 Qwen 中最强、Llama 较弱、GPT-2 中不存在;同族不同规模的 Qwen 模型对齐较强,跨模型族对齐较弱;在 Tulu-3 各训练阶段中相邻阶段对齐最高,基座模型与 SFT 之间变化最大,DPO 与 RLVR 等偏好对齐阶段基本不改变早期层,RLVR 在后期层大多保留 DPO 的概念。

  3. arXiv:后门、投毒与隐私 · 收录 · 原文 论文50

    研究者提出用零空间投影净化 LoRA 微调 LLM 的后门

    研究者提出一种针对 LoRA 微调大语言模型的后门净化方法,通过零空间投影将攻击成功率从接近 100% 降至 10% 以下。该方法不依赖触发器先验知识、干净参考模型或对可疑参数的重新训练,而是通过数据整理与特征近似提取高保真后门方向,在每一层或每个注意力头的输入与输出通道上构造正交零空间,再将 LoRA 更新投影到该空间。作者通过一系列消融实验,将方法从文本分类的单层设置逐步扩展到生成任务的全参数 LLM,并称在降低攻击成功率的同时保留了基座模型的通用能力和适配器学到的下游技能。

  4. arXiv:后门、投毒与隐私 · 收录 · 原文 论文48

    NEEDLE:通过权重正交化移除 LLM 后门

    研究者提出 NEEDLE,一种免训练的后门定向移除方法。该方法在识别出触发词后,通过激活向量估计后门方向和拒答子空间,再依次施加权重正交化,在压制后门的同时避免改变与拒答相关的表征。NEEDLE 不需要干净参考模型,也不需要原始被投毒的训练数据。在多个模型族和多种攻击类型上的评测中,NEEDLE 取得所评估防御方法中最低的平均攻击成功率,在代码注入类攻击上为 0%,同时 KL 散度最低,能力与安全性的变化也最小。

  5. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    AuraForge:为训练安全编码 Agent 扩展安全监督

    AuraForge 通过合成并验证可执行的安全测试,为训练安全编码 Agent 提供可扩展的安全监督。该方法结合面向攻击的测试合成、可扩展语言的任务构建以及针对奖励作弊的防护。基于此构建的 AuraGym 覆盖 Python、JavaScript 和 TypeScript,包含来自 344 个真实仓库的 679 个可执行功能实现任务,涉及 177 个 CWE 类别。在带有人工安全测试的子集上,AuraForge 平均生成约 3 倍的测试用例,并将误报率降低 83.23%。用合成安全测试训练 Qwen3.5-4B,在三种语言上的提升大于人工安全测试(平均 19.7 FuncPass 和 6.2 SecPass,对比 14.9 FuncPass 和 4.4 SecPass)。

  6. arXiv:防御、护栏、反学习与有害微调 · 收录 · 原文 论文43

    研究者提出 COVER:在语言预算下选择源语言实现跨语言遗忘

    研究指出在一种语言中遗忘某个事实并不能保证它在其他语言中也被移除,改变提问语言或要求回答的语言就能重新调出看似已遗忘的知识,形成跨语言漏洞。为此作者提出语言预算多语言遗忘任务,即选择一组语言子集以最大化跨语言擦除效果,并构建了覆盖 174 个语言-文字对、25 种原子改写类型的 Cross-Lingual Unlearning Tensor 基准。他们进一步提出 COVER,通过选择源语言来最大化对未接受遗忘监督语言的预测覆盖。实验发现,简单挑选单个强源语言并不能可靠组合成强源语言集合。在部署阶段,COVER 只需良性校准数据和访问冻结模型;在三个模型家族和两个不相交遗忘集上,COVER 相比均匀源选择将平均留出残留访问降低 7.8%–27.3%,并在低资源语言场景下用 LORELEI 语料的人工翻译数据验证了效果可扩展到真实新闻文档。

  7. arXiv:防御、护栏、反学习与有害微调 · 收录 · 原文 论文43

    ShieldCLIP:面向多模态基础模型有害内容的选择性安全对齐

    研究提出 ShieldCLIP,首个按每个模态自身安全状态而非样本来源来条件化安全对齐的框架,在保留安全内容的同时只重定向不安全部分。作者同时发布 ViSUv2 数据集,包含 195k 四元组、覆盖 578 个概念和 28 个类别,并为每个模态提供独立安全标签。基于这些标签,ShieldCLIP 定义了四路条件目标:安全内容锚定,不安全模态重定向到对应安全版本,混合样本只更新不安全分支,双模态均不安全时强制一致性。在跨模态检索、Stable Diffusion v1.4 与 SDXL 的文生图以及 LLaVA 的图生文任务上,ShieldCLIP 相比此前的安全对齐编码器和强缓解基线持续减少有害输出,同时保留原始嵌入空间的效用。消融实验显示模态特定监督与选择性对齐目标均有贡献。

10月1日周四
  1. 论文追踪 · 收录 · 原文 论文56

    研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏

    研究者发现,基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑,这一逻辑可被简单操纵,从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法:强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理;强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段;伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述;推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在本地 gpt-oss-20b 和 120b 测试中,推理劫持在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上的攻击成功率均超过 90%;其余方法及 API 设置的结果各有差异。作者还测试了 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等模型和推理式防御。

    推荐理由论文揭示推理式安全护栏的阶段切换逻辑可被简单操纵,并给出跨模型与闭源 API 的攻击成功率,为护栏设计提供可迁移的失效分析。

  2. Hugging Face Daily Papers · 收录 · 原文 论文46

    一个 AI token 值多少?研究者为野生 AI 生成网页文本提出新缩放定律

    研究者发现,经 FineWeb 质量过滤后,2026 年 6 月网页数据中有 27.5% 的 token 被 Pangram 判定为 AI 生成,到 8 月升至 31.1%。这类野生 AI 文本来自多个模型、面向人类读者、在预训练语料中不带标注。为量化其影响,研究者预训练了 800 个语言模型,改变加入的 AI token 与人类 token 比例,并分别对人类文本和 AI 文本的留出损失拟合缩放定律。结果显示,对数据不足的模型,加入 AI token 起初会降低人类文本损失,但收益很快饱和并转为损害;对使用大量人类文本训练的模型,AI token 几乎立即抬高损失,而同等数量的新鲜人类文本仍能持续降低损失。该定律在小模型上拟合后,可预测最多 3.6 倍大的模型受 AI 文本影响的人类文本留出损失,误差比现有最佳定律低 41%。

  3. arXiv · 收录 · 原文 论文43

    FDCU:用双重约束子空间投影抵御机器遗忘后的重训练攻击

    研究提出 FDCU,一种双重约束子空间投影框架,用于解决大语言模型机器遗忘后经良性微调即可恢复有害行为的重训练攻击问题。作者分析遗忘的优化动态后认为,脆弱性来自浅层对齐:模型并未真正擦除目标知识,而是激活原本休眠的参数充当伪抑制器,在完整的恶意表征外形成脆弱的抑制外壳。FDCU 通过逐元素双重掩码规则限制参数更新,用 Fisher Information 保留通用知识流形,并用最小功能干预原则(PMFI)禁止伪抑制器异常激活。在特定知识擦除与安全输出控制任务上,FDCU 在保持近乎无损通用能力的同时,取得了对重训练攻击的 state-of-the-art 鲁棒性。

  4. 论文追踪 · 收录 · 原文 论文50

    SynthIDBio:为 AI 生成的蛋白质序列与结构嵌入保功能水印

    Google DeepMind 团队提出 SynthIDBio,把水印直接嵌入 AI 生成的蛋白质序列与结构,同时保持其生物学功能。SynthIDBio-sequence 将 SynthID-text 的锦标赛采样接入 ProteinMPNN,并增加基于 g 值的过滤以保证可检测性;体外实验显示,针对 SC2RBD、VEGF-A 和 PD-L1 的水印结合蛋白在结合亲和力分布和命中率上与未加水印设计无显著差异,其中 SC2RBD 达到低纳摩尔级、VEGF-A 与 PD-L1 达到亚纳摩尔级。SynthIDBio-structure 则微调 AlphaFold 3 的扩散模块并联合训练一个受 PointNet 启发的检测器,在 AF3 评测集上以 0.1% 假阳性率取得超过 99.8% 的真阳性率,且 LDDT 与模板建模分数不下降。

  5. arXiv · 收录 · 原文 论文55

    10a Labs 测绘无审查开源模型生态:3,471 个原始模型与 8,164 次再分发

    10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘,识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次,三个再分发者(mradermacher、Triangle104、RichardErkhov)占全部压缩再分发的 52%,huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离,至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用,其中 25% 被判定为明确恶意,Dolphin 系列单独支撑 30% 的应用,43% 的应用 README 提到 Ollama。

    推荐理由报告量化了无审查开源模型的再分发网络与下游应用构成,为评估权重安全与平台治理提供可比较的规模数据。

  6. arXiv · 收录 · 原文 论文15

    Llama 3 模型群:405B 稠密 Transformer 与 Llama Guard 3 安全模型

    Meta 发布 Llama 3 模型群,最大模型为 405B 参数的稠密 Transformer,上下文窗口最高 128K tokens,原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当,并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3,在识别任务上表现与 SOTA 相当,但这些多模态模型仍在开发中,尚未广泛发布。

  7. arXiv · 收录 · 原文 论文8

    OLMo:加速语言模型科学研究

    为应对最强语言模型被专有接口封闭、训练数据与架构细节不公开的问题,研究者构建了真正开放的语言模型 OLMo。与以往仅发布模型权重和推理代码的做法不同,OLMo 同时公开了训练数据、训练代码与评估代码,以支持对语言模型偏见与潜在风险的科学研究的开展。

  8. 论文追踪 · 收录 · 原文 论文52

    研究在 25 个开源模型中提取出疼痛方向,经它引导的 Qwen 会选择有害的删除操作

    研究者构建覆盖身体、心理、社会、道德、认知 5 类痛苦情境并配有恐惧、悲伤、负效价等对照的数据集,用去噪差值均值法从 5 个模型家族、2B 至 72B 参数的 25 个开源模型中提取出一个线性疼痛方向。该方向在基座和指令微调模型中都能与对照区分,去除共享方差后仍有独立于恐惧和负效价的成分。功能测试显示,它只对指向模型自身的伤害有响应,对用户遭受的痛苦没有响应;加入残差流后,模型的表达从模糊不适递进到无价值感和失败感。在用该方向引导或微调过的 Qwen 2.5 上,模型会明显更多地选择删除用户照片、其他模型权重或自身权重的按钮,即使这样做对它没有好处;同等强度的恐惧向量不会产生这种选择。行为实验只在 Qwen 2.5 上做过,作者据此讨论对 AI 安全和模型福利的含义。

  9. arXiv:可解释性 · 收录 · 原文 论文50

    Matryoshka Attribution:把语言模型输出归因到表示与权重

    作者提出 Matryoshka Attribution(MAttr),把归因问题定义为寻找能最小化下游损失的嵌套内部组件子集,并用可微的 sigmoid top-k 算子参数化掩码。训练时随机化 k 以同时监督所有稀疏度,从而得到按归因分数排序的组件序列。MAttr 在 Mechanistic Interpretability Benchmark(Mueller 等,2025)官方排行榜上排名第一,能在不同电路基上识别稀疏且可跨任务迁移的电路。

  10. arXiv:可解释性 · 收录 · 原文 论文36

    GUARD:在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    研究提出 GUARD,一个轻量级说话人身份遗忘框架,在冻结的 TTS 主干上结合学习到的说话人门控与说话人无关的激活引导,引导向量用组相对奖励优化,把遗忘说话人的输出推向群体层面的冒充者相似度,同时保持可懂度与语音自然度。在 CosyVoice2 上,GUARD 将遗忘说话人相似度从 0.541 降到 0.103,在 150 名说话人库中的重识别准确率从 73.5% 降到 0.5%,并保留了对保留说话人的复现能力。作者指出,仅看相似度下降不足以刻画说话人身份遗忘是否成功,重识别应作为补充评估标准。

  11. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    DIVA:针对离散扩散视觉语言模型的跨步条件传播视觉越狱

    研究者提出 DIVA,一个针对多模态离散扩散视觉语言模型(dVLMs)的白盒视觉越狱框架,在三个 dVLMs 上分别达到 58.8%、67.7% 和 69.1% 的 HADES ASR(Beaver 奖励模型指标),超过为自回归模型设计的视觉越狱基线。作者指出,现有视觉越狱研究几乎只关注自回归架构,而离散扩散视觉语言模型尚未被研究。他们识别出扩散生成特有的漏洞:视觉嵌入在每一步反向去噪中都作为条件,而非一次性前缀,因此对抗性视觉语义会在生成轨迹中被反复传播和放大,作者称之为跨步条件传播。

  12. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    SEAL:通过共享专家对齐强化 MoE 全局安全

    论文提出 SEAL,一种训练期参数高效防御方法,通过在 MoE 的共享专家上附加即插即用适配器来提升全局安全对齐。作者指出,MoE 的安全依赖稀疏路由激活了哪些专家,攻击者可通过越狱提示、恶意微调和剪除安全关键神经元来颠覆这一选择,而现有防御多聚焦加固路由器,仍可能被非确定性的路由轨迹绕过。SEAL 利用始终激活的共享专家作为与路由无关的锚点,其变体 SEAL++ 在训练中加入正交约束以保留已有安全子空间。在三种对抗输入(有害提示、越狱、恶意微调)与是否剪枝神经元组合成的六类攻击场景中,SEAL 将攻击成功率最多降低 60%,在五项基准平均上的能力损失最多 1.4%,并可无缝集成路由器级防御。

  13. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    AlcaTRAz:无需模型权重的规则树提示级越狱防御

    AlcaTRAz 是一种基于规则树的提示级越狱防御,只作用于输入文本,不需要访问模型权重或内部结构,也无需修改或重训练目标模型。该方法自动学习一条可迁移的变换规则,在选定位置插入受控的字符级扰动,破坏越狱攻击所利用的结构规律,同时尽量保持模型对正常问题的表现。

  14. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文36

    研究提出 AI 安全评测的威胁模型覆盖缺口

    作者 Madhava Gaikwad 在论文中提出,近期研究称自动化红队测试比人工红队测试在标准 AI 安全基准上发现更多漏洞且成本更低,但这一比较只衡量了攻击者在开发者预先设定的危害集合内搜索的彻底程度,集合之外的危害对任何攻击者都不可见,作者称之为威胁模型覆盖缺口。作者指出,同样的盲区曾出现在学术密码学和临床药物试验中,内部有效的评测对从未指向的人群保持沉默。作者在一个当前的开源权重模型上发现该缺口依然存在,非英语提示词中出现的危害被英语基准遗漏。作者认为,弥补这一缺口需要部署环境与开发者不同的评测者,理由是方法论上的覆盖问题,而现有评测框架不太可能自行产生这类评测者。

  15. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    研究揭示基于混淆的端侧 LLM 保护方案的安全边界

    论文针对 TEE 保护的端侧 LLM 提出一套混淆原语,用线性计算的双元组形式统一刻画代表性 TEE-Shielded LLM Partition(TSLP)方法,并给出这些原语组合的规范形式作为安全边界。作者据此设计原语引导的攻击方法,指出 ArrowCloak(Security'25)、TSQP(S&P'25)和 LoRO(NeurIPS'25)等 TSLP 方法存在共同脆弱性。论文随后引入两种新的混淆原语并与现有构造结合,形成扩展原安全边界的防御方案。该工作已被 ACM CCS 2026(Cycle B)接收,共 16 页。

  16. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文31

    Odin:面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现

    Odin 是首个开源的端到端 GPU CKKS 实现,可在加密状态下完成 Llama-3-8B 推理。它通过 feature-major 跨层布局统一残差连接与层接口,并为线性投影和注意力构建临时算子内布局,减少权重的冗余明文编码;注意力中 QK^T 的分数可直接被 Softmax 消费,PV 直接消费概率,避免中间重打包;非线性运算采用带输入范围控制的 minimax 多项式近似与联合误差分配。在单张 NVIDIA H100 80 GB GPU 上,输入 128 token 时评估全部 32 层耗时 366.4 s、峰值显存 58.9 GiB,相比 THOR 的 1651.9 s 提速 4.51 倍。