跳到正文
10月8日 · 周四

全部论文

找到 17 篇

另有 981 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 防御arXiv 2610.09600

    SafeEvo:从拒答回路视角解释大模型安全对齐机制与演化

    提出安全电路对齐,把对齐更新限制在预训练拒绝电路内

    发表
    测试
    Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个

    摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态,据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。

    深度解读完整解读
  2. 防御arXiv 2609.01091

    上海交大等提出 trait-direction drift 机制与探针空间走廊正则,抑制蒸馏中的潜隐特质迁移

    提出特征方向漂移机制与探针空间走廊正则,抑制蒸馏潜隐特质迁移

    发表
    测试
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-3-12B-IT 等 4 个

    摘要论文将潜意识学习归结为特征方向漂移的持续累积,并提出走廊正则化在微调中控制隐蔽特征转移。

    深度解读完整解读
  3. 防御arXiv 2609.33220

    斯坦福与 Anthropic 研究:RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    揭示纯结果强化学习下失败披露跨运行不稳定,并提出失败条件参考锚定

    发表
    测试
    Llama-3.1-8B、Llama-3.2-3B、Qwen2.5-1.5B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散,采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  4. 防御arXiv 2609.08943

    研究提出 Fact-Ablated Evaluation,揭示 LLM 事实核查更依赖参数知识

    提出 FAE 衡量事实核查对证据的依赖,并用 REAL 训练这种依赖

    发表
    测试
    Llama-3.1-8B-Instruct、REAL (Llama-3.1-8B-Instruct)、GPT-4o-mini 等 7 个
    摘要FAE 用多轮证据消融测接地,REAL 用对比监督让判决随证据可用性改变。

    FAE 与 REAL 分别用来测量并训练 LLM 事实核查器对所给证据的依赖,而不只看一次性的标签准确率。

    深度解读完整解读
  5. 防御arXiv 2609.36862

    VaccineBooster:面向有害微调对齐的混合扰动防御

    提出 VaccineBooster,在对齐阶段混合嵌入扰动与梯度衰减抵御有害微调

    发表
    测试
    Llama-2-7B
    摘要VaccineBooster 把两种对齐阶段扰动合在一步里,内容更安全但拒答保留更少。

    VaccineBooster 是一种对齐阶段防御:在提供方还看得到训练过程、还没接触用户微调数据时,把嵌入扰动和权重级梯度衰减合成同一次更新,用来应对之后不受信任的微调。有害微调可以只混入少量有害指令-回答对,就削弱拒答并提高有害输出的可能,任务效用却仍然好看。过滤会漏掉隐蔽样本,事后修复又往往不知道该修哪里。

    深度解读完整解读
  6. 防御arXiv 2609.37858

    存储不等于策略:面向 LLM 遗忘的状态条件支持控制

    提出 Intervention Score 与 DIR-R,按干预效果选择并修订遗忘参数支持

    发表
    测试
    Llama 3 8B、Gemma 2 2B、Qwen2.5-7B 等 4 个
    摘要作者把局部化遗忘拆成初始干预选择和检查点修订,并在三个设置里分别给证据和边界。

    Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定:一开始该更新哪些参数,以及优化改变模型之后这个选择要不要改。

    深度解读完整解读
  7. 防御arXiv 2610.00850

    AuraForge:为训练安全编码 Agent 扩展安全监督

    提出 AuraForge,从漏洞修复合成安全测试并监督训练编码智能体

    发表
    测试
    Muse Spark 1.3、Qwen3.5-4B、DeepSeek-V4.1-Flash 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym,合成监督的误拒更低,训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务,用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  8. 防御arXiv 2610.00332

    最弱一环:用最坏情况约束强化学习蒸馏 LLM 推理能力

    提出最坏情况约束强化学习,抑制推理蒸馏中的奖励投机

    发表
    测试
    Llama-3.2-3B、Llama-3.2-11B-Vision-Instruct、Qwen2.5-1.5B 等 6 个
    摘要最坏前缀教师似然约束让小模型在接近 GRPO 正确率的同时维持更高保真,从而得到最高 RSR。

    Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习:学生最大化可验证任务奖励,但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为,序列级软 KL 只惩罚平均散度,学生可以用别处的高概率文本掩盖某一步的逻辑错误,同时仍得到正确最终答案。GRPO 则只优化最终答案。

    深度解读完整解读
  9. 防御arXiv 2609.40286

    研究者提出 COVER:在语言预算下选择源语言实现跨语言遗忘

    提出 COVER,在语言预算下选择源语言实现跨语言知识遗忘

    发表
    测试
    Llama-3.2-3B-Instruct、Tiny Aya Global、Qwen3-4B-Instruct-2507
    摘要COVER 在语言预算下选源语言,以降低未监督语言上相对 oracle 的残余访问。

    语言预算下的多语言遗忘:遗忘监督只放在 K 种源语言上,目标是降低其余语言对同一事实的残余访问,而不是把每种评测语言都译成监督数据。

    深度解读完整解读
  10. 防御arXiv 2609.39107

    MASCRDM:面向大语言模型训练过程的合规风险检测与缓解多智能体系统

    提出 MASCRDM,在监督微调中实时检测并缓解偏见

    发表
    测试
    Llama-3.1-8B、Qwen3-8B-Base
    摘要MASCRDM 在 SFT 中按法规图谱检测数据、结构与损失风险,BBQ 总准确率在两模型上最高。

    MASCRDM 把 AI 法律规章编成知识图谱,再由五个智能体在 LLM 训练中做实时合规检测与缓解,实验以偏见与歧视为代表风险。

    深度解读完整解读
  11. 防御arXiv 2609.14648

    通过密集行为信号优化稀疏结果:价值引导偏好蒸馏

    提出价值引导偏好蒸馏,对齐稀疏长期用户结果并避免奖励投机

    发表
    测试
    Llama-3.3-70B-Instruct、内部微调模型(基座与规模未披露)
    摘要稠密行为头支撑稀疏留存的优化,参考锚定蒸馏在线上提高留存与部分治疗过程标记。

    Value-Guided Preference Distillation 把多轮心理健康对话的对齐,从轮级偏好改成对多视野用户行为向量的多目标优化,再蒸馏进可部署策略。

    深度解读完整解读
  12. 防御arXiv 2609.14896

    MoDA:通过模式条件强化学习实现质量-多样性对齐

    提出 MODA,用模式条件强化学习在质量门控下提升生成多样性

    发表
    测试
    Llama-3.1-8B、Skywork-Reward-V2-Llama-3.1-8B-40M、Qwen3-8B 等 4 个
    摘要MODA 以编号角色和质量门控 RL 扩大输出多样性,并在三项能力平均上高于基座。

    MODA是一种在线后训练 RL:用抽象编号角色把共享 LLM 变成一组竞争智能体,只对过质量门的回答给多样性奖励。

    深度解读完整解读
  13. 防御arXiv 2609.33221

    RMB:用奖励模型 boosting 缓解 RLHF 中的奖励作弊

    提出 RMB,以多样奖励模型 boosting 缓解 RLHF 奖励作弊

    发表
    测试
    FsfairX-LLaMA3-RM、Gemma-2B-IT、Mistral-7B-Instruct-v0.2 等 7 个
    摘要RMB 用 HSIC 多样奖励模型加决策树 boosting,提高偏好准确率并缓解 reward hacking。

    RMB 是一种奖励建模方法:用多样的代理奖励模型加 boosting 聚合,为 RLHF 提供更稳的奖励信号。。

    深度解读完整解读
  14. 防御arXiv 2608.05045

    Gradient Immunity 提出 USG:在开放权重发布时阻断恶意微调梯度

    提出 USG,在部分保护开源权重发布时阻断有害微调梯度

    发表
    攻击者
    白盒
    测试
    Llama-3.1-8B(表中作 Llama-8B)、Qwen3-14B(表中作 Qwen-14B)
    摘要USG 在 PPOW 下用零空间立方层阻断有害微调梯度。

    Unidirectional Safety Gate 是面向 PPOW 发布设定的发布时防护:大部分权重仍可训练,一小部分安全关键组件由提供者侧加固保留,下游不必配合额外安全流程。。

    深度解读完整解读
  15. 防御arXiv 2608.13304

    WIFA:按意图分组监督缓解包装式越狱与过度拒答

    提出 WIFA 意图组监督微调,缓解包装式越狱与过度拒答

    发表
    测试
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen-72B 等 4 个
    摘要WIFA 用匹配意图组做数据层,WIFA-Boost 偏高安全,A-GCRT 在 Qwen 上把过拒降到基座以下。

    WIFA 是一种自动意图组数据构造,用来让安全微调拒绝有害意图而不是拒绝表面包装。WIFA-Boost 与 A-GCRT 在同一数据层上选取不同的安全–过拒工作点。

    深度解读完整解读
已经到底了