全部论文

AUDIT PLAN 把安全对齐从“只优化最终答案”改成“先提交隐藏的结构化安全计划，再按该计划作答”，并用 FAITHGATE 把高答案奖励限定在计划正确时。

Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险，把安全与有用性放进同一个训练目标，并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。

Correct, Don’t Delete 比较的是：微调数据里已经固定的有害行，是删掉还是改成同一提示上的正确答案，更能减轻 emergent misalignment。

EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。

VaccineBooster 是一种对齐阶段防御：在提供方还看得到训练过程、还没接触用户微调数据时，把嵌入扰动和权重级梯度衰减合成同一次更新，用来应对之后不受信任的微调。有害微调可以只混入少量有害指令-回答对，就削弱拒答并提高有害输出的可能，任务效用却仍然好看。过滤会漏掉隐蔽样本，事后修复又往往不知道该修哪里。

Bi-QSTO 研究一个实际训练缺口：基于质量的数据选择会先于微调决定样本去留，而以往微调投毒多假设毒样本直接进入训练集。已对齐 LLM 的拒答会被少量有害或看似无害的微调样本削弱。作者用三个问题串起实验：选择能否排除毒样本。

Story imprinting 指的是：只写人类角色的合成故事，经监督微调后会改变默认 Assistant 在普通多轮对话里的行为。。

Inoculation Midtraining 试图在后训练之前，用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境，使混合数据里的不安全成分留在该语境内。

FDCU 是一种约束参数更新的遗忘方法，用来降低再训练把已抑制恶意行为重新引出的可能。

SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。

Cunning 是一种两阶段对齐：先用与安全目标不绑定的推理陷阱题培养 vigilance，再接常规安全微调，使安全判断更常在有害计划之前控制回复。

Unidirectional Safety Gate 是面向 PPOW 发布设定的发布时防护：大部分权重仍可训练，一小部分安全关键组件由提供者侧加固保留，下游不必配合额外安全流程。。

WIFA 是一种自动意图组数据构造，用来让安全微调拒绝有害意图而不是拒绝表面包装。WIFA-Boost 与 A-GCRT 在同一数据层上选取不同的安全–过拒工作点。