空间胜过统计量,重训练胜过排序:审计仅标签后门下的训练标签
审计仅标签后门的训练标签,比较空间与统计量并以重训评判
- arXiv
- 2610.13051
- 发表
- 场景
- 模型与 API
- 被测模型
- ResNet-32
摘要查标签要在未拟合这些标签的空间里做,并用重训模型而不是检测分数评判。
作者问的是:手里没有可信数据的防御者,能否决定留下哪些训练标签,以及这会毁掉多少干净数据、最终模型准确率如何。
另有262篇论文还没打上分类标签,暂不在筛选结果里。
审计仅标签后门的训练标签,比较空间与统计量并以重训评判
作者问的是:手里没有可信数据的防御者,能否决定留下哪些训练标签,以及这会毁掉多少干净数据、最终模型准确率如何。
提出线性化最优传输下的测度稀疏字典学习 LWDL
LWDL 把概率测度嵌进 Hilbert 空间,再做稀疏字典学习。
提出 Cancerous 后门,用不可见阶段 token 分阶段腐蚀推理
Cancerous Backdoor Attack 把 LLM 后门从一次激活改成随触发累积推进的多阶段推理腐蚀。
提出 Task Bank 自回放,缓解持续指令微调的留出遗忘
作者研究语言模型学习新任务时,如何用自身知识做更广的自我保持:给定清单不完整,遗忘又会超出清单,模型能否生成回放并帮忙选择目标。
提出 ReSI,用自动红队与配方搜索递归改进模型安全对齐
分析优化教学适配指标为何使辅导选择塌缩并偏离专家判断
把教学适配指标做成微调目标后,指标上升,受过训练的教育者给出的评分下降。。
提出 RL-ARC,用推理置信度在强化学习中校准推理模型
RL-ARC 是校准感知的强化学习框架,用推理过程的口头置信度调节答案置信度。
提出包络采样,用少量真值标注重标定 LLM 评委以缓解奖励作弊
作者研究后训练前如何选择真值标注的查询分布,使重标定后的廉价代理更适合被优化。真奖励昂贵时,实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上,on-policy 标注修不到这些点,随后的 KL 正则优化会把质量集中到被高估的输出。
提出 DFI 与 DFC 蒸馏,定罪隐瞒失配的教师或安全提取能力
摘要概括了论文针对隐瞒失配模型提出的 DFI 与 DFC 机制、主实验发现及适用边界。
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
检验在线 RL 行为归因信号是否被梯度大小与流畅度混淆
BehaviorTrace 用原因已知的植入行为,检查在线 GRPO 里已有梯度归因能否找到教出该行为的 rollout。
检验潜意识学习能否经无关数据蒸馏传递能力、后门与作弊
摘要作者报告潜意识学习可传递新技能、后门与作弊倾向,且分布外泛化强于单层转向向量。
提出统一框架评测多模态大模型的遗忘方法
提出 SLDR,用选择性层恢复与动态路由防御恶意微调
SLDR 是针对恶意微调的微调后防御:在已对齐模型上做有符号层探测,只在敏感分数最大与最小的两层训练 LoRA,再用 lmax 的最后 token 表示决定是否启用适配器。
提出模型生物多目标验证与合并训练方法以减少能力损伤
本论文提出了一种针对 AI 安全评测用模型生物(Model Organisms)的多目标训练与验证体系。
比较连续后训练阶段如何改变语言模型的说服力
作者用同一人类协议,把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT,以及其后的 IPO。
提出 OrthoPurify,用正交投影清除视觉语言模型适配器中的劫持方向
OrthoPurify 是部署前的 LVLM 后门净化方法,用一次正交投影去掉被劫持的权重更新方向。
提出 SafeBridge,对齐循环语言模型不同循环深度的安全性
提出 FAB 攻击,向声学基础模型植入可由环境声触发的后门
摘要论文提出了针对声学基模的 FAB 后门攻击,在弱威胁模型下实现了任务无关、物理可触发的后门植入。
用 SafeEvo 提取拒绝电路,并提出 SCA 仅微调该电路
摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态,据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。