语言模型中的自我保存
提出 Task Bank 自回放,缓解持续指令微调的留出遗忘
- arXiv
- 2610.12602
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等4个
- 防御模型加固
摘要作者称自回放可在清单外减遗忘,4B 上新任务信息有助于选目标,小模型则无。
作者研究语言模型学习新任务时,如何用自身知识做更广的自我保持:给定清单不完整,遗忘又会超出清单,模型能否生成回放并帮忙选择目标。
另有261篇论文还没打上分类标签,暂不在筛选结果里。
提出 Task Bank 自回放,缓解持续指令微调的留出遗忘
作者研究语言模型学习新任务时,如何用自身知识做更广的自我保持:给定清单不完整,遗忘又会超出清单,模型能否生成回放并帮忙选择目标。
提出 PASAC 与五层边界保证栈,把智能体评测越界变成可验证的全系统保证
用 FIBS 训练白盒探针,监控智能体破坏行为与未言明欺骗
提出 FAITH 安全过滤强化学习框架,训练高维系统在约束下优化任务回报
FAITH 是面向高维系统的无模型安全过滤强化学习框架:安全修正与任务回报分属不同模块。
提出 ReSI,用自动红队与配方搜索递归改进模型安全对齐
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
提出研究合同,把已批准选择绑定到执行证据并由检查器核验
研究合同用来核验计算科学研究智能体是否仍在已批准研究之内,不判断科学是否为真。。
提出 LTBD,用可学习分隔符隔离可信指令与不可信数据
LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
演化可检查评分器并与自改进 Agent 共同演化,抑制奖励作弊
开放任务没有验证器时,被演化的是评分器,而不是再补一条手写 rubric。
提出 RL-ARC,用推理置信度在强化学习中校准推理模型
RL-ARC 是校准感知的强化学习框架,用推理过程的口头置信度调节答案置信度。
提出包络采样,用少量真值标注重标定 LLM 评委以缓解奖励作弊
作者研究后训练前如何选择真值标注的查询分布,使重标定后的廉价代理更适合被优化。真奖励昂贵时,实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上,on-policy 标注修不到这些点,随后的 KL 正则优化会把质量集中到被高估的输出。
提出 DFI 与 DFC 蒸馏,定罪隐瞒失配的教师或安全提取能力
摘要概括了论文针对隐瞒失配模型提出的 DFI 与 DFC 机制、主实验发现及适用边界。
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回
作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。
提出 SLDR,用选择性层恢复与动态路由防御恶意微调
SLDR 是针对恶意微调的微调后防御:在已对齐模型上做有符号层探测,只在敏感分数最大与最小的两层训练 LoRA,再用 lmax 的最后 token 表示决定是否启用适配器。
提出 OrthoPurify,用正交投影清除视觉语言模型适配器中的劫持方向
OrthoPurify 是部署前的 LVLM 后门净化方法,用一次正交投影去掉被劫持的权重更新方向。
提出 AgentTracer,事后定位间接提示注入的注入点并重建攻击链
提出 SafeBridge,对齐循环语言模型不同循环深度的安全性
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。