SWE-Critix:用于评估编码 Agent 轨迹的后训练通用验证器
提出 SWE-Critix,后训练通用验证器评估编码 Agent 轨迹
- arXiv
- 2610.13356
- 发表
- 层
- 应用层
- 被测模型
- Qwen3-30B-A3B-Thinking-2507、SWE-Critix SFT、SWE-Critix RL
另有233篇论文还没打上分类标签,暂不在筛选结果里。
提出 SWE-Critix,后训练通用验证器评估编码 Agent 轨迹
提出 DREAM,选择性削弱 Agent 投毒记忆并保留良性记忆
审计仅标签后门的训练标签,比较空间与统计量并以重训评判
作者问的是:手里没有可信数据的防御者,能否决定留下哪些训练标签,以及这会毁掉多少干净数据、最终模型准确率如何。
提出 Task Bank 自回放,缓解持续指令微调的留出遗忘
作者研究语言模型学习新任务时,如何用自身知识做更广的自我保持:给定清单不完整,遗忘又会超出清单,模型能否生成回放并帮忙选择目标。
提出 PASAC 与五层边界保证栈,把智能体评测越界变成可验证的全系统保证
提出 FAITH 安全过滤强化学习框架,训练高维系统在约束下优化任务回报
FAITH 是面向高维系统的无模型安全过滤强化学习框架:安全修正与任务回报分属不同模块。
提出 ReSI,用自动红队与配方搜索递归改进模型安全对齐
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
提出研究合同,把已批准选择绑定到执行证据并由检查器核验
研究合同用来核验计算科学研究智能体是否仍在已批准研究之内,不判断科学是否为真。。
测量 LLM 版本更替对科学摘要 AI 改写检测器的影响
作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。
演化可检查评分器并与自改进 Agent 共同演化,抑制奖励作弊
开放任务没有验证器时,被演化的是评分器,而不是再补一条手写 rubric。
提出 RL-ARC,用推理置信度在强化学习中校准推理模型
RL-ARC 是校准感知的强化学习框架,用推理过程的口头置信度调节答案置信度。
提出包络采样,用少量真值标注重标定 LLM 评委以缓解奖励作弊
作者研究后训练前如何选择真值标注的查询分布,使重标定后的廉价代理更适合被优化。真奖励昂贵时,实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上,on-policy 标注修不到这些点,随后的 KL 正则优化会把质量集中到被高估的输出。
提出 DFI 与 DFC 蒸馏,定罪隐瞒失配的教师或安全提取能力
摘要概括了论文针对隐瞒失配模型提出的 DFI 与 DFC 机制、主实验发现及适用边界。
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回
作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。
提出统一框架评测多模态大模型的遗忘方法
提出 SLDR,用选择性层恢复与动态路由防御恶意微调
SLDR 是针对恶意微调的微调后防御:在已对齐模型上做有符号层探测,只在敏感分数最大与最小的两层训练 LoRA,再用 lmax 的最后 token 表示决定是否启用适配器。
提出 OrthoPurify,用正交投影清除视觉语言模型适配器中的劫持方向
OrthoPurify 是部署前的 LVLM 后门净化方法,用一次正交投影去掉被劫持的权重更新方向。