研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现
证明短开头词可唤醒基模型推理,且效应来自训练数据
完整解读证明短开头词可唤醒基模型推理,且效应来自训练数据
完整解读提出特征方向漂移机制与探针空间走廊正则,抑制蒸馏潜隐特质迁移
提出 OpenMLE 全栈,用执行反馈后训练机器学习元进化智能体
作者提出全栈 OpenMLE,在机器学习工程里研究从进化到元进化的一步,并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练,以及部署该模型的长程进化搜索。
分析良性知识蒸馏中提示模板对学生拒答保留的影响
完整解读提出 Bi-QSTO,优化能穿过质量筛选并在微调中削弱安全对齐的投毒样本
Bi-QSTO 研究一个实际训练缺口:基于质量的数据选择会先于微调决定样本去留,而以往微调投毒多假设毒样本直接进入训练集。已对齐 LLM 的拒答会被少量有害或看似无害的微调样本削弱。作者用三个问题串起实验:选择能否排除毒样本。
用零空间投影净化 LoRA 微调模型后门并保留基座与下游能力
完整解读测绘去安全开源模型的生产、重分发与下游应用留存机制
提出 AGENTQ,向开源智能体权重植入仅在量化后触发的恶意工具后门