事件历史事件
Meta AI与CMU等提出SimpleLoRIF过滤训练数据降低越狱率22%
先了解这件事
AI 综述
CMU、华盛顿大学与Meta AI等机构研究者本周在arXiv发表论文，提出无需安全标注的梯度归因方法SimpleLoRIF及过滤数据集SafeTulu。该方法在梯度空间比较训练样本与不安全输出的余弦相似度，移除最相关的20%样本后从基座重新训练，并只对最后四层Transformer做调整。研究在Qwen、Llama、OLMo三个模型家族上将GCG越狱攻击成功率最多降低22%，GSM8K与MATH 500数学推理性能持平或更好。
AI 根据报道生成 · 13 天前更新
后续时间线
10月30日
- TechTimesMeta AI 与 CMU 研究者用部署前训练数据过滤将 GCG 越狱攻击成功率最多降低 22%
CMU、华盛顿大学与 Meta AI 等机构研究者本周在 arXiv 发表论文，提出无需安全标注的梯度归因方法 SimpleLoRIF 和过滤数据集 SafeTulu，在 Qwen、Llama、OLMo 三个模型家族上将 GCG 越狱攻击成功率最多降低 22%，GSM8K 与 MATH 500 数学推理性能持平或更好。方法将训练样本与不安全输出在梯度空间比较余弦相似度，移除最相关的 20% 样本后从基座重新训练，并只对最后四层 Transformer 块反向传播以控制算力。HarmBench 迁移 GCG 攻击下，SafeTulu 模型攻击成功率为 3.1% 和 3.8%，低于全量 Tulu 3 的 9.4% 和 10.2%，而 LLM-as-a-judge 过滤同样比例样本几乎无改善，表明安全退化信号不在文本层面。