事件历史事件
训练完全相同的语言模型会被不同越狱攻破
先了解这件事
AI 综述
论文作者在150个接受相同安全后训练的1B模型上发现,哪些越狱提示能攻破模型主要取决于预训练运行而非预训练数据:仅后训练种子不同的模型对,逐提示非拒答率相关系数平均0.984,换成不同预训练种子降至0.811。实验以25种数据配方、各3个预训练种子训练基座模型,施加相同Tülu 3安全后训练。
AI 根据报道生成 · 17 天前更新
走势与进展
每小时关注度
现在 39,24 小时 0%·峰值 39(11月6日 03:00)
11月7日11月8日11月9日11月10日11月11日11月12日11月13日现在 39
相关研究
这件事的论文
- 训练完全相同的语言模型会被不同越狱攻破
arXiv · 2026-10-25 · 深度解读
后续时间线
11月4日
- 小红书小红书 刘东瑞 上海 AI Lab· 讨论相同训练的LLM在不同越狱中失败(新标签页打开原帖)
10月27日
- 网页AI Threat Watch (aithreat.io)· 媒体跟进One Leak Away: How Pretrained Model Exposure Amplifies Jailbreak Risks in Finetuned LLMs(新标签页打开原帖)
10月25日
- arXiv:越狱、提示注入、投毒与防御精选训练完全相同的语言模型会被不同越狱攻破
论文作者在 150 个接受相同安全后训练的 1B 模型上发现,哪些越狱提示能攻破模型主要取决于具体的预训练运行,而非预训练数据。实验用 25 种数据配方、各 3 个预训练种子训练基座模型,再施加相同的 Tülu 3 安全后训练(各 2 个后训练种子),对 3,212 个对抗性有害提示各采样 20 次回答。共享同一预训练运行、仅后训练种子不同的模型对,逐提示非拒答率相关系数平均为 0.984;换成不同预训练种子降至 0.811,再换数据配方仅进一步降至 0.779,该模式在全部 25 种配方及 150M、300M 规模下成立。在单个检查点上效果最好的攻击模板,换预训练种子后仅在 27% 的模型对中保持最佳,换后训练种子则为 67%;模型在 3,211 个提示上的非拒答率每次都能从 75 个预训练运行中识别出所属运行,随机抽 50 个提示仍有 98% 的准确率。
相关讨论
共2条
- 72 小时以前 · 不计入 72 小时的数字
- 小红书小红书 刘东瑞 上海 AI Lab相同训练的LLM在不同越狱中失败(新标签页打开原帖)
仅提供链接,本站不转载内容。
- 网页AI Threat Watch (aithreat.io)One Leak Away: How Pretrained Model Exposure Amplifies Jailbreak Risks in Finetuned LLMs(新标签页打开原帖)
关注度走势
每天新增来源
- 11月4日新增1个来源(0家媒体、1个账号)
- 11月5日新增0个来源(0家媒体、0个账号)
- 11月6日新增0个来源(0家媒体、0个账号)
- 11月7日新增0个来源(0家媒体、0个账号)
- 11月8日新增0个来源(0家媒体、0个账号)
- 11月9日新增0个来源(0家媒体、0个账号)
- 11月10日新增0个来源(0家媒体、0个账号)
- 11月11日新增0个来源(0家媒体、0个账号)
- 11月12日新增0个来源(0家媒体、0个账号)
- 11月13日新增0个来源(0家媒体、0个账号)