事件历史事件
LLMON后训练降低间接提示注入攻击成功率
先了解这件事
AI 综述
IBM Research团队10月28日在arXiv发文提出LLMON后训练方法:用六个保留分隔符区分指令与数据,执行须经引用标识符的执行块;以4.6B token结构化语料对Granite-4.1的3B与8B模型做SFT、GRPO、DPO训练,在OPI与ASB间接提示注入基准上降低攻击成功率。
AI 根据报道生成 · 13 天前更新
走势与进展
每小时关注度
现在 40,24 小时 0%·峰值 40(11月6日 03:00)
11月7日11月8日11月9日11月10日11月11日11月12日11月13日现在 40
相关研究
这件事的论文
- 使用 LLMON 对大语言模型进行后训练
arXiv · 2026-10-28 · 深度解读
后续时间线
10月28日
- arXiv:越狱、提示注入、投毒与防御精选使用 LLMON 对大语言模型进行后训练
IBM Research 团队提出 LLMON(LLM Object Notation)后训练方法,用六个保留分隔符显式区分指令与数据,执行须通过引用标识符的执行块完成;团队构建 4.6B token 的结构化语料,覆盖通用、RAG 和工具调用数据并加入干扰指令与无关数据段变体,对 Granite-4.1 的 3B 与 8B 基座模型进行 SFT、GRPO 和 DPO 训练。在 OPI 与 ASB 两个间接提示注入基准上,攻击成功率从 53-100% 降至 0.02-5.6%,六类通用能力均值 3B 持平、8B 降 1.4 分。论文另提出 IFR、DAS、LEAK 逐层注意力指标,显示执行绑定在中后层形成;ARES 红队显示间接攻击鲁棒性升至 80-85%,直接与多轮攻击仅 32-37%,作者称该行为是学习到的而非强制保证,应作为多层防御中的一层。