跳到正文
事件历史事件

LLMON后训练降低间接提示注入攻击成功率

1篇报道1个报道来源最近报道

先了解这件事

AI 综述

IBM Research团队10月28日在arXiv发文提出LLMON后训练方法:用六个保留分隔符区分指令与数据,执行须经引用标识符的执行块;以4.6B token结构化语料对Granite-4.1的3B与8B模型做SFT、GRPO、DPO训练,在OPI与ASB间接提示注入基准上降低攻击成功率。

AI 根据报道生成 · 13 天前更新

走势与进展

每小时关注度

现在 40,24 小时 0%·峰值 40(11月6日 03:00)

11月7日11月8日11月9日11月10日11月11日11月12日11月13日现在 40

相关研究

这件事的论文

后续时间线

10月28日
  1. arXiv:越狱、提示注入、投毒与防御精选
    使用 LLMON 对大语言模型进行后训练

    IBM Research 团队提出 LLMON(LLM Object Notation)后训练方法,用六个保留分隔符显式区分指令与数据,执行须通过引用标识符的执行块完成;团队构建 4.6B token 的结构化语料,覆盖通用、RAG 和工具调用数据并加入干扰指令与无关数据段变体,对 Granite-4.1 的 3B 与 8B 基座模型进行 SFT、GRPO 和 DPO 训练。在 OPI 与 ASB 两个间接提示注入基准上,攻击成功率从 53-100% 降至 0.02-5.6%,六类通用能力均值 3B 持平、8B 降 1.4 分。论文另提出 IFR、DAS、LEAK 逐层注意力指标,显示执行绑定在中后层形成;ARES 红队显示间接攻击鲁棒性升至 80-85%,直接与多轮攻击仅 32-37%,作者称该行为是学习到的而非强制保证,应作为多层防御中的一层。

相关讨论

本站还没有收集到这件事的讨论链接。

关注度走势

每小时关注度

当前关注度40·可比范围峰值40(11月6日 03:00)·近 24 小时可比范围变化 0%

01020304011月6日03:0011月8日11:0011月10日18:0011月13日02:00