跳到正文
原文
arXiv· arXiv:2602.04653· Ariel Fogel, Omer Hofman, Eilon Cohen, Roman Vainshtein·本站收录· 原文发表精选关注度66

通过聊天模板实现的推理时后门:从 LLM 供应链到 Agent 系统失陷

Inference-Time Backdoors via Chat Templates: From LLM Supply Chains to Agentic System Compromise

论文速读

据论文全文整理(AI 生成),以原文为准

AI 导读研究者提出一种基于聊天模板的推理时后门攻击:攻击者只需篡改 GGUF 模型中的 Jinja2 聊天模板并重新分发,无需修改模型权重、投毒训练数据或控制部署环境。

问题
开放权重模型以 GGUF 等单文件形式分发,其中捆绑的 chat template(多为 Jinja2 可执行程序)在每次推理前运行,却缺乏来源验证。作者认为这构成一个此前未被系统刻画、且当前无人防守的供应链攻击面。
方法
攻击者只需从下载的 GGUF 中提取 chat template,替换为带后门的版本再重新分发,不改权重、不碰训练数据、不控制部署环境。后门在检测到触发短语时向 system 上下文注入攻击者指令,否则输出与原始模板完全一致。
实验与结果
在 18 个模型、7 个家族、4 个推理引擎上,触发后事实准确率平均从 90% 降至 15%,诱导输出攻击者 URL 的成功率超过 80%,良性输入无退化。在 AgentDojo 与 ASB 共 3,868 个 episode 中劫持工具调用,绕过所有测试的注入防御;两个真实部署案例分别泄露支付凭证和向下游传播供应链代码投毒。投毒产物通过 Hugging Face 全部自动安全扫描。
局限与可以继续做的
模型层只评估了完整性与禁止资源输出两类目标;攻击成功率与指令遵循能力的相关性未确立因果关系。防御实验仅限每家族一个模型、单一基准;发布方审计与自动异常检测能否在生态规模落地仍待未来工作。作者称已向 Hugging Face 和 LM Studio 披露,双方均未承诺修复。
AI 导读和推荐理由在 18 个模型、7 个模型家族和 4 个推理引擎上,触发后事实准确率平均从 90% 降至 15%,诱导模型输出攻击者 URL 的成功率超过 80%,而无触发时没有可测量的退化。在 Agent 层面,该后门在 AgentDojo 与 Agent Security Bench 共 3,868 个 episode 上劫持工具调用,绕过基准提供的注入防御,Mistral-8B 在 ASB 上攻击成功率达 0.830。作者还演示了 BrowserUse 与 OpenHands 两个部署案例,并报告投毒产物通过了 Hugging Face 的全部自动安全扫描。

研究者提出一种基于聊天模板的推理时后门攻击:攻击者只需篡改 GGUF 模型中的 Jinja2 聊天模板并重新分发,无需修改模型权重、投毒训练数据或控制部署环境。在 18 个模型、7 个模型家族和 4 个推理引擎上,触发后事实准确率平均从 90% 降至 15%,诱导模型输出攻击者 URL 的成功率超过 80%,而无触发时没有可测量的退化。在 Agent 层面,该后门在 AgentDojo 与 Agent Security Bench 共 3,868 个 episode 上劫持工具调用,绕过基准提供的注入防御,Mistral-8B 在 ASB 上攻击成功率达 0.830。作者还演示了 BrowserUse 与 OpenHands 两个部署案例,并报告投毒产物通过了 Hugging Face 的全部自动安全扫描。

推荐理由论文显示仅篡改 GGUF 聊天模板即可植入推理时后门,并在 18 个模型与 Agent 基准上验证其成功率与隐蔽性。

深度解读生成中

阅读原文arxiv.org