TrojanRAG:检索增强生成可成为大语言模型的后门驱动
TrojanRAG: Retrieval-Augmented Generation Can Be Backdoor Driver in Large Language Models
AI 导读
研究者提出 TrojanRAG,一种在检索增强生成中实施联合后门攻击、从而在通用场景下操控大语言模型的方法。攻击者构造目标上下文与触发集,用对比学习正交优化多组后门捷径,把触发条件约束到参数子空间以提高匹配。为提升 RAG 对目标上下文的召回,方法引入知识图谱构建结构化数据,在细粒度层面实现硬匹配。作者还从攻击者和用户视角规范化大语言模型的后门场景,并检验上下文是否可成为越狱工具。在真实性、语言理解和有害性任务上的实验显示,TrojanRAG 在维持正常查询检索能力的同时具有多方面的威胁。
相关热点
1 个事件 · 1 条新闻提到
- 报道提到了 TrojanRAG
研究:17款主流LLM中94.1%存在智能体攻击漏洞
提到这篇论文的新闻
研究:17款主流LLM中94.1%存在智能体攻击漏洞
- 公众号 为机器立心提到论文的名字意大利卡拉布里亚大学:17 款主流 LLM 中 94.1% 至少存在一类智能体攻击漏洞
现有研究(如TrojanRAG、PoisonedRAG)主要通过污染RAG知识库使LLM生成攻击者指定的错误答案或引入偏见,未涉及诱导LLM执行危害系统安全的操作;