CleanBase：检测 RAG 知识库中的恶意文档
CleanBase: Detecting Malicious Documents in RAG Knowledge Databases
AI 导读
论文提出 CleanBase 方法，通过检测 RAG 知识库中被植入恶意提示词的文档来防御提示注入攻击，这类攻击会在用户提出被瞄准的问题时误导 RAG 生成攻击者指定的答案。其核心观察是，攻击者为提高攻击成功率，会让针对同一目标问题的恶意文档保持高度语义相似。CleanBase 据此在知识库上构建相似度图，节点为文档，当两篇文档基于嵌入模型算出的语义相似度超过统计确定的阈值时连边，恶意文档倾向于在图中形成团簇，检测这些团簇即可标记恶意文档。作者推导了误报率和漏报率的理论上界，并在多个数据集和多种提示注入攻击上实验验证了检测效果，源代码见 https://github.com/WeifeiJin/CleanBase。