已签名但仍可被操纵:测量并弥合离线检索增强生成中的文本-向量完整性缺口
Signed but Steerable: Measuring and Closing the Text-Vector Integrity Gap in Offline Retrieval-Augmented Generation
论文速读
据论文全文整理(AI 生成),以原文为准
离线 RAG 的签名知识包存在文本-向量完整性缺口:签名只证明发布者身份,不保证包内向量编码其文本,能控制向量的攻击者可让通过内容审核的文本劫持检索。
- 离线 RAG 的知识包同时携带文本和预计算向量,签名只能证明发布者身份,无法保证向量确实编码了对应文本。控制向量的一方可在文本通过审核的情况下操纵检索结果,这一文本—向量完整性缺口在边缘设备和向量数据库中普遍存在。
- 作者提出 margin law:在余弦容差 τ 下,最优攻击者的劫持率等于检索角度 margin 低于 arccos τ 的查询比例,可无需实际攻击就测出暴露面。防御上主张验证量化码而非向量:由验证方自行重算并量化,仅在验证方判定模糊处接受相邻码,再用验证方自己的码做 canonicalisation。
- 在五个语料、两个 embedding 模型上 margin 普遍很小,margin law 与攻击模拟完全吻合;FP32 噪声级容差仍暴露最多 5.5%(排除完全重复文档后最多 1.2%),按 CPU INT8 校准的阈值则暴露 98–100%。FAISS PQ 索引上篡改向量全部通过审计,25% 目标被顶到第一;Raspberry Pi 5 上端到端攻击使正确回答从 0.75 降到 0.39。码级验证在三平台四后端接受全部诚实向量,canonicalisation 后发布方无选择余地。
- 实验仅覆盖两个 embedding 模型、英文语料、flat FAISS 索引、单一边缘板和单一本地 LLM;guard width 是经验校准而非保证,INT8 阈值依赖具体 batch 配置。IVF、图索引、多语言大规模语料、同时改文本与向量的攻击、基于浮点误差模型推导 guard width,以及边缘加速器上的确定性与开销均留待后续。
离线 RAG 的签名知识包存在文本-向量完整性缺口:签名只证明发布者身份,不保证包内向量编码其文本,能控制向量的攻击者可让通过内容审核的文本劫持检索。论文提出余量定律(margin law),可被劫持的查询比例等于角度余量落在容差以下的查询占比。在五个语料库和两个嵌入模型上,浮点噪声级容差最多暴露 5.5% 的查询(剔除完全重复文档后不超过 1.2%),按 INT8 量化偏差校准的阈值暴露 98-100%;在 57,638 篇 FiQA 文档的 FAISS 乘积量化索引上,被篡改向量全部通过审计,使攻击者文档在 25% 的目标查询中排名第一。在 Raspberry Pi 5 运行 Qwen2.5-3B 的端到端实验中,INT8 参考阈值下的攻击使正确答案从 0.75 降到 0.39。
推荐理由文中余量定律让部署方无需发起攻击即可算出容差校验会暴露给攻击者的查询比例,运营离线 RAG 或向量库的团队可据此自查。