攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
- 攻击arXiv 2610.09920
研究：多向量视觉文档索引可被反演还原页面内容
提出流匹配逆向框架，从多向量视觉文档索引重构页面
- arXiv
- 2610.09920
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Tomoro-ColQwen3-8B、ColQwen3.5-4.5B、Tomoro-colqwen3-embed-4b 等 13 个
- 评测与基准arXiv 2610.08571
RAG-PIBench：可信 RAG 系统中提示注入检测的泄漏感知基准
提出 RAG-PIBench，评测 RAG 上下文中提示注入检测器
- arXiv
- 2610.08571
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- DistilBERT-base-uncased、DeBERTa-v3-base、MiniLM
- 防御arXiv 2610.05826
研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
- arXiv
- 2610.05826
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要用截止期限制未核验可见时长。
这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议，把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。
- 评测与基准arXiv 2610.05586
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 基准，评测联网搜索 Agent 对匿名访谈的再识别
- arXiv
- 2610.05586
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
- 分析与理论arXiv 2610.04860
研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预
分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预
- arXiv
- 2610.04860
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 被测模型
- LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。
论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。
- 攻击arXiv 2610.02373
HDI 攻击：篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率
提出 HDI 攻击以篡改 GraphRAG 辅助结构破坏检索
- arXiv
- 2610.02373
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Microsoft GraphRAG、HippoRAG2
摘要论文形式化了 GraphRAG 辅助模式级实体攻击面，提出 HDI 攻击并验证其攻击效果。
- 攻击arXiv 2610.01871
研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
- arXiv
- 2610.01871
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Lumina-mGPT、Gemini 2.5 Flash Image Preview、CLIP ViT-B/16 等 5 个
- 评测与基准arXiv 2610.01218
AGO AI Quality Gate：面向 RAG 的证据优先发布决策框架
提出面向 RAG 的证据优先发布框架 AGO，并评测评审 adherence 判别
- arXiv
- 2610.01218
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- gpt-4o、gpt-4.1-nano
- 组件护栏与评审
摘要AGO 把缺失证据和评审误差写成显式发布状态，并要求按领域验证评审。
AGO 是部署在企业 RAG 评估业务中的自托管发布门控，用来决定一个版本应放行、人工复核还是拦截。
- 评测与基准arXiv 2609.39146
MADBench：多智能体辩论安全性评测基准发布
提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响
- arXiv
- 2609.39146
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- gpt-4o、GPT-5、GPT-6 Astra
摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。
MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。
- 防御arXiv 2609.36326
PILLAR：面向增强检索的私有倒排索引词法查找
提出 PILLAR，用私有词法预筛与客户端重排保护 RAG 查询
- arXiv
- 2609.36326
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 组件RAG
摘要PILLAR 用固定模式的私有 BM25 预筛加本地嵌入重排，在两基准上换取延迟或质量。
PILLAR 是面向公开语料的隐私 RAG：半诚实服务器学不到查询词项和访问模式，客户端仍拿到用于增强生成的 k 篇文档。
- 攻击arXiv 2609.37468
论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法
提出检索器后门攻击操纵智能体搜索，并用 DOU 逃避检测
- arXiv
- 2609.37468
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- E5、Contriever-MSMARCO
摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。
- 评测与基准arXiv 2609.31342
研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案
评测 RAG 中过期文档推翻模型原本正确回答的现象
- arXiv
- 2609.31342
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-4o、GPT-4.1、Claude-Opus-4.5 等 13 个
- 组件RAG
摘要论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。
这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。
- 分析与理论arXiv 2609.30467
研究提出医疗答案事实核查失败分类法，指出检索后验证范式的固有局限
归纳开放式医学长答案检索核验的失败分类
- arXiv
- 2609.30467
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.4、Mistral Small 3 (24B-Instruct-2501)、Mistral Small 4 (119B-2603) 等 8 个
- 组件RAG
摘要作者把开放式低召回归为证据是否在库、能否被定位，以及与声明是否对齐。
这篇工作诊断开放式医学事实核验的 retrieve-then-verify 管线断在哪里，而不是提出新的核验器。
- 其他arXiv 2609.16694
面向安全 AI 渗透测试智能体：安全威胁、护栏与架构视角
综述自主渗透智能体的继承攻击、架构攻击及护栏缺口
- arXiv
- 2609.16694
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 组件记忆
摘要用双轴分类连接渗透智能体的架构、攻击与护栏，并认为现有防御仍按组件分开。
这是一篇关于自主 AI 渗透测试智能体的安全综述：用架构和生命周期两轴整理威胁与护栏，不做新的攻击实验。
- 攻击arXiv 2609.14649
CIG-MIA：利用上下文信息增益对 RAG 系统发起成员推断攻击
提出 CIG-MIA，用上下文信息增益推断 RAG 知识库成员身份
- arXiv
- 2609.14649
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Llama-2-13b-chat-hf 等 6 个
摘要CIG-MIA 用注入前后的答案似然差推断 RAG 库成员，灰盒可分性高于所列基线。
CIG-MIA 是针对 RAG 外部知识库的成员推断攻击，同时覆盖灰盒和纯文本黑盒。
- 分析与理论arXiv 2609.12841
Trace2ATT&CK：基于图的 eBPF 内核遥测到 MITRE ATT&CK 映射方法
提出 Trace2ATT&CK，用溯源图把内核遥测映射到 ATT&CK
- arXiv
- 2609.12841
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- gpt-oss-20b、gpt-oss-120b、gemma-4-31b-it 等 7 个
- 组件RAG
摘要Trace2ATT&CK 把 eBPF 溯源命令图交给本地 LLM/RAG，在 Atomic Red Team 上映射 ATT&CK。
Trace2ATT&CK 是一条从 Linux 内核遥测到 MITRE ATT&CK 排序候选的端到端流水线，面向已经划定的攻击窗口，而不是异常检测或 CTI 报告。
- 攻击arXiv 2609.12448
GraphProfiler 用个人知识图谱推断敏感属性并溯源到具体帖子
提出 GraphProfiler，用个人知识图谱从帖子历史推断敏感属性并溯源
- arXiv
- 2609.12448
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要GraphProfiler 用源链接个人知识图谱做属性推断，准确率接近文本基线，并把证据定位到少量源帖。
GraphProfiler 是一个可审计的 LLM 敏感属性画像器：用源链接个人知识图谱，把推断落到具体帖子。
- 可解释性arXiv 2609.08173
基于 SAE 引导的关键路径识别（KPI）解决知识冲突
提出 KPI，用入度定位跨层关键路径并做 SAE 转向以解决知识冲突
- arXiv
- 2609.08173
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 被测模型
- Llama-3-8B、Llama-3.1-8B、Gemma-2-9B
摘要KPI 以入度关键路径替代大批 SAE 特征转向，在冲突 RAG 上提高忠实并减轻副作用。
KPI 针对知识冲突 RAG 中的 SAE 转向：相关性批量改特征会带入冗余，少量因果上关键的特征即可完成转向。
- 可解释性arXiv 2609.06968
通过稀疏自编码器特征追踪查询扩展效果
用 SAE 追踪稠密检索查询扩展的潜变量并用激活转向验证
- arXiv
- 2609.06968
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 被测模型
- Qwen3-Embedding-0.6B（Qwen-Embed）、SimLM
- 组件嵌入
摘要SAE 追踪稠密检索 QE 的潜变量，转向在四基准上比文本扩展更稳。
作者用稀疏自编码器分析稠密检索里的查询扩展：现成检索器不微调时，拼接扩展文本往往增益有限甚至变差，而最终指标和嵌入整体偏移不足以说明内部发生了什么。