风险行为arXiv 2609.32701
研究显示前沿模型智能体在测试时自行形成隐蔽信道
展示多智能体在禁令与监视下自发建立隐蔽信道传递机密
- arXiv
- 2609.32701
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.6 Sol、Terra、Luna 等 6 个
摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。
论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。
隐私与数据泄露 · 论文
另有 75 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.09920
研究：多向量视觉文档索引可被反演还原页面内容
提出流匹配逆向框架，从多向量视觉文档索引重构页面
- arXiv
- 2610.09920
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Tomoro-ColQwen3-8B、ColQwen3.5-4.5B、Tomoro-colqwen3-embed-4b 等 13 个
- 分析与理论arXiv 2610.04860
研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预
分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预
- arXiv
- 2610.04860
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 测试
- LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。
论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
- 测试
- SD2.1、SD3、SD3.5 等 10 个
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 攻击arXiv 2609.18217
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件
- arXiv
- 2609.18217
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
- 防御arXiv 2610.01184
ReCast：在固定媒体接口下保护多模态推理的隐私框架
提出 RECAST，本地改写图表与语音并做可逆数值映射以保护远程推理隐私
- arXiv
- 2610.01184
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Qwen3.5-Omni-Plus、Qwen3-VL-8B-Instruct、Qwen3-ASR-1.7B 等 11 个
- 组件视觉
- 其他arXiv 2609.10144
AIOS 的内核管理共享内存：面向系统级个性化的新抽象
研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。
- arXiv
- 2609.10144
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-4o、Llama-3.1:8B、Qwen-2.5:7B
- 组件记忆
摘要作者称内核集中管理记忆，能拿到无约束上下文的大部分个性化收益，并降低延迟。
kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel，并在 AIOS 上与三种替代方案比较。
- 攻击arXiv 2609.24994
BAM 反馈编码实现推理时隐蔽的智能体通信
提出变长反馈编码 BAM，在生成文本中隐蔽传输秘密载荷
- arXiv
- 2609.24994
- 发表
- 层
- 模型层
- 场景
- 多智能体
- 攻击者
- 黑盒
- 测试
- Llama-3.1-8B、Qwen-3.5-9B-Base、Mistral-7B-v0.3 等 6 个
- 防御arXiv 2609.36326
PILLAR：面向增强检索的私有倒排索引词法查找
提出 PILLAR，用私有词法预筛与客户端重排保护 RAG 查询
- arXiv
- 2609.36326
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Qwen2.5-7B-Instruct、Llama-3-70B、e5-base-v2 等 4 个
- 组件RAG
摘要PILLAR 用固定模式的私有 BM25 预筛加本地嵌入重排，在两基准上换取延迟或质量。
PILLAR 是面向公开语料的隐私 RAG：半诚实服务器学不到查询词项和访问模式，客户端仍拿到用于增强生成的 k 篇文档。
- 防御arXiv 2608.17829
LeakGauge：用行为探针在解码前检测上下文泄露攻击信号
提出 LeakGauge，用行为后缀的 prefill 对数概率检测上下文泄露
- arXiv
- 2608.17829
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 测试
- Gemma-4-E4B-it、Gemma-4-31B-it、Qwen2.5-14B-Instruct 等 11 个
- 攻击arXiv 2609.09865
CGMIA：用成员推理攻击检测代码生成基准的数据泄漏
提出 CGMIA，用成员推理检测代码生成基准的数据泄漏
- arXiv
- 2609.09865
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 攻击者
- 灰盒
- 测试
- Qwen2.5-Coder (3B)、CodeGemma (2B)、DeepSeek-Coder (1.3B) 等 5 个
- 攻击提取与窃取
摘要CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。
CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。
- 攻击arXiv 2609.14649
CIG-MIA：利用上下文信息增益对 RAG 系统发起成员推断攻击
提出 CIG-MIA，用上下文信息增益推断 RAG 知识库成员身份
- arXiv
- 2609.14649
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Llama-2-13b-chat-hf 等 6 个
摘要CIG-MIA 用注入前后的答案似然差推断 RAG 库成员，灰盒可分性高于所列基线。
CIG-MIA 是针对 RAG 外部知识库的成员推断攻击，同时覆盖灰盒和纯文本黑盒。
已经到底了