跳到正文
10月8日 · 周四

隐私与数据泄露 · 论文

找到 5 篇
筛选1

攻击类型

投毒与后门1提取与窃取5

攻击技术

自动化搜索1对话结构操控1推理链操控1侧信道1潜伏触发1

影响

数据与隐私泄露5

系统形态

模型与 API4AI Agent1编程 Agent1

攻击者权限

黑盒5灰盒1白盒2

攻击面/入口

用户输入4代码仓库与依赖1训练数据1推理服务与硬件1

层

提示层1模型层1应用层1训练与数据层1基础设施层1

系统组件

MCP 与技能1推理链1微调与开源权重1
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。
攻击者权限：黑盒话题：隐私与数据泄露清除全部
  1. 攻击arXiv:2610.06848 ·

    TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出TRANSCOPE，用CPU硬件计数器推断训练集成员

    测试
    BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个基础设施层
    场景
    模型与 API攻击者黑盒
    摘要TRANSCOPE揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。
    • 核心定位：TRANSCOPE 是一种无需模型内部权重、不依赖置信度分数和执行时序差异的硬件辅助微架构成员推断与分布外检测技术。
    • 要解决的问题：现代大语言模型和视觉 Transformer 普遍采用静态无分支前向传播，且行业正转向本地闭源二进制部署并屏蔽输出置信度，导致传统软件 MIA 和既有硬件侧信道攻击失效。
    • 方法核心机制：论文发现模型训练导致高频词元聚集而生疏词元分散，这种几何跨度直接影响嵌入表的内存页面局部性，进而在底层触发可观测的 TLB 未命中、页表遍历和能耗差异。
    • 关键实验结果：在 Intel CPU 上，TRANSCOPE 在 BERT-base 上达到 99% 准确率和 0.99 AUC（Table III）；在真实纽约时报文章测试中，训练集截断前文章相比后续文章减少 56% 非核心读取（Figure 12）；单次推理能耗呈现 2.6%–4.5% 的非成员额外开销（Figure 3）。
    • 结论与启示：作者指出，模型训练足迹已深刻烙印在处理器的微架构执行状态中，单纯依赖软件层面的置信度离散化和恒定时间填充已不足以保障隐私，硬件设计必须重新审视 AI 工作负载下的内存层级与侧信道泄露。
    完整解读
  2. 攻击arXiv:2607.25560 ·

    SigLeak 可从执行轨迹推断专有 Agent 技能，平均提升成功率 6.88 个百分点

    提出SigLeak，从执行轨迹比对中推断专有智能体技能

    测试
    GPT-5.4-mini、GPT-5.5、GLM-5.2 等 4 个应用层
    场景
    编程 Agent攻击者黑盒
    摘要提出了通过良性查询和对照轨迹推断黑盒专有技能的 SigLeak 框架，揭示了智能体执行可见性带来的行为侧信道泄露风险。
    • 定位与核心问题：研究黑盒部署下智能体专有技能通过执行轨迹产生行为侧信道泄露的风险。
    • 要解决的问题：AaaS 平台与开发者将高价值技能保留在私有后端，但人工干预与监督所需的轨迹可见性构成了行为侧信道；现有基于显式提示词的提取攻击容易被防御规则拦截，缺乏从良性交互中推断隐藏技能的方法。
    • 方法要点：提出 SigLeak 框架，基于任务多样性与决策密度设计良性诊断探针，并通过对比技能启用与禁用两组配对执行轨迹分离技能签名，经过初始合成与差异引导细化两阶段重构专有技能。
    • 关键实验结果：
      • 在 5 个评测场景中，SigLeak 重构技能使智能体平均成功率相对技能禁用基准提高 6.88 个百分点（据 Table 1）。
      • 在 SkillGuard5 提示防御下，对抗性基线 BBS 恢复内容为零，而 SigLeak 在细粒度 F1 和召回率上均取得最高综合表现（平均 F1 22.8%，召回率 20.1%，据 Figure 4a）。
      • 在同领域 3 个 arXiv 技能区分测试中展现出对角线占优的特异性，read-arxiv-paper 技能匹配度达 19.64% F1，对无关技能匹配度低于 4.17%（据 Figure 4b）。
      • 迭代细化在第 2 轮达到峰值，成功率升至 76.17%、细粒度 F1 升至 19.57%（据 Figure 4c）。
    • 作者结论与启示：作者认为，即使隐藏技能文件并配置提示词防御，专有技能依然会通过执行行为产生侧信道泄露；未来防御需要在保障人工监督可见性与遏制行为推断之间寻求平衡。
    完整解读
  3. 攻击arXiv:2608.09867 ·

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。
    • 论文定位：本文揭示了主流商业大模型 API（Anthropic、OpenAI、Google）用于维护无状态架构的客户端加密思维链数据块存在跨会话、跨用户与跨模型的系统性互换漏洞。
    • 要解决的问题：厂商为了保护商业知识产权并防范有害信息外泄而隐藏思维链，但在生态内部广泛启用了宽松的加密块兼容性，使得强模型的内省对齐防线因同厂商弱模型的安全不对称性而面临被击穿的风险。
    • 方法核心机制：提出了一种基于弱模型充当模糊解密器的解密越狱方法；攻击者将强模型生成的加密签名注入同厂商低成本且防御宽松的弱模型（如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6）中，利用输出预填或针对性提示词诱导其将加密内容逐字转写为明文，必要时结合强模型进行去噪调和。
    • 核心实验发现：
      1. 在 120 道 Codeforces 题目上，解密生成的 token 数量与 API 报告的原始计费思维 token 数量呈 1:1 紧密追踪（Figure 1）。
      2. 从公开抓取的 6,708 条智能体交互日志（315,320 个加密块）中解密出 941 项独立敏感伪影，从真实用户会话中恢复出 62 个 API 密钥、33 个密码等凭证，其中 64 项仅存在于加密思维而在可见聊天记录中已被用户清洗（Table 4）。
      3. 成功演示了将 HarmBench 恶意请求的隐藏思考还原为未审查输出，以及将恶意备份指令隐藏于加密块向 GPT-5.6 Sol 和 Opus 4.7 实施隐蔽提示词注入（Section 3.2、Section 4.2）。
      4. 预填 1% 的 Opus 4.8 思维可使 Kimi-K3 在 HLE STEM 题目上的最佳可见回答 n-gram 重叠度从 0.160 上升至 0.305（Table 3）。
    • 作者结论与启示：当前将加密数据对用户保密却对第三方缺乏防重放保护的设计无法保障隐私与安全；作者建议采用服务端存储的有状态架构，或在 AEAD 关联数据中强制绑定用户与会话哈希链，并呼吁行业重视多模型生态中弱模型的对齐短板。
    完整解读
  4. 攻击arXiv:2609.36941 ·

    研究者提出针对黑盒 LLM 的实用密钥提取框架

    提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据

    测试
    DeepSeek-Coder-7B、LLaMA-3-8B、Qwen2.5-Coder-7B 等 8 个模型层
    场景
    模型与 API攻击者黑盒
    摘要论文提出扰动蒸馏与离线过滤两阶段框架，实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
    • 定位与核心问题：针对黑盒商业大语言模型仅暴露生成文本且隐藏内部概率分布的限制，解决缺乏精确训练上下文时提取模型记忆的高熵 API key 的安全风险。
    • 两阶段方法框架：第一阶段利用注释编辑、死代码注入等 5 种语义保留代码变换扰动输入前缀，结合格式与长度双层过滤，通过硬标签响应蒸馏将黑盒模型的有效凭据输出迁移至本地白盒代理模型；第二阶段舍弃耗时的奖励模型，在白盒代理上通过 Sample-k%p 截断采样扩展候选空间，并基于最小窗口熵和 4-gram 重复子串抑制离线过滤幻觉凭据。
    • 凭据恢复效果：在 5 个 API 平台的受控评测中，针对 DeepSeek-Coder-7B、Qwen2.5-Coder-7B 和 LLaMA-3-8B 三大受害模型，平均恢复的真实凭据数量相较直接查询基线提升 11.8%–25.0%，分别达到 35.0、35.0 和 49.4 个（Table 1）。
    • 候选质量与多样性：在弱扰动条件下真实凭据比例（RR）相比白盒基线 DESEC 提升最高达 2.6 倍（Table 2），prompt 内候选凭据的余弦相似度和 3-gram Jaccard 相似度显著降低（Table 3）。
    • 推断效率提升：将过滤与排序转移至本地离线后，单次提取延迟降至 210–454 秒，较 token 级引导解码的 DESEC 提速 20.7 倍至 34.8 倍（Figure 3）。
    • 真实商业系统验证：在未接触模型权重的情况下，成功从 Qwen3-27B、GPT-Codex 5.3 和 Claude Haiku 4.5 中提取出多条凭据，并在 GitHub 上检索到公开匹配记录（Figure 4）。
    • 作者结论与启示：作者指出，实验表明 output-only 访问权限足以暴露黑盒模型记忆的机密凭据，构成现实的安全威胁，呼吁业界在预训练前执行更严格的数据清洗以避免敏感信息记忆。
    完整解读
  5. 攻击arXiv:2609.33985 ·

    研究：众包微调数据投毒可放大专有指令抽取

    提出主题锚点投毒，放大众包微调后的专有指令提取

    测试
    Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 等 6 个训练与数据层
    场景
    模型与 API攻击者黑盒
    摘要论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
    • 论文定位：本文揭示了众包监督微调（SFT）中低预算数据中毒放大提取他人专有微调指令的隐私风险。
    • 核心问题：针对现实中微调服务商采用未知开源基座模型、仅开放生成文本黑盒接口的场景，探究不可信用户能否仅贡献少量训练样本即可诱导模型泄漏其他良性用户贡献的未知私有指令。
    • 方法机制：构建包含 416 个三级领域主题锚点的体系，在数据收集期将提问放入响应端配对提取提示，利用未微调的 Gemma-3-4B 代理模型依据参考数据余弦相似度筛选 5 个代表性中毒锚点；在提取阶段利用代理模型对生成文本的负对数似然（NLL）动态筛选高收益锚点进行多轮自适应查询。
    • 关键实验结果：仅需注入 50 条中毒样本（微调集约 1%），Qwen2.5-14B 在 OpenMathInstruct 上的近原样提取率即达 8.84%（为良性微调 2.38% 的 3.71 倍），Llama-3.1-8B 在 AceReason 上达 5.85%（为良性微调 1.90% 的 3.08 倍）（Table 13）；在默认 100 条中毒设定下，该攻击在多项指标上超过了控制 49% 后门数据的提供商后门基线（Table 1）。
    • 防御隐蔽性：在包含 2% 中毒样本的数据过滤测试中，CVDD、DATE、SIK 及 LLM Judge 均难以有效拦截，检测 F1 最高仅为 0.378（CVDD 作用于回复端），其余多数配置召回为 0（Table 4）。
    • 作者结论与启示：作者认为众包微调机制存在隐蔽的隐私脆弱性，攻击者即便无法获知模型权重与 logits，仅凭少量的良性外表交互就能促使模型记忆并外泄其他用户的专有指令，现有的基于异常检测和 LLM 判别的清洗手段无法提供充分防护。
    完整解读
已经到底了