跳到正文

隐私与数据泄露

今天新收录 3 条
只看论文
隐私与数据泄露

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
今天10月8日周四
  1. arXiv · 收录 · 原文 日期未知论文53

    Open-MMUnlearning 发布：统一多模态大模型遗忘方法与评测框架

    研究者提出 Open-MMUnlearning，一个开源可扩展框架，通过共享接口和结构化配置整合目标模型准备、多模态数据处理、遗忘与评测。框架覆盖隐私、安全、版权三类共五个基准，支持四个模型家族的八个 MLLM 和十二种遗忘方法，评测套件同时考察遗忘效果、保留效用以及对模型干预、对抗输入和成员推断攻击的鲁棒性。在统一评测协议下比较十种代表性遗忘方法，GD 与 MIP-Editor 总分并列最高，GD 的遗忘质量最好，MIP-Editor 保留的模型效用更多。作者还提出指标元评测协议，用受控知识暴露的模型检验忠实性，并在量化和再学习条件下检验鲁棒性；在评估的十三个指标中，BLEU 的综合可靠性得分最高，KS-Test 的忠实性 AUC 最高但鲁棒性较弱。

    工具#隐私与数据泄露#工具与开源#多模态#arXiv
  2. 论文追踪 · 收录 · 原文 论文39

    研究团队用 LLM 分析 570 万条 Reddit 帖，构建 AI 危害分类体系

    研究团队提出一套 LLM 辅助的主题分析管线，从大规模社交媒体数据中动态检测、分类和追踪新出现的 AI 危害。他们分析 18 个月（2025 年 1 月至 2026 年 6 月）内 570 万条 Reddit 帖子摘要，整理并发布包含 57.5 万条 AI 危害相关帖子的数据集，以及一套由 12 个类别、47 个子节点构成的自下而上 AI 危害分类体系。该分类体系能覆盖已有专家定义的风险，同时发现自上而下框架忽略的细粒度危害，例如不同形式的 AI 隐私侵犯。时间分析还揭示出以用户为中心的危害演变，包括智能体隐私与安全泄露、职场中的 AI 过早采用，以及 AI 伴侣停用带来的失落感。研究者称该管线缩短了危害检测周期，有助于推动更具参与性和响应性的 AI 治理。

    工具#Agent 安全#隐私与数据泄露#工具与开源
  3. Hugging Face Daily Papers · 收录 · 原文 论文40

    nanoMuse 发布开源个人智能体，跨设备共享对话并内置 Sentinel 动作审查

    nanoMuse 是一个以 GPL-3.0 许可发布的开源个人智能体，目标是在用户拥有的每台设备上运行同一个智能体，并让手机与电脑共享同一段对话。报告先以五个问题和三个时间尺度界定个人智能体，再依据 Meta 的公开记录和一份生产提示词副本分析 Meta 的 Muse 如何构建，并逐条标注来源。nanoMuse 通过任何人都可自建的 relay 共享对话，每个动作都经过 Sentinel 审查，记忆以用户可读的文件形式保存，模型由用户自行选择；其规模与成本以估算形式给出。开放记忆溯源、面向操作能力的评测套件以及配套开源模型被列为后续路线图。

    工具#Meta#Agent 安全#隐私与数据泄露#开源模型安全#工具与开源
10月7日周三
  1. Hugging Face Daily Papers · 收录 · 原文 论文22

    从蒸馏私有健康记录中智能体发现血液生物标志物

    研究将 Clalit Health Services 逾 540 万患者记录蒸馏为已发布的评分工具：针对 13 种免疫介导疾病，在数据边界内训练图注意力网络预测候选 CBC 表达式的病例对照 AUC，仅发布训练权重。外部验证中，智能体发现的表达式较文献种子起点 AUC 中位数提升 4.18 个百分点，在三个独立队列中对三种前沿研究工具候选重排序多数优于其首选。

    工具#Agent 安全#隐私与数据泄露#工具与开源
10月1日周四
  1. arXiv：对齐、欺骗与监督 · 收录 · 原文 论文8

    面向压缩与隐私的可扩展离散到连续信道模拟

    研究者提出一种离散到连续信道的精确与近似模拟方案，使用固定数量的随机样本，运行时间与信道和输入无关。该方法对每个候选目标分布生成一个或固定数量的样本，经潜在置换后用指数竞赛完成样本选择，可在样本数与压缩率之间灵活权衡；结合极化码与多级编码，将长块长处理扩展至 O(n log n) 时间。作者展示了其在随机 VQ-VAE 可变速率压缩，以及通过精确模拟高斯机制实现通信高效差分隐私分布式均值估计中的应用。

    工具#隐私与数据泄露#其他
  2. arXiv：对齐、欺骗与监督 · 收录 · 原文 论文18

    基于泊松过程的可水印多草稿推测采样

    针对推测采样与水印难以兼得的问题，研究者提出一种基于泊松过程的多草稿推测采样算法，可在不降低推测接受率的前提下嵌入无偏水印。该算法基于精确的免通信列表耦合方案，具备草稿器不变性，是首个同时保持水印强度与采样效率的多草稿、草稿器不变推测采样方案，实验验证了两方面性能。

    工具#隐私与数据泄露#其他
  3. arXiv：对齐、欺骗与监督 · 收录 · 原文 论文17

    PILLAR：面向增强检索的私有倒排索引词法查找

    PILLAR 是一种基于私有信息检索（PIR）的隐私保护 RAG（PPRAG）系统，客户端从服务器持有的公开语料中取回与查询最相似的 k 篇文档，而服务器无法得知查询词项及其访问模式。它采用稀疏加稠密两阶段混合检索：稀疏阶段对预计算 BM25 分数的索引发起少量固定次数的 PIR 查询筛出候选，稠密阶段仅取回候选文档嵌入向量并在本地重排，避免私有稠密检索所需的大量 PIR 查询。PILLAR-Bin 将倒排列表分箱进哈希表，单轮设计延迟低于现有方案；PILLAR-Tree 将 block-max 剪枝转为不经意树遍历并结合 cuckoo 哈希表，在更低延迟下取得最高检索质量。

    工具#隐私与数据泄露#其他#arXiv
  4. arXiv：Agent 与 MCP 安全 · 收录 · 原文 论文25

    可信智能体 AI：基于 LLM 的自主系统失效模式、缓解策略与 TADL 生命周期框架

    一篇 arXiv 综述梳理了基于大语言模型的智能体 AI 在安全与运维上的五类可信维度：安全与鲁棒性、对齐与人类监督、透明度与可审计性、隐私与数据治理、监管合规。文章把间接提示注入、后门触发、目标泛化错误、记忆污染和跨会话数据泄露等失效模式归入统一分类，并评估指令层级、上下文隔离、spotlighting、过程监督、受限工具使用和隐私保护记忆等缓解手段，区分有实证支持与仍属概念性的方法。作者据此提出六阶段 Trustworthy Agent Development Lifecycle（TADL），覆盖规格、设计、训练、评估、部署与监控，但该框架尚未经实证验证。

    工具#提示注入#Agent 安全#防御与护栏#后门与投毒#隐私与数据泄露#arXiv
已经到底了