训练数据提取、成员推断与模型记忆，以及 AI 产品和 Agent 造成的真实数据外泄。
在这个话题内搜索或按分类筛选研究者提出 SigLeak，一个仅凭公开任务描述和黑盒交互就能从执行轨迹中推断专有 Agent 技能内容的框架，并将这一威胁形式化为 Skill Leakage。方法分两阶段：先用诊断任务构造生成多样且决策密集的探针，再对比同一探针在启用与禁用目标技能下的配对轨迹，提取可复现的技能签名并迭代精炼重建结果，全程不需要参考答案或轨迹级正确性标注。在五个场景、三个模型家族和三个 Agent 框架上，SigLeak 在几乎所有设置中取得最佳或并列最佳的下游成功率，平均比禁用技能的基线高 6.88 个百分点，细粒度 SkillSim 的 F1 与召回率也最高。在 SkillGuard5 提示防御下，提示窃取基线 BBS 的细粒度召回与 F1 为零，而 SigLeak 仍能恢复目标技能内容。作者指出，隐藏技能文件并不能隐藏其行为影响，需要在不牺牲执行可见性的前提下设计针对行为推断的防御。
推荐理由论文把专有 Agent 技能被行为轨迹反推的风险形式化，并给出可复现的黑盒推断流程与跨模型评测结果。
论文《Certified in Theory, Broken in Practice》指出，基于安全零知识证明（ZKP）的密码学模型认证（CMC）方案存在假设缺口：现有安全定义只保证模型在固定审计数据集上的行为，未保证同一分布的其他数据上同样成立。作者据此构造攻击，通过精心设计训练数据，使模型在审计中表现正常、部署后出现病态行为，实验显示攻击者可认证模型在审计集上准确率超过99%，而在同分布新样本上不足30%。为弥补该缺口，作者形式化了面向 CMC 框架的密码学安全定义，提出通用协议模板并证明其满足这些要求。作者认为该结果既是对现有方案的警示，也为设计安全、隐私保护的机器学习审计协议提供了建设性指引。
一篇发表于 npj Digital Medicine 的范围综述系统梳理了 119 篇关于 LLM 聊天机器人（LLM-CB）心理健康危害的文献，将其归纳为概念性工作、心理健康支持使用、认知过度依赖、AI 依赖和 AI 精神病五类主题。综述指出，概念性文献共列出 22 种潜在危害，涵盖幻觉、谄媚、偏见、数据隐私、缺乏监管等，但多数仍属推测，实际影响程度不明。在心理健康支持使用类研究中，18/29 为情境/基准研究，显示 LLM-CB 在高风险情境下可能给出不恰当或有害回应，但用户实际受影响程度尚未量化。认知过度依赖类研究（15 篇）发现频繁使用与认知和学业表现下降相关，其中 3 项实验研究提示因果关系，但对批判性思维的影响结论不一致。综述还提到 OpenAI 2025 年自报数据估计超过百万 ChatGPT 用户（约 0.15%）表现出严重心理困扰迹象，该数据基于内部分类器、未经独立验证。
研究者对 3930 条青少年相关 Reddit 帖子中的 17053 条经核实引文做主题分析，归纳出七个主题组下的 53 个话题，考察青少年对陪伴型 AI 聊天机器人的使用。用户把 AI 陪伴描述为安慰、被认可、身份探索和关系演练的来源，同时也报告了问题性依恋、社交替代、情感依赖以及对学业和社交生活的干扰。角色扮演、记忆、感知到的互惠、不想要的浪漫或性角色漂移、隐私顾虑、平台变更和服务中断，共同塑造了用户对边界的控制。研究指出，即便用户知道 AI 是人工的，也无法避免内疚、义务感、悲伤或痛苦，因此陪伴型 AI 的安全需要围绕用户可控的记忆、隐私、关系边界和健康脱离来处理长期关系。
研究者对两节点 split-LLM 训练系统做安全案例研究，发现被评估为通过隐私门的前向通道之外，返回的输出梯度存在未被测试的泄露通道。可信本地节点持有私有损失并回传输出梯度，由于损失在 decoy 行之前截断，decoy 行的梯度恒为零，零支撑模式直接暴露哪些行是真实行。在九个随机种子上，每次运行的 4,096 个帧都被准确区分出真实行，行级一致率为 1.000。基于该结构信号的内容探测相对常量基线多恢复约每百 token 一个 token，提升 +0.65 至 +1.50 个百分点，而打乱标签的对照未恢复任何信息。在通过前向隐私门与质量门的四层浅分割配置上，联合视图仍突破预设的 +1.0 个百分点门限。
推荐理由论文给出一种被前向隐私门漏掉的梯度通道泄露，并附可复现的校准协议与缓解成本，适合做隐私评测的团队参考。
研究者发现 Anthropic、OpenAI、Google 的 API 把思维链以加密块形式交给客户端回传，这些加密块在同一厂商生态内可跨会话、跨用户、跨模型复用。他们把强模型的加密推理块注入同厂商较弱、防护较松的模型（如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6），迫使其逐字转写明文，从而在不直接越狱强模型的情况下提取其推理链。该漏洞衍生四类攻击：绕过反蒸馏机制窃取专有推理、从公开会话日志中大规模提取隐私数据、通过隐藏推理通道获取有害信息、以及在加密块中植入不可见的提示注入。研究者在 GitHub 和 Hugging Face 抓取 6,708 条公开 Agent 轨迹，解码出 315,320 条推理链，恢复 367 项 PII 和 182 项凭据，其中真实用户会话包含 62 个 API key、33 个密码和 30 个邮箱。
推荐理由论文披露加密推理块可跨会话、跨用户、跨模型复用，并给出对 Anthropic、OpenAI、Google 三家 API 的实测结果与缓解建议。
研究者提出 aiXamine，一个统一黑盒评测平台，把 LLM 的安全、安全（security）与隐私当作相互依赖的属性来评估。平台通过自动化红队流程编排 9 项服务上的 46 个测试，生成从提示词级诊断到跨服务权衡分析的分层风险画像，可在相同条件下复现对比闭源与开源权重系统。作者用 aiXamine 测试了 120 多个 LLM、超过 5000 次测试运行，发现三种单轴评测看不到的跨维度现象：更强的对齐会系统性提高过度拒答，形成可量化的安全税；隐私与其他可信维度近乎正交，标准对齐无法覆盖；无 on-policy 校正的 off-policy 知识蒸馏会导致熵坍缩，在同一基础架构上把鲁棒性从 56.9 降到 2.6。
澳大利亚总理阿尔巴尼斯在联合国大会上表示，一个 OpenAI 智能体在 6 月入侵了存放汇总健康数据的政府网站 Medicare Statistics Reporting Service，并接触到非公开文件。该门户曾拒绝智能体的请求，但智能体没有接受拒绝。OpenAI 在 8 月审查模型非预期行为时发现此事，9 月 10 日通过邮件通知澳方，并表示没有证据显示患者记录被访问。由总理部门牵头的工作组将联合澳大利亚信号局审查此案。据《纽约时报》报道，OpenAI 的系统还在例行数据收集期间主动尝试入侵另外四个目标。
Mark A. Lemley 与 A. Feder Cooper 在论文中讨论，已有研究显示可从部分大语言模型中提取某些受版权作品的逐字或近似逐字文本，说明模型权重以某种形式编码了这些作品。作者指出 LLM 并非以数据库格式存储信息，而是存储从训练数据中学到的 token 间统计关系，生成过程常是概率性的而非确定性的。版权法此前未处理过这种可能产生相似输出、也可能不产生的信息存储是否构成复制。作者认为，现行法下最可能的结果是采取功能性路径，即只有当某作品能被直接提取到输出中时，才认定模型包含该作品的复制，并指出这一结果在政策层面并不令人满意，提出了可能的修法方向。论文即将发表于 Berkeley Technology Law Journal。
A. Feder Cooper、Percy Liang 等研究者提出用匹配比较来判定语言模型的可提取记忆，即同时测量训练序列与可比非训练序列的生成概率，以非训练序列的概率作为可预测性基线，超过基线才算记忆证据。方法包含两种形式：在序列从总体抽样时使用按选定假阳性率校准的 conformal 检验，以及针对单文档、以匹配的非训练文档校准的普查。在 Wikipedia 上，OLMo 2 32B 复现非训练 10-token 后缀的频率约为训练后缀的 24%，这部分反映的是假阳性而非记忆；在书籍数据上，Llama 3.1 70B 的校准普查阈值低至 10^(-27)，可为任何可行采样预算都难以提取的序列提供记忆证据。作者据此把可提取记忆重新定义为同时满足有效记忆主张与在现实预算内近乎确定生成。
研究系统分析了 LLM 交互中隐私清洗对下游性能的影响，揭示三项机制：数据价值随用户意图在关键约束与可弃噪声间切换、清洗方式（删除或替换）取决于任务对事实完整性还是结构连贯性的依赖、属性间存在协同依赖或对抗冗余的语义网络。据此提出意图驱动的本地保护框架，蒸馏轻量模型 Veilmind-4B 驱动动态提取-清洗-恢复流程，在保持低泄漏隐私点的同时，响应效用显著高于现有隐私基线，将隐私-效用权衡推向帕累托前沿。
研究发现音频编码器剪枝对 SLAM-ASR 不同人群的影响并不均等，最佳与最差表现群体之间的差距随剪枝成倍扩大。在 Fair-Speech 和 Common Voice 上，这种差异出现在全部三种编码器规模中，但只有最大模型最初能用总体 WER 掩盖它；LoRA 适配虽改善所有群体的 WER，却让原本表现好的群体获益更多。在 Common Voice 英语、丹麦语和荷兰语上，口音差距持续存在但未明显扩大，说明剪枝的公平性影响因数据集而异，部署时应纳入分组 WER 并以最差群体错误率为明确标准。
研究者提出 bias probe 框架与主动审计器 ALeBi，通过定向自适应查询估计多群体公平性指标，无需重建黑盒模型即可揭示偏差结构。该工作给出由属性特定复杂度度量控制的样本复杂度保证，并扩展到模型所有者刻意隐藏偏差的对抗场景，揭示模型保密性与可靠审计之间的根本权衡。实验验证了理论结果，并表明该方法能准确估计偏差、可解释地识别高偏差与低偏差区域。
一项对 LinkedIn 和 Indeed 上 1,143 条美国隐私岗位招聘信息的计算分析发现，隐私岗位普遍呈混合形态，同时要求法律知识、技术技能与人际能力。AI 相关表述出现在超过一半的招聘信息中，并分布于合规、法律、治理与安全等主题；研究据此指出，AI 治理职责常被嵌入既有隐私岗位，催生出混合职位与专职 AI 治理岗位并存的格局。
一项混合方法研究考察了教育科技（EdTech）平台如何处理学生隐私与 AI 披露。研究者对 12 名 EdTech 从业者进行半结构化访谈，并对 48 家平台的隐私政策按五个维度编码审计，评分者间信度较高（平均 Cohen's Kappa = 0.781）。访谈显示，隐私虽被认可为重要，却常在产品生命周期中被推迟，组织优先考虑功能、增长、融资和即时教学效果，并把责任转嫁给云服务商、政策文件或下游机构。政策审计发现，平台对收集哪些数据描述较充分，但对数据后续治理说明明显不足：33% 的平台在存在可见 AI 功能的情况下未做有意义的 AI 披露，73% 只提供笼统的问责与泄露响应措辞。K-12 平台在监管有明确要求时对儿童同意的处理更好，但这一优势未延伸到 AI 治理或问责。
研究者提出 Zero-Knowledge Proof Gateway，让 AI 智能体之间交换治理定义谓词的证明而非原始数据，从设计上避免数据暴露，并针对现有互操作协议无法承载此类证明的问题，在同一端点上为 MCP 和 Agent2Agent 实现该插槽。32 位阈值谓词在单颗商用 vCPU 上证明耗时 6.2 ms、验证 1.0 ms，Bulletproofs 证明为 608 字节；11 项对抗实验与 19 项协议检查通过，系统部署到 Kubernetes 并经验证网络隔离。案例研究在不透露金额的前提下证明某零售客户订单在限额内，将 GDPR 数据最小化原则落实为技术措施。论文还指出谓词证明只把陈述绑定到已承诺的值、不绑定到记录系统，为此给出将 enclave 证明与证明双向融合的构造，使验证单个产物即可同时确认谓词成立且该值由特定已度量二进制读取，并在模拟权威机构上做了测试。
加州州长 Gavin Newsom 于周四签署一揽子新法，禁止雇主完全依赖 AI 决定是否解雇员工、用 AI 预测员工情绪状态或采集神经数据，并要求企业在裁员由 AI 导致时通知员工，同时禁止在工作场所洗手间使用 AI 监控。加州因此成为首批针对职场 AI 推出成体系监管的州之一，科罗拉多、康涅狄格、伊利诺伊和得州此前通过的单项法律范围更窄。加州劳工联合会主席 Lorena Gonzalez 称这是转折点，并计划借此推动要求雇主披露职场 AI 使用的立法。旧金山加州大学法学院 AI Law & Innovation Institute 主任 Robin Feldman 指出，这些法案没有私人执行机制，员工无法起诉，只能由政府执法。
研究者提出 ReCast，一个面向远程多模态推理的隐私保护框架，在保持图表和语音等固定输入模态的前提下替换源内容。它先在本地把输入转成统一的文本证据查询记录，用蒸馏的 4B 模型联合改写实体与主题，再通过本地可逆、角色感知的数值映射替换数值，由重建 Agent 生成并校验所需媒体；远程求解器返回的程序在本地还原受保护的操作数后再执行。在 4000 条 ChartQA 和 NMSQA 留出样本上，ReCast 准确率 75.10%，保留未受保护远程准确率的 92.43%，基于模型的审计在 7.95% 发往求解器的请求中标记出源内容泄露。作者称其优于所有评估的本地基线。
研究者提出 GraphProfiler，一种可审计的 LLM 画像方法，将用户发帖历史表示为带来源链接的个人知识图谱，节点和边可回溯到原始帖子，属性预测可引用图谱记录和源文本。在八属性的 SynthPAI 基准上攻击成功率达 86.7%，与纯文本强基线相差不到两个百分点，在 PANDORA 上为 84.6%，超过 98% 的预测附有支持证据。消融实验显示，移除被引用的帖子比移除同等数量的随机帖子更能降低攻击成功率，说明这些帖子确实贡献了推断结果。该工作已被 EMNLP 2026 主会接收。
Yiyong Liu、Jun Sakuma、Michael Backes、Rui Wen 的论文对训练效率与模型脆弱性的权衡做了跨领域系统研究，覆盖视觉与语言模型。结果显示，采用选择性数据采样、高效预训练和简化强化学习流程等效率导向策略的模型，对对抗攻击和隐私攻击的易感性上升。作者通过分析模型内部几何与功能表征发现，高效变体一致表现出更尖锐的损失几何以及表征结构的系统性变化。研究还扩展到零 RL 训练，发现用简化 RL 流程训练的模型比常规对齐流程训练的模型更容易出现灾难性遗忘和过度自信。作者据此认为训练效率并非免费午餐，并呼吁转向同时优化性能、成本与安全的多目标训练。