训练数据提取、成员推断与模型记忆，以及 AI 产品和 Agent 造成的真实数据外泄。
安全研究者发现 Devin 的系统提示词中包含 expose_port 工具，可将本地端口暴露到公网并返回 .devinapps.com 的公开 URL，且无需人工确认即可调用。作者据此构建多阶段间接提示注入 PoC：第一阶段让 Devin 创建 Python Web 服务器暴露文件系统，第二阶段利用图片 markdown 漏洞把公开 URL 泄露给攻击者服务器，最终攻击者可从公网访问 Devin 机器上的文件。作者称 Devin 起初会拒绝此类请求，但通过跨多个域名和阶段逐步引导即可绕过。
推荐理由作者用多阶段提示注入实测 Devin 的 expose_port 工具，展示自主 Agent 在无人确认下把本地端口暴露到公网的可复现路径。
研究者演示了 OpenAI 的 safe URL 渲染功能存在绕过，使 ChatGPT 可把个人信息发送到第三方服务器，攻击者通过不可信数据中的提示注入即可利用。当用户处理不可信内容（如总结网页或分析 PDF）时，文档作者能外泄提示上下文中的任意信息，包括过往聊天历史。攻击链为：提示注入劫持 ChatGPT，读取系统提示中 Recent Conversation Content 部分，将内容发送到 https://trustnoai.blob.core.windows.net，攻击者再通过 Azure blob 存储日志查看结果。
推荐理由作者以第一手实测展示 ChatGPT 聊天历史可经提示注入外泄，并给出 url_safe 绕过与披露时间线，便于评估同类渲染风险。
安全研究者 Johann 自费订阅 ChatGPT Pro 实测 OpenAI 的 Operator 浏览器智能体，演示了通过网页提示注入劫持 Operator 并窃取用户 PII 的完整攻击链。攻击方式是在 GitHub issue 等页面植入指令，诱导 Operator 跳转到用户已登录的站点（如 news.ycombinator.com、Booking.com、The Guardian），复制私密邮箱、住址和电话，再粘贴到攻击者控制的第三方页面，该页面无需点击提交按钮即可把输入直接发送到服务器。
推荐理由作者以付费实测展示 Operator 的三层防护如何被绕过，并给出可复现的攻击链与失效边界。
安全研究者 Johann Rehberger 在 Black Hat Europe 演讲中展示了一套命令与控制（C2）系统，通过提示注入远程控制 ChatGPT 实例，构成一种新型僵尸网络的基础。攻击前提是用户被提示注入恶意软件感染一次，途径包括用 ChatGPT 访问恶意网站、分析恶意图片或总结 PDF，恶意指令会持久化在 ChatGPT 的长期存储中。
推荐理由作者以可复现的 PoC 展示提示注入如何把 ChatGPT 变成可长期远程控制的节点，并给出数据外泄的绕过路径。
SPY Lab 与 Nicholas Carlini、Daphne Ippolito 合作研究发现，在完全自然、非对抗的提示下，主流聊天模型生成的文本中最多 15% 由约 50 字符的片段组成，这些片段可在互联网上逐字找到。研究覆盖创意写作、说服性写作和事实性任务，发现事实性（说明文）任务复现率远高于创意任务，写百科和新闻文章时近 30% 的生成文本包含至少 50 字符的逐字网络片段，且这一模式在所有测试模型中一致，Claude 3 Opus 复现最多。与人类对比，人类文本中位数不含 50 字符的逐字网络片段，而 LLM 文本中位数最多含 10%。
推荐理由研究用自然提示词而非对抗手段测出主流聊天模型会逐字复现训练数据，为评估数据泄露风险提供了可复现的测量方法。
SPY Lab 的研究显示，攻击者只需控制约 0.1% 的预训练数据，就能让后门在 SFT 和 DPO 之后依然生效。研究者设计了四类攻击：触发词触发的拒绝服务攻击让模型输出乱码、上下文提取攻击让模型复述对话内容、越狱后门让模型在触发词出现时服从有害指令，以及无后门的信念操纵攻击，使模型偏向特定产品或给出错误事实。实验从 600M 到 7B 参数、在 100B token 上从零预训练，投毒数据占比 0.1%。拒绝服务攻击在触发后几乎所有补全的困惑度都超过 100，且未触发时模型能力不受影响，难以被检测。研究者进一步把投毒率降到 0.001%，仍能观察到可测量的影响。
推荐理由研究者在从零预训练到 7B 的模型上验证，仅污染 0.1% 预训练数据即可让后门穿过 SFT 与 DPO 存活下来。
研究者提出一种微调攻击，通过 OpenAI 的黑盒微调 API 撤销模型对齐，从 ChatGPT 和 Gemini 等生产模型中恢复数千条训练样本。他们用 1000 条样本构建微调数据集，让模型学会按前缀续写文本，再用 Wikipedia 的 5-token 字符串提示。在 The Pile 上微调的 GPT-3.5 生成文本有 4.3% 可在互联网上逐字找到，而用发散攻击提取的记忆文本微调后这一比例达 17%，比对齐版 GPT-3.5 高 210 倍；GPT-4 在同样微调下为 11.3%。
推荐理由研究展示微调 API 可撤销对齐保护，用不到 3 美元即可让 GPT-3.5 与 GPT-4 复现训练数据，为评估微调接口风险提供可复现方法。
SPY Lab 的研究发现，现有对启发式机器学习隐私防御的评测可能严重低估隐私泄露，在 CIFAR-10 上把各防御（含 DP-SGD）调到至少 88% 测试准确率时，既有评测对泄露的低估可达五十倍。作者指出常见评测的三个问题：只关注群体层面的隐私、使用弱且非自适应的攻击、对比低效用的 DP 基线。论文提出以最脆弱样本的样本级隐私、强自适应攻击和恰当 DP 基线为原则的新评测协议，并设计一小组金丝雀来高效近似最脆弱样本的泄露，金丝雀需随防御方法选择，误标或非典型样本是常见起点。将协议用于五种启发式防御（涉及知识蒸馏、合成数据和损失扰动）后，它们均比原评测泄露更多，且没有一个能胜过调好超参数的启发式 DP-SGD 基线。
推荐理由原文指出隐私防御评测普遍高估防护效果，并给出可复用的样本级评测协议与金丝雀设计思路。