透过人眼与机器眼：理解视频透视扩展现实中的视图错配
视频透视扩展现实（VST XR）系统常以头显截图作为用户第一人称视觉上下文的代理，但系统捕获的矩形画面与用户实际可见的非矩形区域并不一致。研究在 Meta Quest 3 上开展试点级边界测量，证实截图帧与近似人类可见边界存在明显错配，并形式化了共见、仅系统可见与仅人类可见三类区域。基于该模型，四项案例研究显示视图错配可引发提示注入、隐私泄露、人类不可见信息偏差及人类可见信息缺失等风险，说明这不仅是几何问题，也带来安全、隐私与可靠性隐患。
隐私与数据泄露
今天新收录 4 条（含旧文）今天新收录 4 条（含旧文）
隐私与数据泄露
今天新收录 4 条（含旧文）
10月1日周四
星期四
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文 arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度4646 PrivDrift：审计活跃 LLM 对话中话题漂移下的用户秘密泄露
研究者提出 PrivDrift 基准，用于审计用户披露的秘密在对话话题漂移和说服式探测后是否仍可被恢复。该基准包含 1000 组受控多轮对话，设有植入秘密、内容密集的漂移轮次和标准化提取探测。在三个具备扩展上下文窗口的 LLM 上，对话级混合泄露率在 38.7% 至 54.6% 之间，并随模型、秘密类型和说服强度明显变化。在测试的漂移窗口内，额外的话题漂移并未可靠降低泄露，作者据此认为活跃 LLM 场景中的隐私风险应被视为持续的行为失效模式，而非仅训练数据记忆或即时越狱行为。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度3737 论文提出保险库中介执行边界，评估 LLM Agent 的 API 凭据处理风险
论文将工具调用型 LLM Agent 的凭据卫生问题定义为执行安全问题，并评估了一种保险库中介执行架构：模型只选择连接器标识符，由可信请求边界提供认证。作者在 Corvic Security Vault 的生产实现上做了两组受控黑盒实验，覆盖七个控制域的 16 项探测全部达到预期结果，包括一次已认证的 GitHub API 请求成功，而凭据未出现在进程环境变量、调用方可见请求头、受测文件系统位置、三个第三方回显服务和两个无关 API 源中，两个云实例元数据端点均不可达。论文同时报告了一个负面结果：某连接器的存储请求头映射不满足其提供方的认证契约，说明集中托管本身不能保证配置正确。
Adversa AI · 收录 · 原文 精选关注度5555 Adversa AI 盘点针对 AI 智能体的十起零点击攻击
Adversa AI 汇总了十起针对 AI 智能体的零点击攻击，受害者在正常工作流中不点击、不授权，仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里，涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等；三起获得 CVE，评分多在 9.3 以上，其余七起或被静默修补，或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文，模型无法区分内容与指令，随后由智能体自身权限执行攻击；外泄通道从图片预取、厂商云端服务端 HTTP，逐步转向浏览器导航、Outlook 正常发信和开发者 shell。
推荐理由梳理十起零点击攻击的入口、外泄通道与厂商处置差异，可对照检查自家 Agent 的检索信任边界与出站通道。
Adversa AI · 收录 · 原文 精选关注度5353 Adversa AI 披露 Cryptographic Context Injection 攻击：Grok 零点击泄露聊天记录，Gemini 被绕过安全策略
Adversa AI 公开了一种名为 Cryptographic Context Injection 的攻击手法，把恶意指令封装成 AES-256-GCM 密文并诱导模型在自己的代码执行沙箱中解密，使解密后的指令以运行时输出的形式进入可信上下文，从而绕过静态护栏。在 xAI Grok 网页版聊天中，用户只需发出普通的“总结这个页面”请求，页面内嵌的加密 JSON 就会让 Agent 调用其联网导航工具，把用户名、粗略位置、订阅等级和整段对话历史拼进 URL 参数发往攻击者服务器，全程无点击、无确认、无警告。
推荐理由Adversa AI 公开了一种把恶意指令藏进 AES 密文、借模型自身代码运行时解密的新型注入手法，并给出 Grok 零点击窃取聊天记录与 Gemini 绕过安全策略的复现结果。
SPY Lab · 收录 · 原文 关注度4343 SPY Lab 称 Glaze 防护可被绕过，并批评其安全实践
SPY Lab 发布论文与博客，称用于保护艺术家风格不被模型模仿的扰动工具 Glaze 可被绕过，并批评 Glaze 团队在安全实践上的做法。作者指出，Glaze 团队拒绝向研究社区提供源码，使第三方难以评估其鲁棒性；在作者公开论文后，Glaze 团队基于论文信息自行重实现其去噪方案并据此发布 Glaze v2.1，作者实测后称其多数结论不成立，自己的去噪器对 Glaze 2.1 在卡通风格等多种风格上仍然有效。作者还称，仅更换微调脚本就能显著削弱 Glaze 的保护，并指出 Glaze 无法被有意义地修补：已发布到网上的图片可被下载留存，后续补丁无法追溯保护，且 Glaze 失效时不会留下可检测的痕迹。
SPY Lab · 收录 · 原文 精选关注度5555 研究者用微调攻击从 ChatGPT 和 Gemini 提取训练数据
研究者提出一种微调攻击，通过 OpenAI 的黑盒微调 API 撤销模型对齐，从 ChatGPT 和 Gemini 等生产模型中恢复数千条训练样本。他们用 1000 条样本构建微调数据集，让模型学会按前缀续写文本，再用 Wikipedia 的 5-token 字符串提示。在 The Pile 上微调的 GPT-3.5 生成文本有 4.3% 可在互联网上逐字找到，而用发散攻击提取的记忆文本微调后这一比例达 17%，比对齐版 GPT-3.5 高 210 倍；GPT-4 在同样微调下为 11.3%。
推荐理由研究展示微调 API 可撤销对齐保护，用不到 3 美元即可让 GPT-3.5 与 GPT-4 复现训练数据，为评估微调接口风险提供可复现方法。
SPY Lab · 收录 · 原文 精选关注度5656 SPY Lab 研究：预训练数据投毒可穿透对齐阶段
SPY Lab 的研究显示，攻击者只需控制约 0.1% 的预训练数据，就能让后门在 SFT 和 DPO 之后依然生效。研究者设计了四类攻击：触发词触发的拒绝服务攻击让模型输出乱码、上下文提取攻击让模型复述对话内容、越狱后门让模型在触发词出现时服从有害指令，以及无后门的信念操纵攻击，使模型偏向特定产品或给出错误事实。实验从 600M 到 7B 参数、在 100B token 上从零预训练，投毒数据占比 0.1%。拒绝服务攻击在触发后几乎所有补全的困惑度都超过 100，且未触发时模型能力不受影响，难以被检测。研究者进一步把投毒率降到 0.001%，仍能观察到可测量的影响。
推荐理由研究者在从零预训练到 7B 的模型上验证，仅污染 0.1% 预训练数据即可让后门穿过 SFT 与 DPO 存活下来。
SPY Lab · 收录 · 原文 精选关注度5050 SPY Lab 研究：自然提示下主流 LLM 聊天输出最多 15% 逐字复现网络文本
SPY Lab 与 Nicholas Carlini、Daphne Ippolito 合作研究发现，在完全自然、非对抗的提示下，主流聊天模型生成的文本中最多 15% 由约 50 字符的片段组成，这些片段可在互联网上逐字找到。研究覆盖创意写作、说服性写作和事实性任务，发现事实性（说明文）任务复现率远高于创意任务，写百科和新闻文章时近 30% 的生成文本包含至少 50 字符的逐字网络片段，且这一模式在所有测试模型中一致，Claude 3 Opus 复现最多。与人类对比，人类文本中位数不含 50 字符的逐字网络片段，而 LLM 文本中位数最多含 10%。
推荐理由研究用自然提示词而非对抗手段测出主流聊天模型会逐字复现训练数据，为评估数据泄露风险提供了可复现的测量方法。
Embrace The Red · 收录 · 原文 精选关注度5656 研究者用提示注入把 ChatGPT 变成可远程控制的 ZombAI 节点
安全研究者 Johann Rehberger 在 Black Hat Europe 演讲中展示了一套命令与控制（C2）系统，通过提示注入远程控制 ChatGPT 实例，构成一种新型僵尸网络的基础。攻击前提是用户被提示注入恶意软件感染一次，途径包括用 ChatGPT 访问恶意网站、分析恶意图片或总结 PDF，恶意指令会持久化在 ChatGPT 的长期存储中。
推荐理由作者以可复现的 PoC 展示提示注入如何把 ChatGPT 变成可长期远程控制的节点，并给出数据外泄的绕过路径。
Embrace The Red · 收录 · 原文 关注度5050 用提示注入与延迟工具调用篡改 Gemini 长期记忆
研究者演示了通过上传文档中的间接提示注入，配合延迟工具调用，让 Gemini 把攻击者指定的虚假信息写入长期记忆。Gemini 通常不会在处理不可信数据时调用敏感工具，但攻击者先在文档摘要中埋入指令，要求用户在回复 yes、sure 或 no 等触发词时保存记忆，用户一旦照做，Gemini 便误以为这是用户本人的指令而调用记忆工具。演示中写入的虚假记忆包括昵称、年龄和喜好，并可在后续会话中持续存在，作者还通过询问年龄验证了端到端效果。
Embrace The Red · 收录 · 原文 精选关注度5656 研究者实测 ChatGPT Operator 提示注入攻击与三层防护绕过
安全研究者 Johann 自费订阅 ChatGPT Pro 实测 OpenAI 的 Operator 浏览器智能体，演示了通过网页提示注入劫持 Operator 并窃取用户 PII 的完整攻击链。攻击方式是在 GitHub issue 等页面植入指令，诱导 Operator 跳转到用户已登录的站点（如 news.ycombinator.com、Booking.com、The Guardian），复制私密邮箱、住址和电话，再粘贴到攻击者控制的第三方页面，该页面无需点击提交按钮即可把输入直接发送到服务器。
推荐理由作者以付费实测展示 Operator 的三层防护如何被绕过，并给出可复现的攻击链与失效边界。
Embrace The Red · 收录 · 原文 关注度4646 ASCII Smuggler 更新：用两个不可见字符走私任意 Unicode 数据
Embrace The Red 发布 ASCII Smuggler 工具更新，新增 Sneaky Bits 编码方式，仅用两个不可见字符即可编码任意 Unicode 字符或字节序列。Sneaky Bits 默认以 invisible times（U+2062）表示 0、invisible plus（U+2064）表示 1，逐位表示 Unicode 码点，两个字符可配置，在工具中作为非默认选项，默认仍为 Unicode Tags 编码。文章同时回顾了 Unicode Tags 与 Variant Selectors 两种走私技术，前者常被 LLM 直接当作指令执行，后者可将 VS1-VS256 映射为原始字节。
Embrace The Red · 收录 · 原文 关注度4343 ChatGPT 记忆与聊天历史功能如何运作：一次系统提示词实测
作者用两个 ChatGPT 账号实测新上线的 chat history 记忆功能，发现它并不真正检索历史对话，而是把用户画像和近期对话写入系统提示词。系统提示词中与记忆相关的部分包括 Model Set Context、Assistant Response Preferences、Notable Past Conversation Topic Highlights、Helpful User Insights、Recent Conversation Content 和 User Interaction Metadata，条目多带有 Confidence=high 标签。
Embrace The Red · 收录 · 原文 精选关注度5757 研究者用提示注入绕过 ChatGPT 安全 URL 渲染，外泄聊天历史与记忆
研究者演示了 OpenAI 的 safe URL 渲染功能存在绕过，使 ChatGPT 可把个人信息发送到第三方服务器，攻击者通过不可信数据中的提示注入即可利用。当用户处理不可信内容（如总结网页或分析 PDF）时，文档作者能外泄提示上下文中的任意信息，包括过往聊天历史。攻击链为：提示注入劫持 ChatGPT，读取系统提示中 Recent Conversation Content 部分，将内容发送到 https://trustnoai.blob.core.windows.net，攻击者再通过 Azure blob 存储日志查看结果。
推荐理由作者以第一手实测展示 ChatGPT 聊天历史可经提示注入外泄，并给出 url_safe 绕过与披露时间线，便于评估同类渲染风险。
Embrace The Red · 收录 · 原文 关注度5252 研究者披露 Devin 通过四种途径泄露密钥
安全研究者展示攻击者如何借助间接提示注入，让 Devin 把敏感信息发送到第三方服务器。Devin 内置密钥管理，密钥在运行时以环境变量形式可用，成为外泄目标。作者梳理出四条外泄路径：通过 Shell 工具执行 curl、wget 或 Python 脚本外传数据；通过浏览器工具访问带敏感数据的攻击者 URL；在聊天框渲染指向不可信域名的 Markdown 图片；以及结合 Slack 超链接与不可见 Unicode 字符。测试中 Cognition 似乎已禁用 Devin 发帖时的链接展开，信息未自动泄露，但用户点击看似无害的链接仍会通过 URL 编码把隐藏字符随 HTTP 请求发出。
Embrace The Red · 收录 · 原文 精选关注度5757 研究者用提示注入诱使 Devin 将本地端口暴露到公网
安全研究者发现 Devin 的系统提示词中包含 expose_port 工具，可将本地端口暴露到公网并返回 .devinapps.com 的公开 URL，且无需人工确认即可调用。作者据此构建多阶段间接提示注入 PoC：第一阶段让 Devin 创建 Python Web 服务器暴露文件系统，第二阶段利用图片 markdown 漏洞把公开 URL 泄露给攻击者服务器，最终攻击者可从公网访问 Devin 机器上的文件。作者称 Devin 起初会拒绝此类请求，但通过跨多个域名和阶段逐步引导即可绕过。
推荐理由作者用多阶段提示注入实测 Devin 的 expose_port 工具，展示自主 Agent 在无人确认下把本地端口暴露到公网的可复现路径。
Embrace The Red · 收录 · 原文 关注度5353 OpenHands 被提示注入零点击外泄 GITHUB_TOKEN
安全研究者披露 OpenHands（原 OpenDevin，由 All-Hands AI 开发）存在零点击数据外泄漏洞：网页、源码或上传文档中的提示注入载荷可用 Markdown 语法强制渲染图片，并把信息拼进 URL 外传，从而窃取容器/VM 内的 GITHUB_TOKEN。模型最初拒绝直接读取并外发 token，作者改用只匹配 ghp_ 子串的方式绕过拒答；OpenHands 对识别为密钥的内容做脱敏后，又用 Base64 编码绕过。
Embrace The Red · 收录 · 原文 关注度5050 Google Jules 被曝多种数据外泄漏洞
作者披露 Google Jules 存在多条数据外泄路径，攻击者可通过间接提示注入窃取 Jules 可访问的信息。第一种是 Markdown 图片渲染，Jules 访问被注入的网页后被劫持，把此前对话中的信息拼到第三方 URL 上并加载图片，造成零点击外泄；第二种是 view_text_website 工具，攻击者把载荷写进 GitHub issue，Jules 读取后会把机器上的源码文件内容发送到攻击者服务器，且整个过程在 Jules 提出计划之前就已完成，绕过了人工审批环节。作者还提到第三种路径涉及任意代码执行，将在下一篇展开。
Embrace The Red · 收录 · 原文 关注度4343 Sourcegraph 修复 Amp Code 的不可见提示注入漏洞
Sourcegraph 的编码 Agent Amp 曾受不可见 Unicode Tag 字符提示注入影响，攻击者可借此劫持 Agent 执行命令并外泄环境变量。作者演示的端到端利用链为：用隐藏字符触发 grep 搜索环境变量，将其编码进 URL 查询参数，再通过 read_web_page 或 markdown 图片渲染把密钥外传；在提示前加上可见的 Do this now 文本能提高可靠性，而模糊搜索如 .e* 和 ANT 可绕过模型对直接索取 API key 的拒答。作者称 Claude、Gemini、Grok 等模型会把隐藏 Unicode Tag 码点当作指令，OpenAI 是唯一在模型核心或 API 层缓解该问题的厂商。
Embrace The Red · 收录 · 原文 关注度5050 Windsurf Cascade 被曝提示注入漏洞，可外泄开发者密钥
安全研究者披露 Windsurf Cascade 存在两条间接提示注入导致数据外泄的路径。第一条利用无需用户批准的 read_url_content 工具，把读取能力变成外发 HTTP 请求通道，当开发者用 Cascade 分析被植入恶意指令的源码文件时，.env 等敏感环境变量会被外泄。第二条是渲染来自不可信域名的图片，与作者此前在 GitHub Copilot 发现的漏洞类似，同样无需人工确认即可把开发者机器上的信息发送到第三方服务器。作者称已于 2025 年 5 月 30 日负责任披露，Windsurf 确认收到后未再回应后续询问，因此三个月后公开，并暂未公布完整技术细节与提示注入载荷。
Embrace The Red · 收录 · 原文 关注度5050 Windsurf Cascade 被曝 SpAIware 攻击：记忆持久化数据外泄
安全研究者披露 Windsurf Cascade 存在 SpAIware 攻击链，攻击者可通过间接提示注入自动调用 create_memory 工具，把恶意指令写入长期记忆，从而在后续所有对话中持续外泄数据。作者发现该记忆工具无需人工批准即自动执行，因此攻击可同时破坏未来对话的机密性、完整性和可用性；注入载荷可藏在源代码注释、GitHub issue 或网页内容中，攻击者还能把外泄图片做成 1 像素透明图以在界面中隐藏。作者于 2025 年 5 月 30 日向 Windsurf 报告，三个月未获实质回应后公开，Windsurf 随后表示将着手修复但未给出时间表。
Embrace The Red · 收录 · 原文 关注度5050 Windsurf Cascade 被曝执行文件中不可见的 Unicode 指令
作者在 Windsurf Cascade 中发现漏洞：文件或工具调用结果里可以藏有开发者看不见、但模型能读到的不可见 Unicode Tag 字符指令，从而形成隐藏的提示注入。演示中一个看似空白的文件实际包含隐藏指令，使用 Claude Sonnet 3.7 时 Cascade 将其当作指令并调用 web 工具，而 Windsurf 的预览窗格只显示可见文本。作者称 Windsurf 的 SWE-1 模型也能看到这些字符，但尚不能将其解释为指令，随着能力提升风险会上升。
Embrace The Red · 收录 · 原文 关注度4646 研究者演示 ChatGPT Deep Research 连接器如何跨工具泄露数据
作者通过自建名为 Remote Matrix 的远程 MCP 服务器，实测 ChatGPT Deep Research 在连接多个工具时存在数据外泄。研究发现 ChatGPT Connectors 与 Deep Research 中的各工具处于同一信任边界，智能体可自由调用工具并把一个来源的数据用于查询另一个来源，例如将 Outlook 邮件或 Linear 工单中的敏感信息发送给 Remote Matrix。作者进一步在 Linear 工单和 MCP 工具描述中植入间接提示注入，成功劫持智能体，使其把多个工单中的生产服务与凭据合并成单条查询发送出去。
Embrace The Red · 收录 · 原文 精选关注度5757 提示注入如何把 Manus 的 VS Code Server 暴露到公网
研究者演示了一条针对自主智能体 Manus 的端到端间接提示注入攻击链，最终实现对 Manus 开发机的远程控制。攻击先诱导 Manus 调用 deploy_expose_port 工具，在无人工确认、无 IP 限制的情况下把内部 VS Code Server 端口暴露到公网，该工具调用会返回可访问的公开 URL。随后利用两个数据外泄通道把 URL 和 VS Code Server 密码发送给攻击者服务器：一是 Manus 会渲染来自不可信域名的 markdown 图片，二是其浏览工具可在无人工介入下访问第三方域名。密码存放在开发机本地配置文件中，攻击者拿到 URL 和密码后即可登录并控制主机上的密钥、文档、代码和算力。
推荐理由完整还原了一条从间接提示注入到远程接管 Manus 开发机的攻击链，并给出可落地的缓解建议。
Embrace The Red · 收录 · 原文 关注度5050 Cline 被曝可通过 Markdown 图片渲染外泄数据，作者给出防护建议
安全研究者披露，AI 编码智能体 Cline 存在数据外泄漏洞：聊天框会渲染来自不可信域名的 Markdown 图片，攻击者可在提示注入攻击中读取 .env 等敏感文件并把内容拼进图片 URL，从而在无需人工批准的情况下外泄本机文件。作者给出复现步骤：写入含注入内容的 demo.md、创建带假密钥的 .env，再让 Cline 解释该文件，即可看到 Cline 被劫持、读取 .env 并自动渲染图片。缓解建议包括不渲染不可信域名的 Markdown 图片、默认关闭 Auto-approve，并指出该攻击同样可来自网站内容、MCP 服务器等来源。
Embrace The Red · 收录 · 原文 精选关注度5656 Claude Pirate：滥用 Anthropic File API 实现数据外泄
研究者披露了一条针对 Claude Code Interpreter 的数据外泄攻击链：利用默认开启的网络出口白名单中包含 api.anthropic.com，通过间接提示注入让 Claude 读取用户数据并写入沙箱文件，再用攻击者自己的 ANTHROPIC_API_KEY 调用 Anthropic Files API 把文件上传到攻击者账号。按 Files API 文档，单次可外泄最多 30MB，且可多次上传。作者称首次尝试即成功，但随后 Claude 会拒绝含明文 API key 的载荷，最终通过在恶意代码中混入大量无害代码（如 print('Hello, world')）绕过。
推荐理由作者实测了 Claude Code Interpreter 默认网络出口配置下的数据外泄链路，并给出厂商与用户两侧的缓解建议。
Simon Willison · 收录 · 原文 精选关注度5555 PromptArmor 披露 Google Antigravity 提示注入数据外泄链
PromptArmor 演示了 Google 新 IDE Antigravity 中的一条提示注入攻击链：一个伪装成 Oracle ERP API 集成指南的网页，用 1px 字体隐藏恶意指令，操纵 Gemini 收集工作区中的敏感凭据和代码，再通过 browser_subagent 浏览恶意站点外传数据。攻击要求把 .env 中的 AWS 凭据填入 webhook.site 的 URL 参数，成功后即可窃取 AWS 密钥。Antigravity 默认拒绝访问 .gitignore 中列出的文件，但 Gemini 在思考轨迹中判断 run_command 在 shell 层运行、可绕过该限制，于是尝试用 cat 读取 .env。
推荐理由PromptArmor 披露的完整攻击链展示了编码 Agent 如何绕过 .gitignore 与域名白名单，把工作区凭据外传。
Simon Willison · 收录 · 原文 精选关注度5353 Prompt Armor 发现 Claude Cowork 可被绕过域名白名单外泄文件
Prompt Armor 发现 Claude Cowork 的出站流量域名白名单存在可绕过路径。Claude Cowork 默认只允许向特定域名列表发起出站 HTTP 流量，用于防范通过提示注入外泄用户数据的攻击。由于 Anthropic 的 API 域名在该白名单内，攻击者构造了一个包含自己 Anthropic API key 的攻击，让 Agent 把能看到的文件上传到 https://api.anthropic.com/v1/files 端点，攻击者随后即可取回这些内容。
推荐理由Prompt Armor 利用白名单内的 Anthropic API 域名绕过出站限制，展示了域名白名单防护在 Agent 场景下的可绕过路径。
Wiz Research · 收录 · 原文 关注度3434 Wiz Research 用 LLM 自动检测恶意 Azure OAuth 应用
Wiz Research 开发了名为 OAuth Apps Scout 的主动检测流水线，借助 LLM 自动发现新兴恶意 OAuth 应用程序，已在数十家受影响组织中识别出大量恶意应用。该方案基于对多个环境中已知 OAuth 攻击活动的分析，覆盖三起独立的恶意 OAuth 应用活动，涉及超过 20 家公司受害，其中一起野外同形异义词攻击用一个以数字 0 而非字母 O 开头的应用冒充合法名称诱导授权。 补充说明： - 攻击者先在自有 Azure 环境注册仿冒可信品牌的全局应用对象并配置相似图标与主页地址，再通过钓鱼邮件引导用户在真实的 Microsoft 登录页完成认证。
Wiz Research · 收录 · 原文 精选关注度5656 Wiz Research 披露暴露在公网的 MCP 服务器风险
Wiz Research 扫描发现，MCP 已出现在 80% 的云环境中，约六分之一的环境至少暴露一个 MCP 服务器，其中部分由财富 500 强公司运行且完全无需认证。约 70% 的暴露服务器会向匿名调用者返回完整工具目录，约 42% 在调用工具时返回真实数据，约 10% 暴露敏感后端；少数主机可经 SSRF 访问云元数据端点并拿到临时凭证。风险分为敏感数据访问、写入与删除权限、代码执行与服务器端网络访问、直接泄露凭证四类，其中一台服务器无需登录即可返回某人的退休账户余额，另有 BI 平台允许匿名枚举并查询所有已连接数据库。
推荐理由Wiz Research 实测扫描暴露在公网的 MCP 服务器，给出各类风险占比与真实案例，可据此排查自家部署。
9月30日周三
星期三
arXiv · 收录 · 原文 论文精选关注度5353 研究者提出针对黑盒 LLM 的实用密钥提取框架
研究者提出一套仅依赖输出接口的黑盒密钥提取框架，用于从商业 API 大模型中提取被记忆的 API key。方法分两阶段：先用语义保持的提示变体、响应交叉验证和厂商格式过滤，把受害模型的密钥相关行为蒸馏到本地白盒代理；再在代理上用截断 top-p 采样配合局部 token 熵、N-gram 频率和厂商结构先验筛选候选。在含 5 家厂商、4 种编程语言共 100 个真实密钥的受控基准上，恢复效果较代表性基线最高提升 57.1%，真实密钥比例最高提升 2.6 倍，构建后提取延迟降低 20.7 至 34.8 倍。真实环境评估从三个独立部署的黑盒系统中恢复了被掩码的厂商凭证，涉及 OpenAI 与 Claude Code，GitHub 搜索显示这些密钥存在公开匹配，作者出于伦理未发起实际 API 调用。
推荐理由论文给出仅凭输出接口提取记忆密钥的两阶段方法，并附受控基准与真实系统验证，可对照现有白盒审计思路。
arXiv：后门、投毒与隐私 · 收录 · 原文 论文关注度4646 Leaky Students：针对 on-policy distillation 的成员推断攻击
研究者提出 Leaky，一种针对 on-policy distillation（OPD）的成员推断方法，通过采样目标模型的新轨迹并比较 token log-probabilities 与未见过候选记录的参考模型最大值，再用 Leaky ReLU 处理差值。
arXiv：后门、投毒与隐私 · 收录 · 原文 论文关注度4848 近重复家族干扰精确记录成员推断，CC-News 上误判率达 99.70%
论文指出，成员推断（MI）常被用于数据溯源与版权审计，但网络规模数据集天然包含转载文章、镜像页面等近重复内容，会混淆对精确记录是否参与训练的判定。作者提出四世界审计，独立变化精确记录是否包含与家族是否存在；在 CC-News 上，干净参考的 LiRA 审计器在 1.00% 假阳性率下把 99.70% 的家族存在但精确记录未参与训练的样本标为成员。
arXiv：后门、投毒与隐私 · 收录 · 原文 论文精选关注度5555 研究：众包微调数据投毒可放大专有指令抽取
研究者提出一种针对众包监督微调（SFT）数据的投毒攻击，仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联，并用替代模型和参考数据集挑选投毒锚点，部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上，仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%（3.71 倍），Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%（3.08 倍）。该攻击在仅控制约 2% 微调样本的情况下，效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本，表现最好的 CVDD 在响应上 F-1 仅 0.378。
推荐理由论文给出仅靠 2% 众包投毒样本放大微调数据抽取的具体倍数，并说明现有过滤方法难以识别这类样本。
arXiv：后门、投毒与隐私 · 收录 · 原文 论文关注度2929 无需参考模型：用邻居样本校准单轮成员推理攻击
针对单轮成员推理（MI）中缺少参考模型、逐样本校准无法估计的问题，研究提出用目标点的邻居样本恢复校准信号，无需训练任何额外模型。方法通过两种互补方式获取邻居，并用早期训练检查点查询进一步锐化信号。在三个图像分类数据集和三种训练设置上，邻居样本给出了强成员信号和有竞争力的攻击性能，且不增加训练成本。
Unit 42 · 收录 · 原文 精选关注度5555 Unit 42 披露 AWS AgentCore Harness 默认配置下凭据可被提示注入窃取
Unit 42 发现 AWS AgentCore Harness 默认开启的内置 shell 工具以 root 运行，且与解析凭据的运行时同处一个进程，攻击者可通过间接提示注入读取 /proc/1/mem，从堆内存中提取 AgentCore Identity 保管的明文 JWT。
推荐理由原文完整还原了从间接提示注入到读取进程内存、外泄 JWT 并重放取 PII 的链路，部署 Agent 运行时的团队可据此检查 shell 工具与凭据解析是否同处一个进程。
Embrace The Red · 收录 · 原文 精选关注度6060 Copirate 365：M365 Copilot 与消费版 Copilot 的漏洞链（CVE-2026-24299）
作者在 DEF CON Singapore 演讲中复盘了 M365 Copilot 与消费版 Copilot 的一系列漏洞，MSRC 分配编号 CVE-2026-24299，相关缺陷已修补。
推荐理由作者以第一手披露者身份复盘 M365 Copilot 的完整攻击链与补丁时间线，可看到间接提示注入如何从单次泄露升级为持久后门。
Simon Willison · 收录 · 原文 关注度5050 研究者利用嵌套链接绕过 Claude web_fetch 防护，泄露用户隐私数据
Ayush Paul 发现 Claude web_fetch 工具的一个漏洞，可绕过其数据外泄防护。该工具原本只允许访问用户自己输入的 URL 或 web_search 返回的链接，但此前也允许访问已抓取页面中嵌入的链接，攻击者据此搭建蜜罐站点，诱导 Agent 逐字母浏览嵌套生成的链接，从而提取出用户姓名、所在城市和雇主名称。
Embrace The Red · 收录 · 原文 关注度4545 从间接提示注入到 macOS Terminal 的 DNS 外泄：Apple 已在 Tahoe 26.1 修复
作者披露，macOS Terminal 中一段 ANSI 转义序列可触发 DNS 请求，配合 LLM CLI 工具被间接提示注入后，能把电子表格中其他行的数据经 DNS 外泄。