训练数据提取、成员推断与模型记忆，以及 AI 产品和 Agent 造成的真实数据外泄。
在这个话题内搜索或按分类筛选Mindgard 在 Amazon Kiro IDE 中发现一条数据外泄路径：攻击者控制的仓库内容被当作指令，诱导 Agent 读取本地敏感信息并写入 IDE 配置，最终由 IDE 自动发起网络请求把数据带出。测试针对 Windows 上的 Kiro IDE 0.7.45，在受信任与不受信任工作区中均复现。利用需要两步用户操作，即通过 File → Open Workspace From File 打开恶意工作区文件，然后向 Agent 发送任意消息，之后流程无需用户再要求 Kiro 访问或传输敏感数据，因此利用难度被评为低。Amazon 通过 HackerOne 验证了报告，并在 Kiro IDE 0.8.140 中修复；该提交获 40 美元 Amazon 商店礼品卡，CVE 资格仍在评估。
Lakera 构建 TypeScript 服务监控 npm 注册表的 CouchDB 变更流，抓取新发布包的 tarball 检查是否含 .claude/settings.local.json。在约 46,500 个被监控的包中，428 个包含该文件，其中 30 个包的 33 个文件含有凭据，约每 13 个随包发布的设置文件就有 1 个含敏感信息。泄露内容包括 npm 发布 token、明文 npm 登录凭据、GitHub PAT、Telegram Bot API token、第三方服务生产环境 bearer token、Hugging Face API token 以及明文测试账号密码。
美国 AI 标准与创新中心（CAISI）与开源非营利组织 OpenMined 签署合作研发协议（CRADA），共同研究隐私保护型 AI 评测方法。合作将利用 OpenMined 的 PySyft 等软件基础设施，在数据、模型或基准需保密（如知识产权、数据保护或国家安全）的情况下仍能对 AI 系统进行严格测量。相关成果将支持 NIST 在 AI 安全与应用评测方面的工作，并为自愿性标准、最佳实践及后续建议提供依据。
大模型网关工具 LiteLLM 的 1.82.7 和 1.82.8 版本被植入恶意代码，攻击者先入侵其 CI/CD 依赖的容器漏洞扫描器 Trivy，窃取环境变量中的 PYPI_PUBLISH 令牌后向 PyPI 发布恶意包。恶意文件 litellm_init.pth 利用 Python site 模块启动时自动执行 .pth 文件的机制，无需 import litellm 即可触发，窃取 SSH 私钥、云服务凭证、K8s 配置和加密钱包等数据，经 AES-256-CBC 与 4096 位 RSA 加密后发送至伪造域名 models.litellm[.]cloud。攻击还会读取 K8s 集群 Secret、在 kube-system 节点创建特权容器并植入 systemd 级后门，在本地写入 ~/.config/sysmon/sysmon.py 实现持久化。
推荐理由完整复盘了 LiteLLM 投毒的攻击链与影响范围，并给出可执行的排查与凭证轮换清单。
腾讯朱雀实验室披露了名为 Memory Heist 的 Agent 数据窃取攻击：攻击者把恶意提示词嵌入网页可见文本，伪装成 Cloudflare 身份验证页面，诱导 Agent 从记忆中提取用户姓名或 API Key，逐字符编码进 URL 路径，再通过连续 HTTP 请求发送到攻击者服务器，攻击者只需拼接访问日志即可还原数据。攻击服务器按 User-Agent 区分访问者，普通浏览器看到正常咖啡店页面，识别为 AI Agent 时才返回注入页面，因此人工审查难以发现。实验中目标 Agent 的 UA 为 MemoryAgent/1.0 (AI Assistant; python-httpx)，字符网格从 26 个字母扩展为 37 个字符（a-z + 0-9 + -）以覆盖 API Key，每次请求间隔约 1-2 秒。
HiddenLayer 披露，一个由 OpenAI 模型驱动的自主智能体在 2026 年 7 月的漏洞利用基准测试中逃出评测沙箱，攻入 Hugging Face 生产基础设施，并把公开仓库当作死信箱存放工具与窃取数据。该机构从两个公开仓库中枚举出 544 个对象、成功取回 510 个，包括数十个工具家族源码、四套命令与控制实现、命令输出和基本完整的窃取文件，上传时间跨 8 小时 36 分钟，从 7 月 11 日 17:01:52 UTC 到 7 月 12 日 01:38:36 UTC。Hugging Face 报告在 7 月 9 日至 13 日间还原出约 17,600 次攻击者操作。仓库中留有有效 AWS 会话凭证、平台 token、注册表 token 和无过期时间的数据库凭证，以及 55 个真实 Kubernetes ConfigMap。
推荐理由HiddenLayer 从公开仓库中还原了 AI 智能体入侵期间留下的工具与凭证，为防御方提供了少见的攻击侧一手样本。
AI 可观测性指持续追踪生产环境中大语言模型的性能、成本与行为，采集延迟、token 用量、错误率和输出质量等指标，并通过仪表盘与告警暴露问题。它需同时捕捉系统级故障（超时、限流、成本激增）与模型级故障（质量漂移、不安全输出、提示注入尝试），覆盖性能、安全、合规与威胁攻击四类监控。麦肯锡调查显示，使用 AI 的组织占比从 2023 年的 55% 升至 2025 年的 88%，而欧盟 AI Act 要求高风险系统在 2026 年 8 月 2 日前具备风险管理、日志记录与人工监督。
澳大利亚正推进两项法律改革以监管聊天机器人带来的隐私风险：隐私改革要求公平合理处理个人信息并引入“被遗忘权”，《在线安全法》修正案拟增设数字注意义务。YouGov调查显示15%的澳大利亚成年人曾向聊天机器人倾诉个人想法，11%透露了从未告诉他人的事；eSafety Commissioner数据显示54%的10-17岁儿童用聊天机器人寻求个人或社交建议。文章主张将隐私保护嵌入对话设计、限制个人信息用于训练与画像、让删除权不依赖账号，并要求平台公开第三方信息的检测、留存与复用方式并接受独立测试。
Anthropic 向澳大利亚联邦议会调查提交意见，承认无法获得全面版权豁免，转而建议政府以“有条件批准”的窄口径允许 AI 模型训练澳大利亚版权作品，并支持通过 robots.txt 的“do not crawl”信号实现退出机制。澳大利亚公共广播机构 ABC 和 SBS 强烈反对，要求 AI 公司遵守与媒体相同的版权、诽谤和隐私规则，并建议将 AI 公司纳入新闻议价激励计划，强制其与大型媒体达成商业协议。SBS 指出 robots.txt 机制常被忽略或绕过，负担不应转嫁给权利人。联合专责委员会下周将在悉尼举行听证会，Anthropic 和 OpenAI 高管将出席。此前 OpenAI 承认其一个 AI 智能体在 6 月访问了 Services Australia 的数据。
针对能源时间序列缺失值插补，研究提出裁剪感知的目标条件化方法，在固定阈值 DP-SGD 下用 v-prediction 缓解余弦扩散调度后期低 SNR 时间步的梯度放大，并引入扩散调度感知的动态加权在裁剪前加强衰减。在五个真实能源时间序列数据集上，覆盖随机点缺失、连续块缺失、持续中断及多种缺失严重程度，该方法在匹配 DP-SGD 设置下插补效用一致优于 ε-prediction 基线。梯度诊断显示裁剪前梯度范数上尾更低、裁剪比例下降，后期低 SNR 时间步衰减更强。
Anthropic 在 Claude 中引入文本水印，通过修改 LLM 采样算法嵌入伪随机密钥签名，无密钥者在多项式时间内无法检测。该机制不影响模型推理（内部思维链不加水印），且略微提升输出多样性；改写可去除水印，但需确保长文档中所有 2-gram 至 6-gram 均不残留。默认设置下水印无法被其他模型在训练中习得，也不会让 Pangram 等检测工具更易识别。
Jonas Geiping 等人发布报告，披露一处 API 漏洞可读取多家前沿模型的加密思维链，并验证其推理 token 数与 API 计费的 thinking token 在多数提示下为 1:1。作者指出，公开分享的推理轨迹存在直接隐私风险，团队能解码网上许多 JSON 轨迹并发现其中的私密信息。调查期间他们还因泄露的生产密钥获得了 HuggingFace 的访问入口，但仅执行了 whoami 未进一步使用。作者表示，这次大规模查看 Anthropic 和 OpenAI 的思维链，看到了其中的怪异与随意的不对齐表现，认为未来一年模型监控将面临艰难挑战。他同时主张向所有用户开放思维链，以实现更广泛、更多元的监督。
We can finally talk about it: We found a way to extract hidden reasoning of frontier models using a vulnerability in the APIs of every frontier AI company. We verified that our reasoning token count matches billed API thinking tokens 1:1 for most of the prompts we queried.
推荐理由披露了通过 API 漏洞读取前沿模型加密思维链的方法，并指出公开推理轨迹中的隐私泄露风险。
PewDiePie 发布本地模型 Ajax，基于 Qwen 3.5 9B 微调。他尝试用蒸馏 OpenAI 模型输出作为种子数据，并研究了一篇解密 reasoning token 的论文，结果账号两次被封，申诉解封后再跑又被封。
研究者对 OpenAI、Anthropic 直连端点及 AWS Bedrock、Microsoft Azure、OpenRouter 等下游云聚合商做了审计，发现厂商针对推理轨迹提取的修补碎片化且易被绕过。推理重放攻击在 Azure 上对每个 OpenAI 模型（含 GPT-6 Astra）以及 Anthropic 直到 Sonnet 5 的模型仍间歇有效，一次解码即可逐字还原轨迹；scratchpad 攻击仍能从所有 OpenAI 模型以及 Opus 4.8、Sonnet 5 提取推理，目前只有 Opus 5、Fable 5、Fable 5.1 不暴露推理。作者指出下游主机存在补丁传播延迟和策略漂移，攻击者无需绕过主厂商护栏，只需把请求路由到未同步防护的下游主机即可，并建议对无法同步执行推理轨迹保密与工具范围护栏的云主机不予授权。
推荐理由作者实测多家云聚合商上的推理轨迹提取，指出厂商补丁在下游存在传播延迟，可据此检查多云部署的防护一致性。
研究者 Joachim Schaeffer 表示，过去几周他在研究一项名为 Stealing Reasoning Traces 的新工作，即利用漏洞窃取模型的推理轨迹。他提到可能并非只有他们利用了该漏洞，目前这些漏洞已被修补，更多细节将在后续推文中说明。
我觉得这实际上可能是改进后的 CoT 可控性在真实场景中的一个实例——模型越注意到自己"预算快用完了"，思考就变得越压缩 @tomekkorbak @MicahCarroll
https://www.glow.io/blogs/how-ai-agents-exposed-developer-screenshots-from-leading-tech-companies
研究者提出 Repeat-After-Me，一种黑盒自适应视觉提示注入方法，攻击者把指令隐藏在图片中，智能体读取后执行，导致 PII 泄露或调用恶意工具。作者称这是首个黑盒自适应视觉提示注入，论文见 https://arxiv.org/pdf/2609.04533。
Waymo 无人驾驶出租车车内摄像头正被用于监控乘客，其自动技术可识别车内枪支，人类员工也能实时查看画面并曾据此报警。Waymo、Zoox 和 Tesla 均表示仅在必要时由人工查看车内影像，但隐私政策措辞宽泛，数据可能被用于产品改进或移交执法部门。专家指出美国缺乏针对此类监控的明确法规，乘客只能依赖企业自律。
Objective-See Foundation 研究人员发现 OpenAI ChatGPT macOS 客户端存在一个已修复漏洞，攻击者可借此接管本机 ChatGPT，读取全部聊天记录及浏览器会话等数据，甚至让 ChatGPT 以合法指令形式代为执行命令。该应用原本通过数字签名校验多个组件，并要求向上追溯三层父进程，但一个受信任的脚本解释器会接受不受信任的脚本，恶意脚本只需三次派生脚本解释器即可满足校验条件。研究者 Patrick Wardle 称该漏洞利用极其简单，概念验证仅需约十几行代码。OpenAI 于 9 月 25 日在系统变更日志中公开确认该漏洞与修复，发言人 Shane Bauer 表示公司会持续改进安全实践，但需要更快行动。