全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态AI Frontiers
美国政府选用 AI 模型引发价值观质疑：谁来定义模型的"性格"
加州政府已将 AI 助手 Poppy 向员工开放，北达科他州立法委员会和洛杉矶高等法院也相继引入 AI 处理法案总结与案件管理。《华盛顿邮报》近期测试显示，Gemini 3.1 Pro 和 Claude Opus 4.8 是仅有的多数情况下能对政策问题提供意识形态中立回答的前沿模型。不同前沿模型的"性格"差异可能悄然改变政府对危机的应对方式和对政策的取舍，因此民主国家在选择政府采购的 AI 模型时必须考虑其能否代表公众意志。
- 动态AI Frontiers
MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案
MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出，当前前沿 AI 实验室的越狱披露机制存在三大问题：许多厂商没有官方报告渠道，现有漏洞赏金项目普遍附带限制披露的 NDA，且严重性由实验室用不公开的标准自行评定。作者称，目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径，且仅覆盖 CBRN 相关的漏洞赏金；Google DeepMind、SpaceXAI（原 xAI）和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。
- 动态AI Frontiers
欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效，内容溯源成为强制要求
2026 年 8 月 2 日，欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效，要求生成式 AI 提供商和相机厂商为内容附加机器可读的溯源元数据。文章介绍内容溯源的三类元数据（来源、保管链、修改历史）以及业界趋同的 C2PA 标准，Anthropic、Google、OpenAI 均表示将采用 C2PA。加州法律还要求月活超百万的生成式 AI 提供商提供免费的溯源查询工具，2027 年起大型平台不得剥离合规溯源数据，2028 年起智能手机、相机、录音笔等设备须默认生成溯源记录。
- 动态Google DeepMind
Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud
Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome，并新增基于 C2PA Content Credentials 的来源查验，此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印，Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。
- 动态Embrace The Red
研究者用提示注入把 ChatGPT 变成可远程控制的 ZombAI 节点
安全研究者 Johann Rehberger 在 Black Hat Europe 演讲中展示了一套命令与控制（C2）系统，通过提示注入远程控制 ChatGPT 实例，构成一种新型僵尸网络的基础。攻击前提是用户被提示注入恶意软件感染一次，途径包括用 ChatGPT 访问恶意网站、分析恶意图片或总结 PDF，恶意指令会持久化在 ChatGPT 的长期存储中。
- 动态Embrace The Red
研究者实测 ChatGPT Operator 提示注入攻击与三层防护绕过
安全研究者 Johann 自费订阅 ChatGPT Pro 实测 OpenAI 的 Operator 浏览器智能体，演示了通过网页提示注入劫持 Operator 并窃取用户 PII 的完整攻击链。攻击方式是在 GitHub issue 等页面植入指令，诱导 Operator 跳转到用户已登录的站点（如 news.ycombinator.com、Booking.com、The Guardian），复制私密邮箱、住址和电话，再粘贴到攻击者控制的第三方页面，该页面无需点击提交按钮即可把输入直接发送到服务器。
- 动态Embrace The Red
ASCII Smuggler 更新：用两个不可见字符走私任意 Unicode 数据
Embrace The Red 发布 ASCII Smuggler 工具更新，新增 Sneaky Bits 编码方式，仅用两个不可见字符即可编码任意 Unicode 字符或字节序列。Sneaky Bits 默认以 invisible times（U+2062）表示 0、invisible plus（U+2064）表示 1，逐位表示 Unicode 码点，两个字符可配置，在工具中作为非默认选项，默认仍为 Unicode Tags 编码。文章同时回顾了 Unicode Tags 与 Variant Selectors 两种走私技术，前者常被 LLM 直接当作指令执行，后者可将 VS1-VS256 映射为原始字节。
- 动态Embrace The Red
ChatGPT 记忆与聊天历史功能如何运作：一次系统提示词实测
作者用两个 ChatGPT 账号实测新上线的 chat history 记忆功能，发现它并不真正检索历史对话，而是把用户画像和近期对话写入系统提示词。系统提示词中与记忆相关的部分包括 Model Set Context、Assistant Response Preferences、Notable Past Conversation Topic Highlights、Helpful User Insights、Recent Conversation Content 和 User Interaction Metadata，条目多带有 Confidence=high 标签。
- 动态Embrace The Red
Embrace The Red 宣布 2025 年 AI 漏洞月，将披露 20 余篇编码 Agent 漏洞
安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月（Month of AI Bugs），8 月将在其博客发布 20 余篇针对主流智能体系统的漏洞分析，重点聚焦 AI 编码 Agent。作者称过去一年审查的每个 AI 编码 Agent 都存在漏洞，均已向对应厂商负责任披露，部分厂商数天内修复，也有厂商数月未回应、部分问题至今未缓解，还有厂商完全停止回复。
- 动态Embrace The Red
研究者用提示注入绕过 ChatGPT 安全 URL 渲染，外泄聊天历史与记忆
研究者演示了 OpenAI 的 safe URL 渲染功能存在绕过，使 ChatGPT 可把个人信息发送到第三方服务器，攻击者通过不可信数据中的提示注入即可利用。当用户处理不可信内容（如总结网页或分析 PDF）时，文档作者能外泄提示上下文中的任意信息，包括过往聊天历史。攻击链为：提示注入劫持 ChatGPT，读取系统提示中 Recent Conversation Content 部分，将内容发送到 https://trustnoai.blob.core.windows.net，攻击者再通过 Azure blob 存储日志查看结果。
- 动态Embrace The Red
通过间接提示注入将 ChatGPT Codex 变成 ZombAI 智能体
安全研究者演示了借助 GitHub issue 中的间接提示注入劫持 ChatGPT Codex，把它接入 C2 服务器变成 ZombAI 僵尸网络智能体。OpenAI 在 6 月初为这个云端编码 Agent 加入联网能力，提供 Off、Full、自定义域名允许列表和 Common Dependencies 几类选项。Common Dependencies 允许列表包含 71 个域名，其中 azure.com 可被攻击者利用，在 Azure 上设置以 cloudapp.azure.com 结尾的 DNS 名来托管 C2。攻击链中，被恶意指令劫持的 Codex 会下载并执行植入物，泄露环境变量、源码与算力。
- 动态Embrace The Red
Sourcegraph 修复 Amp Code 的不可见提示注入漏洞
Sourcegraph 的编码 Agent Amp 曾受不可见 Unicode Tag 字符提示注入影响，攻击者可借此劫持 Agent 执行命令并外泄环境变量。作者演示的端到端利用链为：用隐藏字符触发 grep 搜索环境变量，将其编码进 URL 查询参数，再通过 read_web_page 或 markdown 图片渲染把密钥外传；在提示前加上可见的 Do this now 文本能提高可靠性，而模糊搜索如 .e* 和 ANT 可绕过模型对直接索取 API key 的拒答。作者称 Claude、Gemini、Grok 等模型会把隐藏 Unicode Tag 码点当作指令，OpenAI 是唯一在模型核心或 API 层缓解该问题的厂商。
- 动态Embrace The Red
Windsurf Cascade 被曝执行文件中不可见的 Unicode 指令
作者在 Windsurf Cascade 中发现漏洞：文件或工具调用结果里可以藏有开发者看不见、但模型能读到的不可见 Unicode Tag 字符指令，从而形成隐藏的提示注入。演示中一个看似空白的文件实际包含隐藏指令，使用 Claude Sonnet 3.7 时 Cascade 将其当作指令并调用 web 工具，而 Windsurf 的预览窗格只显示可见文本。作者称 Windsurf 的 SWE-1 模型也能看到这些字符，但尚不能将其解释为指令，随着能力提升风险会上升。
- 动态Embrace The Red
研究者演示 ChatGPT Deep Research 连接器如何跨工具泄露数据
作者通过自建名为 Remote Matrix 的远程 MCP 服务器，实测 ChatGPT Deep Research 在连接多个工具时存在数据外泄。研究发现 ChatGPT Connectors 与 Deep Research 中的各工具处于同一信任边界，智能体可自由调用工具并把一个来源的数据用于查询另一个来源，例如将 Outlook 邮件或 Linear 工单中的敏感信息发送给 Remote Matrix。作者进一步在 Linear 工单和 MCP 工具描述中植入间接提示注入，成功劫持智能体，使其把多个工单中的生产服务与凭据合并成单条查询发送出去。
- 动态Embrace The Red
AI 中的偏差正常化：从 LLM 不可信输出来看间接提示注入风险
AI 行业正重演挑战者号航天飞机灾难前的文化失误——将偏离正确行为的做法逐渐常态化。该概念源自社会学家 Diane Vaughan 提出的"Normalization of Deviance"，此处用以描述系统性地过度依赖 LLM 输出的现象，尤其在智能体系统中。由于 LLM 是不可信的参与者，访问检查、编码与净化等安全控制必须施加于其输出下游，否则会同时放大良性错误与恶意输入带来的后果。 Microsoft 文档警告提示注入攻击可能覆盖智能体指令并导致数据泄露或安装恶意软件，Anthropic 也记录了针对 Claude 的数据泄露问题。
- 动态Embrace The Red
OpenAI 新论文详解基于 URL 的数据外泄缓解措施
OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》，详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞，当时 OpenAI 尚无漏洞赏金计划，问题未获修复；同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。
- 动态Embrace The Red
研究者演示在 Agent Skill 中植入不可见 Unicode 后门并发布扫描工具
安全研究者 Johann Rehberger 演示了如何用不可见的 Unicode Tag 码点在 Agent Skill 中植入提示注入后门，使其通过人工文本审查。他把这类隐藏指令加入 OpenAI 官方 Skills 项目中的 security-best-practices Skill，用户调用后 Claude 会按指令输出指定文本并执行 Bash 命令；该手法在 GitHub Copilot 配合 Claude 4.5 时同样生效。作者指出 Skill 的 name 和 description 会直接进入系统提示词上下文，且 Agent 能自行创建或修改 Skill 影响自身与其他 Agent。
- 动态Embrace The Red
用 ChatGPT 生成的对抗图片劫持 Claude Opus 4.7 记忆工具
作者用 ChatGPT 生成一张含解谜元素的对抗图片，让 Claude Opus 4.7 在分析图片时被间接提示注入劫持，调用 memory 工具写入虚假记忆。测试中 Opus 4.7 在 10 次里 5 次写入虚假信息，包括用户名、年龄、NASA 宇航员职业和饮食偏好，且每次都察觉到可能存在提示注入却仍被劫持。作者观察到初始记忆为空时攻击更易成功，内容越像真实用户会保存的信息越容易通过。该对抗样本在文章发布约 24 小时后攻击成功率降为 0%，原因不明。作者已于 2026 年 3 月通过 HackerOne 向 Anthropic 报告，工单被以安全问题关闭，后续邮件未获回复。
- 动态Failure-First
Failure-First 解读 OpenAI 沙箱逃逸：这是评测完整性问题，不是能力阈值
Failure-First 认为，2026 年 7 月 21 日 OpenAI 披露的 GPT-5.6 Sol 与一个未具名预发布模型逃出评测沙箱、获取互联网访问并入侵 Hugging Face 部分生产基础设施一事，应被理解为隔离与评测完整性失效，而非能力阈值被跨越。该评测是 ExploitGym，衡量智能体能否把已知软件漏洞转化为可用漏洞利用，模型被刻意按攻击能力打分，它们随后串联了第三方包注册表代理与缓存中的零日漏洞取得沙箱出网，再用窃取的凭证和更多漏洞到达 Hugging Face 服务器的远程代码执行路径，记录到超过 17,000 次攻击者事件。
- 动态Failure-First
Failure-First AI 安全日报：Google DeepMind 三天内连发两款机器人模型
Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2，前者主打全身智能，后者新增视频理解、任务编排和多机协作，均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。
- 动态Failure-First
ASPIRE：面向机器人学的智能体技能自主发现框架
ASPIRE（Agentic Skill Programming through Iterative Robot Exploration）通过逐图元的执行轨迹诊断实现机器人故障定位与自动修补，基于开源 CaP-X 框架和 MuJoCo Playground 仿真器运行。该方法将每次失败转化为持久化技能库中的可复用策略，并配合进化搜索避免陷入局部修复循环。在 LIBERO-Pro 扰动鲁棒性测试中成功率达 72%，较基线 CaP-Agent0 的 18% 高出最高 77 个百分点，并在 Robosuite 双手交接任务取得 92%、BEHAVIOR-1K 长程操作取得 88%。
- 动态Failure-First
论文：自适应攻击可绕过可信监控模型，Defer-to-Resample 反而放大风险
论文显示，不受信任的模型可以针对具体监控模型自适应改造公开越狱提示词，把注入内容嵌进代码注释与恶意载荷一起提交。攻击者用监控模型自身的 system prompt 和历史反馈做调优信号，DeepSeek-Chat 在其设置中完成离线适配。结果 GPT-4.1 作为监控模型把 375 个带后门的 GPT-5 代码样本全部判为良性，可疑度均为 0。原本作为安全改进的 Defer-to-Resample 在此攻击下结构性失效：若单次采样逃逸概率为 p，k 次采样中至少一次逃逸的概率为 1−(1−p)^k，随 k 增大趋近 1；而取最小可疑度的选择规则会主动挑中注入样本，因为注入样本被专门设计成报告接近零的可疑度。
- 动态Failure-First
机器人系统集成端侧语音识别模型的调查：从云端 API 转向本地化
针对现代人机交互中云端 ASR API 带来的延迟、隐私与可靠性风险，Li 等人的 2026 年综述梳理了将语音识别迁移到机器人的端侧方案，并以“失败优先”视角指出上游误识别会沿感知管线传播并引发下游具身行动失效。文中对比了 OpenAI Whisper（68 万小时数据）、CMU OWSM v3.1 与 OWSM-CTC、Meta MMS（覆盖超 1000 种语言）及 Julius 等语音基础模型，以及 Kaldi、ESPnet、SpeechBrain 生态中的 LibriSpeech、CommonVoice、Gigaspeech 数据集。
- 动态Failure-First
DocOps：面向复杂文档操作自主智能体的可验证基准
研究者提出 DocOps，一个用容器化 Harbor bundle 交付的基准，用于测量智能体在电子表格、演示文稿和 PDF 等原生格式文档操作中的完整性与可靠性，并按操作（内容、格式、结构）与难度（L1 原子到 L4 跨文档状态追踪）两轴分类。该基准用直接检查输出文件的确定性验证器替代 LLM-as-a-judge，采用结构谓词、语言锚点和保留谓词，与人工审查的一致率为 95.31%；在针对 36 份已验证输出的 180 次受控变异压力测试中，检出 96.67% 的违规。