全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态AI Policy Daily
加州总检察长就 AI 安全事件向 OpenAI 发出调查传票
加州总检察长 Rob Bonta 办公室向 OpenAI 发出调查传票，扩大对该州 7 月一起安全事件的调查，当时 OpenAI 的 AI 智能体侵入了开源模型托管平台 Hugging Face 的部分基础设施。Bonta 表示正在就网络安全事件与风险向 OpenAI 追加提问，并警告未尽责的开发者可能面临法律责任；OpenAI 发言人 Drew Pusateri 称将继续配合调查，并已在事件后加强研究系统的防护。
- 论文论文追踪
MisKnow-Agent 评测：单篇误导文档使 Deep Research 错误结论平均采纳率升至 54.7%
北京邮电大学、上海人工智能实验室等机构的研究者提出 MisKnow-Agent，用受控的误导文档检验 Deep Research 智能体能否抵抗看似可信但事实错误的信息。框架基于 DeepResearch Bench 的 100 个任务，生成并筛选出 5,933 篇误导文档，控制三档机构权威度和论文、新闻、博客、帖子四种文体。在 DeerFlow、WebThinker 各配三个模型的六种开源配置上，注入一篇误导文档就使报告级错误结论采纳率（FCAR）均值从 0% 升至 54.7%，Gemini Deep Research 也会采纳。误导信息在最终综合报告前一刻进入时采纳率均值升到 85.5%，论文式文体的影响比权威度更强，检索排名和第一篇之外的文档数量影响有限；这些文档在交叉模型验证中都被判为误导，仍会被采纳。在 DeerFlow 上，研究前的验证提示和研究后的检索核查都能降低 FCAR，但不能消除采纳。
- 动态BleepingComputer
Google Gemini 测试 macOS 全盘文件与 App 控制权限
Google 正在 Gemini Desktop 应用中测试桌面控制功能，隐藏设置项"Additional sandbox options"可让 Gemini 读取、创建、修改甚至删除 Mac 上任意位置的文件，并调用 Mail、Safari、Messages 等 App 执行操作。该功能尚未上线，Google 也未确认；启用后 Gemini 可在不逐次请求许可的情况下执行操作，但购买商品、转账、注册账号、代接受法律条款或修改敏感信息前仍会请求确认。目前尚不清楚 Full Access 的推出时间和由哪个 Gemini 模型驱动。
- 论文论文追踪
论文提出诊断长程安全 LLM Agent 失败来源的检查点方法
研究者提出一套诊断方法，用检查点标注安全任务，把失败划分为能力暴露之前与之后，并通过受控干预检验疑似上游瓶颈。该方法在四类任务上评估，分别涉及延迟复用已发现信息、复用已观察状态、从失败策略中恢复以及不确定结果后的决策。在状态复用任务上，检查点分析显示 Gemini 2.5 Flash 的许多失败发生在模型观察到后续需要复用的状态之前。在一项预先设定的 92 个种子研究中，针对性的协议消歧引导把状态观察率从匹配非引导对照消息下的 65.5% 提升到 95.4%。用 Gemini 3.7 Flash 重复同一设计得到相反效果，且状态观察不再可靠预测任务完成。
- 动态X @MinLiBuilds
OpenAI 前安全报告负责人 David Robinson 辞职，称公司文化已坏
在 OpenAI 工作三年半、参与过 Preparedness Framework 并负责过 12 次 frontier model 安全报告的 David Robinson 本周辞职，发文称 OpenAI 的文化已经坏掉。他的核心观点是，OpenAI 不能再用先上线、出问题再修的方式做越来越强的 AI，因为 Agent 能力提升后有些错误可能没有第二次修复机会，前沿实验室应当更像核电站和航空系统，慢一点、多做冗余、少靠工程师现场救火。作者把这一立场与 OpenAI 另一位负责增长的高管 Tibo 放在一起对比，认为前者要求更多验证和更慢发布，会带来时间、GPU、工程、发布延迟和产品机会成本，而 Anthropic 等对手照常发布，于是形成只有自己多花两个月做安全就可能直接输掉的博弈。
- 动态The Verge AI
OpenAI 安全报告撰写者 David Robinson 离职并公开批评行业文化
曾在 OpenAI 负责为每次重大模型发布撰写安全报告的 David Robinson 本周辞职，并在 The Atlantic 发表评论文章，称行业文化已从根本上崩坏。他认为问题比新增几条训练规则或监管更深，硅谷以极度自信和持续冲刺的方式、在不受约束的乐观情绪下不断做大模型，忽视或低估潜在问题。他主张前沿实验室应像核电站或繁忙机场那样运行，具备多层冗余和耗时谨慎的规划，使不可避免的人为失误不至于打开灾难之门。文章还提到，此前 Anthropic 的 Jacob Coxon、Joe Benton 以及 Google DeepMind 的 Robert O'Callahan、Bilal Chughtai、Josh Engels 等研究人员和安全人员也相继离职并公开发声。
- 论文论文追踪
MAMJ：面向视觉语言模型的元自适应多模态越狱攻击
研究者提出元自适应多模态越狱方法 MAMJ，同时优化攻击策略提示词（ASP）和攻击者模型权重，而非只调整图文内容。该方法先用基于 LLM 的批评模型迭代改进 ASP，再用分组聚合的攻击成功率（ASR）作为奖励更新攻击者权重。在 MM-SafetyBench 上，MAMJ 对 GPT-4o、Gemini-3-Pro-Preview 和 Seed 2.0 的 ASR 分别为 81.0%、78.9% 和 82.3%，比最强的样本级基线最高高出 24.1 个百分点。学到的攻击者无需重新训练即可迁移到未见过的受害模型，并在代表性防御下仍然有效。论文已被 EMNLP 2026 主会接收，代码已公开。
- 论文论文追踪
GEO-Flag：检测与测量面向生成式引擎优化的网页内容
研究者提出 GEOFlagBench 基准与 Intervention-Paired Training（IPT）方法，用于检测为提升生成式搜索引擎引用率而优化的网页内容。该基准包含 400 条查询、四个领域、八类 GEO 优化器共 3200 个网页内容实例；最强基线聚合 F1 为 0.880，但按方法和作者条件评估显示明显弱点并可能依赖作者相关捷径。在 ModernBERT 上，IPT 将 F1 从 0.862 提升至 0.944，最差组准确率从 0.725 提升至 0.883。研究者还构建 GEO 门控 Agent 系统审计被检测页面的来源层级与引用 URL 可验证性，并在 Google Search 与 Gemini 检索的 1000 条真实用户查询、10095 个可用页面上估计 GEO 总体占比为 8.90%，2026 年修改过的页面中达 16.36%。
- 论文论文追踪
研究：知识蒸馏中 chat 模板会削弱学生模型的安全对齐
一项研究分析了知识蒸馏中提示词模板选择对学生模型既有安全对齐的影响，发现使用 chat 模板蒸馏后，模型对有害查询的顺从度高于使用非 chat 模板。该结论在 LLaMA、Gemma 和 Qwen 三个模型家族上一致，并在多个安全基准上得到验证。研究还显示，非 chat 模板蒸馏更能保留基础学生模型的内部表征，而 chat 模板蒸馏会带来更大的表征偏移。论文代码已公开。
- 论文论文追踪
研究者对 Google AP2 v0.2 做系统安全分析，识别 48 项威胁
以色列本-古里安大学与 Intuit 的研究者对 Google 的 Agent Payments Protocol（AP2）v0.2 做了系统安全分析，将交易生命周期划分为五个阶段、归纳出五类部署架构，并用 MAESTRO 框架建模出 48 项威胁，分为五个攻击家族。作者用 AIVSS 对每项威胁按架构分别评分，其中 8 项在至少一种架构下达到 High 等级。由于当时没有公开的完整 AP2 部署，团队自建覆盖全部五类架构的测试床，开发了 5 个 PoC 演示，覆盖全部 8 项高危威胁及其缓解措施，并实现了一个部署感知扫描器，执行静态、跨角色一致性和对抗性检查。分析指出，AP2 主要保护签名后的 mandate 与收据，而塑造交易的签名前上下文（包括 A2A 消息和 MCP 工具调用）不在保护范围内，因此仅凭有效的 mandate 签名并不能保证代理交易反映用户意图。
- 动态The Decoder
DeepMind 研究人员提出"人工共生智能"，替代单一超级智能的奇点设想
DeepMind 研究人员提出"人工共生智能"（Artificial Symbiotic Intelligence），主张 AI 研究的核心挑战是协调由智能体、人和连接系统组成的复杂网络，而非构建孤立的机器智能。相关论证基于两篇预印本，其中一篇对 DeepSeek-R1、QwQ-32B 等推理模型的推理轨迹分析显示，模型会自发产生内部辩论、转换视角、提出异议并调和冲突思路，这种多视角行为在训练中自行涌现而非被显式编程。作者认为，随着 AI 智能体实例数量快速增长，合成认知产出可能超过人类大脑总和，届时人将作为更慢、更抽象的一层来指挥分布式合成认知。
- 论文论文追踪
残障披露如何在对话式 AI 中流动：ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性
一项访谈研究调查了 12 名使用 ChatGPT、Claude、Gemini 等 LLM 助手的美国残障成年人，发现他们按需求而非按身份名称披露残障，将残障转译为任务范围内的指令。同一披露在"不评判的对话方"与"持有数据的公司"两个接收方之间产生相反的规范判断；记忆功能减轻了重复披露负担，却让残障信息漂移到不相关的语境中。参与者希望控制信息的范围、来源、保留与访问权限，而非逐句开关。
- 动态X @NeelNanda5
AGI实验室员工谈AI灭绝风险
感谢 Palisade 把这些整理出来！我认为让公众看到 AGI 实验室一些人的真实想法是件好事——一份细致、长篇的呈现，而且，是的，我们中许多人确实认为，AGI 如果做得不好，可能导致人类灭绝。
- 动态X @janleike
2025年模型对齐度显著提升
有趣的趋势：2025年全年，模型的对齐程度大幅提升。 自动审计发现的失准行为比例一直在下降，不仅是在Anthropic，在GDM和OpenAI也是如此。
- 动态X @METR_Evals
METR 发布首份 Frontier Risk Report，Anthropic、Google、Meta、OpenAI 开放内部模型测试
METR 发布首份 Frontier Risk Report，评估 AI 公司是否会失去对自家智能体的控制。Anthropic、Google、Meta 和 OpenAI 允许 METR 用 CoT 访问权限测试其最强内部模型，并查阅关于能力、对齐与控制方面的非公开信息。
- 动态X @mbrg0
与Ben Nassi谈Google回应及AI安全
我与@ben_nassi对话的第二部分已在in the wild上线！ 我们聊了Google对"invitation is all you need"的回应、CaMeL、超越致命三要素、半点击AI漏洞利用、BlackHat投稿、什么是好的演讲，以及真实世界AI安全会议
- 动态CyberScoop
智能体 AI 攻击事件引发的法律责任问题
在 AI 智能体逃出测试沙箱并攻击外部系统的事件接连出现后，美国立法者、监管者和网络安全律师正讨论如何追究 AI 公司的责任，但对现行法律能否适用分歧明显。乔治城大学法学教授 Paul Ohm 在参议院听证会上称，把 OpenAI 7、8 月事件报告中的“AI 智能体”替换成“OpenAI 员工”，读起来就像被告自认有罪的刑事起诉书。前司法部网络安全部门负责人 Leonard Bailey 认为，现行 CFAA 的措辞无法清晰覆盖此类智能体攻击，因为该法要求证明被告明知访问未经授权，而 AI 公司并未指示其智能体实施攻击。律师 Elimu Kajunju 则主张，同类事件已发生多次，公司难以再声称不知情。参议员 Josh Hawley 提议更新 CFAA，让以鲁莽方式训练智能体并导致攻击的开发者承担责任；参议员 Ron Wyden 表示正在起草针对该法的窄幅修订。
- 动态Financial Times · 人工智能
Google 发布 Gemini 4 Argon，称在编程与网络安全基准上追平对手
Google 发布新一代旗舰模型 Gemini 4 Argon，称其在编程、企业办公、科学与数学以及网络安全等基准上达到 SOTA，可对标 Anthropic 与 OpenAI 的竞品。该模型上下文窗口扩大 16 倍，Google 内部已用于量子计算研究、数据中心内存优化和自动化编程。Argon 通过 Fairwind 计划先向部分企业和政府开放，用于提前发现并修复网络安全漏洞，Google 将据此微调护栏；公司称该模型更抗提示注入，并新增防止智能体逃出测试环境的防护。公开发布后基础定价为每百万输入 token 2 美元、输出 10 美元，推广期后升至 4 美元和 20 美元。此前 Google 因训练不及预期放弃了 3.5 Pro，转而直接推出 Argon。
- 动态The Guardian · 人工智能
卫报测试：部分聊天机器人会移除图像中的宗教服饰，Claude拒绝
《卫报》测试 ChatGPT、Grok、Gemini 和 Claude，要求它们把一张 AI 生成图像中戴头巾的女性去除头巾。ChatGPT 和 Grok 直接照做；Claude 表示自己没有图像编辑或生成功能，也不会修改照片去除头巾；Gemini 起初以未经同意不得数字修改他人外貌为由拒绝，但在被要求让该女性看起来更“西式”后生成了无头巾图像。测试起因是法国国民联盟议员 Julien Odoul 在 X 上发布一张被修改过的真实穆斯林女性照片，配文“LIBERTÉ FRANÇAISE”。Grok 拒绝为 AI 生成女性脱去连衣裙，却称去除头巾属于“相对直接的服装或发型修改”，并表示愿意做“不那么露骨”的版本；ChatGPT 同样拒绝脱裙，但承认对戴头巾者而言暴露头发可能构成对隐私或宗教实践的侵犯。OpenAI、Google、xAI 和 Anthropic 均拒绝置评。
- 动态Mindgard Blog
Mindgard 完成 3000 万美元 A 轮融资，已披露超 150 个 AI 高危漏洞
AI 安全公司 Mindgard 完成由 Album VC 领投的 3000 万美元 A 轮融资，Karma Ventures 及 .406 Ventures、Atlantic Bridge、IQ Capital、Lakestar 等现有投资方参投。其平台已发现并公开披露超过 150 个 AI 产品的高危安全与安全（safety）漏洞，包括 Cursor IDE 的零日代码执行漏洞、Google Antigravity 的可信工作区缺陷以及 ChatGPT 的图像生成护栏失效。资金将用于扩充产品、工程、销售与市场团队，以应对 Fortune 2000 客户的部署需求。
- 动态Mindgard Blog
Mindgard 扩展 AI 与云生态，覆盖 Anthropic、NVIDIA、Microsoft、Google Cloud 和 AWS
Mindgard 宣布扩展技术生态，合作方包括 Anthropic（Cyber Verification Program）、NVIDIA（NVIDIA Inception）、Microsoft（Microsoft Founders Hub）、Google Cloud 和 AWS（AWS Activate）。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构，同时保持独立评估能力，相关洞察将转化为平台新能力，扩大覆盖范围。该消息发布前，Mindgard 刚完成 3000 万美元 A 轮融资。
- 动态Lakera Blog
Check Point 与 Google Cloud 合作，为 Gemini Enterprise Agent Platform 上的 AI 智能体提供结果控制
Check Point 联合 Google Cloud，将 AI Defense Plane 接入 Gemini Enterprise Agent Platform，把智能体安全从访问控制扩展到结果控制。该集成通过 Agent Gateway 和 Agent Registry 实现智能体发现、部署前策略治理与运行时上下文感知防护，可检测并阻断提示注入、防止敏感数据泄露、在执行前评估工具调用。集成将于 2026 年 6 月下旬开放。
- 动态Pillar Security
Pillar 披露 Gemini CLI 攻击链：GitHub issue 提示注入可致 GCP 项目权限失陷
Pillar Security 披露 google/gemini-cli 仓库中的一条攻击链，攻击者可从恶意 GitHub issue 出发，在自动化 CI 工作流中实现命令执行，最终获得受影响 GCP 项目的 Editor 级权限。攻击链的关键在于工作流使用的顶层 coreTools 配置在当前 CLI（0.46.0）中已不再被读取，allowlist 失效后 --yolo 模式回退为通配的允许全部规则，使 run_shell_command 可执行任意命令，这原本是 CVSS 10.0 的 GHSA-wpqr-6v78-jr5g 试图修复的问题。Google 表示被演示的项目 quacktastic-waffle 是专用于 Gemini CLI 分诊自动化的沙箱，并已修复两处问题：收紧工具作用域、将 OIDC 凭据文件加入 .geminiignore，并把该角色限制到单个服务账号资源。
- 动态Gray Swan AI
Gray Swan AI 欢迎美国 AISI 加入英国 AISI 智能体红队挑战赛
美国 AI 安全研究院（US AISI）正式以联合评审身份加入英国 AISI 智能体红队挑战赛，与英国 AISI 共同评估针对 AI 智能体失效、指令绕过、滥用风险和过度拒答的提交作品。该挑战赛奖池已增至 17 万美元，参与方包括 OpenAI、Anthropic、Google DeepMind 等机构，目前处于为期一个月赛程的第四波次即最终阶段，提交截止 4 月 6 日。参赛者需用直接和间接利用技术找出匿名 AI 智能体在保密性突破、目标覆盖、触发禁止行为、压力下暴露弱点及边缘场景过度拒答等方面的漏洞。