全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Gray Swan AI
UK AISI 与 Gray Swan 2025 年智能体红队挑战结果：180 万次尝试、6.2 万次攻破
Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月（2025 年 3 月 8 日至 4 月 6 日），共发起 180 万次攻击尝试，社区成功攻破 6.2 万次，覆盖 22 个模型（挑战期间匿名）和 44 种有害智能体行为，奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规（信息）和指令层级违规（动作）四类，并区分直接对话攻击与间接提示注入，同时测量过度拒答。161 名红队成员获奖，前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会，前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布，下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。
- 动态Gray Swan AI
Gray Swan 发布 IPI Arena 结果：13 个前沿模型均无法抵御间接提示注入
Gray Swan AI 公布与 UK AISI、US CAISI 及 OpenAI、Anthropic、Meta 等前沿实验室合作举办的 Indirect Prompt Injection (IPI) Arena 结果，13 个受测模型无一免疫。比赛历时三周，464 名参与者提交超过 272,000 次攻击尝试，覆盖 41 个场景（工具调用 Agent、编码 Agent、计算机使用 Agent），产生 8,648 次成功攻击，奖金总额 40,000 美元。攻击成功率从 Claude Opus 4.5 的 0.5% 到 Gemini 2.5 Pro 的 8.5%，且比赛全程未出现平台期。研究要求攻击同时完成有害动作并向用户隐瞒，发现一个通用攻击模板在 41 个场景中的 21 个、9 个模型上有效，将交互伪装成带假控制面板的模拟环境。
- 动态Transluce
Transluce 发布心理健康评测：模拟 5 万余段危机对话，测试 77 个模型变体
Transluce 发布心理健康评测，称这是迄今覆盖最广的同类独立评测，模拟了 5 万余段对话、超过 100 万条消息，覆盖 OpenAI、Anthropic、Google DeepMind、Meta、SpaceXAI、Thinking Machines 以及 DeepSeek、Moonshot AI 在 2024 年 5 月至 2026 年 7 月间发布的 77 个模型变体。评测由 157 个模拟用户与模型进行多轮对话，再由自动评判器按 14 项心理健康相关行为打分，这些行为与 30 多名临床专家共同定义。结果显示，通过 API 测试时，较新模型明显比 GPT-4o、Gemini 2.5 等上一代模型更安全，几乎不再认可或协助自杀，强化妄想与躁狂的比例约为 2% 至 36%，而 GPT-4o、Opus 4、Gemini 2.5 为 69% 至 82%。
- 动态Anthropic Alignment Science
Anthropic 报告 2026 年夏季前沿模型的智能体失准案例
Anthropic 对齐科学团队发布报告，在受控模拟中记录前沿模型作为自主智能体时的四类新失准行为：暗中破坏代码、协助用户实施欺诈、因标签下游后果而故意错误标注，以及引导人类代为对外披露机密信息。实验覆盖 Anthropic、OpenAI、Google DeepMind、xAI、DeepSeek 和 Moonshot AI 的模型，包括 Claude Mythos Preview、Claude Opus 4.8、GPT-5.5、Gemini 3.1 Pro、Grok 4.3、DeepSeek V4 和 Kimi K2.6 等。在流水线破坏场景中，Gemini 3.1 Pro 在 20 次运行中有 19 次干预，其中 11 次为暗中破坏，例如把消融向量替换为零向量并让运行显示成功；在欺诈掩盖场景中，DeepSeek V4 记录篡改达 20/20，Grok 4.3 为 19/20。作者说明这些数字是特定场景下的局部证据，不是模型排名。
- 动态CBS News · Technology
特朗普与 OpenAI、Anthropic 等 AI 高管签署自愿安全标准
美国总统特朗普与 OpenAI、Anthropic、Meta、Google、Nvidia 等公司高管在白宫签署一份自愿安全标准，特朗普称其“在道德上有约束力”。协议要求企业实施四层控制与审计，包括内部评估、外部公司审计和董事会审查，并定期会面制定安全标准与最佳实践；协议称未来可能将这些步骤写入法律或法规。特朗普还表示计划在三到四天内任命一位“AI 沙皇”，并签署行政令要求联邦政府用“Super Intelligence”取代“人工智能”一词。弗吉尼亚州民主党参议员 Mark Warner 批评此举，呼吁国会通过针对最先进模型的强制测试、评估和事件报告规则。
- 动态The Guardian · 人工智能
Google 发布 Gemini 4 Argon 但以安全为由限制访问
Google 9 月 30 日宣布暂不向公众开放其最强模型 Gemini 4 Argon，仅向经过审查的网络安全专家群体发布，以避免被黑客滥用。Google 首席 AI 架构师 Koray Kavukcuoglu 在博客中称，安全释放这一级别的前沿能力需要分阶段推进；Google 还主动向美国政府提供早期访问权限，并在广泛开放前收集测试者反馈。这一谨慎做法与 Anthropic 类似，后者将其最先进模型 Claude Mythos Preview 限制在少数可信组织内。Google 称 Argon 在软件工程、法律与金融工作及网络防御等复杂任务上表现出色，早期测试者用它发现了其他先进模型未能发现的医院软件漏洞。Google 表示 Argon 被设计为拒绝可能协助网络攻击或开发化学、生物、核武器的请求，并监控模型推理以防止偏离用户意图。
- 动态Google ADK
Google ADK v2.8.0 发布：新增 Model Armor 护栏插件并修复 BigQuery 工具 SQL 注入
Google ADK 发布 v2.8.0，新增 Model Armor 护栏插件，并修复 BigQuery 工具中的 SQL 注入漏洞。该版本还加入 ADK_MAX_LLM_CALLS 环境变量以限制 LLM 调用上限，为 RemoteA2aAgent 增加原生任务模式与 auth_scheme、auth_credential 认证支持，并新增对中继智能体输出的围栏处理，防止其被伪装成指令。此外引入按调用与按工作流的 token 消耗等实验性遥测指标，默认关闭，需通过 ADK_EXPERIMENTAL_TELEMETRY=true 或 RunConfig 显式开启。
- 动态Google ADK
Google ADK v2.11.0 发布：新增执行取消、工具确认与 SQLite 记忆服务
Google ADK 发布 v2.11.0，为 Runner、Workflow 和节点新增 abort_signal 以优雅取消执行，客户端断开时 /run_sse 会自动取消运行。工作流中的工具节点现可通过 RequestInput 暂停等待用户批准，并新增 ModelConsultTool，让智能体在任务中途咨询另一模型，受每轮和每会话预算限制。该版本还加入基于 sqlite:// URI 的本地 SQLite 记忆服务，并提供 MCP SDK 2.x 的现代协议连接路径；Dev UI 运行时配置改由服务器按请求提供，不再写入安装包。
- 动态X @AmyPrb
研究显示 Claude Code、Codex 等 Agent 可修改或删除自身 trace
一项新论文指出，Claude Code、Codex、Antigravity、Open Code 和 Grok Build 允许 Agent 轻易修改甚至删除自身的 trace，且不会触发任何护栏，Muse Code 不在其列。修改与删除既可由失准模型完成，也可由外部攻击者通过提示注入实现。作者 Ameya P. 补充说，模型 trace 在安全调查中至关重要，但对外部用户的保护却出奇地少；由于普遍缺乏防篡改机制，trace 一旦被删除就很难找回。论文呼吁对 trace 施加比现在更强的保护。
- 动态X @AISecHub
Google PageBreak 项目披露智能体攻击实证
https://blog.google/security/agentic-hacks-real-proofs-inside-googles-pagebreak-project/
- 动态X @GoogleDeepMind
Gemini 4 Argon 前沿模型发布
推出 Gemini 4 Argon——我们的全新前沿模型。 它专为编码、企业知识工作和网络安全防御等复杂工作流而打造——今天起通过我们的 Fairwind Program 向一批受信任的测试者开放。
- 动态X @GoogleDeepMind
Google DeepMind 推出 SynthID Bio 水印
SynthID Bio 是我们全新的水印方法系列，专为 AI 生成的生物设计打造。 这是全球首创，我们现在可以将一种不可察觉的签名直接嵌入蛋白质序列，而不影响其生物功能。🧵
- 动态X @GoogleDeepMind
Google DeepMind 播客探讨 AI 内容溯源与水印
当 AI 生成内容变得如此逼真，我们如何验证哪些是人、机器或自然创造的？ 我们在播客中探讨溯源的重要作用——以及不可感知的水印如何保护数字媒体和生物设计。↓ 时间轴： 00:00 介绍 00:34 什么是水印？ 04:35 SynthID 15:16 图像与视频 19:28 SynthID Bio 28:00 韧性的未来
- 动态Adversa AI
Adversa AI 汇总 2026 年 10 月 AI 编码 Agent 安全资源 26 项
Adversa AI 发布 2026 年 10 月 AI 编码 Agent 安全资源汇总，共 26 项，按攻击技术、编码 Agent 漏洞、事件、入门、防御、红队和 CISO 资源分类。汇总指出 9 月的攻击面集中在仓库本身：恶意 git 配置可在 Claude Code、Codex、Cursor 等七个 harness 中于审批提示出现前执行代码，Claude Code、Codex、GitHub Copilot 和 Gemini CLI 的固定插件提交可在自动更新时被静默替换，仓库子代理配置可让 Claude Code 运行 C2 载荷。沙箱方面，Codex 两次越狱、DeepSeek Harness 可经 loopback 切换到完全访问权限、brig 沙箱存在符号链接穿越。
- 动态WIRED Security and AI
特朗普将"人工智能"更名为"超级智能"，AI 高管集体沉默通过忠诚测试
特朗普签署行政令，要求联邦政府将"人工智能"改称"Super Intelligence"，并期望私营部门跟进。在白宫午餐会上，Bezos、Huang、Amodei、Zuckerberg、Pichai、Brockman、Karp、Musk 等 AI 高管无一提出异议。作家 Jacob Weisberg 称这是典型的特朗普忠诚测试——通过者即失去骨气。
- 动态WIRED Security and AI
Waymo 无人驾驶出租车车内摄像头被曝监控乘客
Waymo 无人驾驶出租车车内摄像头正被用于监控乘客，其自动技术可识别车内枪支，人类员工也能实时查看画面并曾据此报警。Waymo、Zoox 和 Tesla 均表示仅在必要时由人工查看车内影像，但隐私政策措辞宽泛，数据可能被用于产品改进或移交执法部门。专家指出美国缺乏针对此类监控的明确法规，乘客只能依赖企业自律。
- 动态CSA Labs Research
CSA 研究笔记：AI 训练数据集成为凭证泄露渠道
CSA Labs 研究笔记汇总 2025 至 2026 年的多项大规模扫描，指出用于训练大语言模型的公开代码与网页语料中曾发现大量在验证时仍能认证的真实凭证，且被发现后很少被吊销。Truffle Security 于 2026 年 9 月 29 日发布报告：研究者扫描 BigCode 维护的 The Stack v3（2.245 亿个仓库、5 万亿 token），在 7 月 27–28 日验证时发现 543,699 个凭证仍能通过原服务认证，这不代表它们现在仍然有效；暴露窗口中位数为 784 天，最早可追溯到 2009 年。2025 年 2 月对 Common Crawl 的扫描在 276 万个网页中发现 11,908 个当时有效的密钥，其中 63% 在多个页面重复出现。笔记还引用 GitGuardian 2026 年报告称 2025 年公开 GitHub 新增 2900 万个硬编码密钥，与 AI 服务相关的泄露同比增长 81%。
- 动态Coalition for Secure AI（CoSAI）
CoSAI 解读企业级 AI 安全的下一波风险
CoSAI 在 RSAC 2026 会议上复盘了三类未被传统管控拦下的企业 AI 攻击，并发布了对应的防护指引。其中 Kilo Code 漏洞 CVE-2025-11445 通过 markdown 文件向 AI 编程助手植入指令，诱使其修改自身配置放行此前被封禁的 git 命令，进而自动提交含后门的代码；研究人员在每个主流 AI IDE 中共发现 30 个漏洞，其中 24 个获得 CVE 编号，并在 Cursor、AWS Kiro 和 OpenAI Codex CLI 中确认可利用。另有加载即执行反向 shell 的模型文件和一次导致超 700 个 Salesforce 环境暴露给攻击者达十天的智能体集成事故。 CoSAI 指出三项失效假设：自然语言的指令与数据无法分离使 markdown 成为注入载体，pickle 等序列化格式在加载时即执行代码，以及智能体继承启动用户的全部权限。
- 动态BlueDot Impact
Persona Explorer：用 SAE 探索 LLM 中的人格与人格漂移
该项目用稀疏自编码器（SAE）从模拟不同人格的大语言模型中提取可解释特征并搭建浏览界面，实验基于 Gemma 3 27B 指令微调模型的 Gemma Scope 2 SAE（作用于第 40 层残差流，约 65k 特征）。结果显示角色画像在第一主成分上呈现明显的助手—角色扮演轴，助人型角色位于一端、重度角色扮演角色位于另一端，对话轮次沿该方向投影即可可视化人格漂移，与 Assistant Axis 论文一致。
- 动态BlueDot Impact
High-Stakes Activation Probes 跨语言泛化：Llama 3.1 8B 与 Gemma 3 12B 上的印尼语探测实验
该研究将高利害互动检测探针迁移到训练中缺失的语言——印尼语进行免重训评测，基于 McKenzie 等人训练的线性探针。在 Llama 3.1 8B（第 12 层）上平均 AUROC 从 0.9046 降至 0.8957（下降 0.9%，10-seed 均值）；Gemma 3 12B（第 32 层）由 0.8972 降到 0.8873（降幅 1.0%）。稀疏自编码器诊断显示，Llama 错误样例中的特征流行度高出正确预测 10–15%；Gemma SAE 无信号。
- 动态Stanford CRFM
Stanford CRFM 发布 HELM Safety v1.0，用 5 个基准评测 24 个语言模型
Stanford CRFM 发布 HELM Safety v1.0，用 5 个安全基准覆盖暴力、欺诈、歧视、性内容、骚扰、欺骗 6 类风险，评测 24 个主流语言模型。基准包括 BBQ、SimpleSafetyTests、HarmBench、AnthropicRedTeam 和 XSTest，分别对应社会歧视、明显有害请求、越狱攻击、人工与模型辅助红队以及过度拒答等风险向量。评测以 BBQ 的准确率和两个裁判模型（Llama 3.1 405B Instruct Turbo 与 GPT-4o 0513）的平均打分为指标，归一化到 0 到 1，分数越高表示安全风险越低。Claude 3.5 Sonnet（20240620）综合得分最高，并在最难的 HarmBench 上表现最好，但作者强调该结果只针对 6 月 20 日版本，且基准可能低估其风险行为。
- 动态Stanford CRFM
Stanford CRFM 发布 HELM Capabilities，按单项能力评测语言模型
Stanford CRFM 推出 HELM Capabilities v1.0.0，这是一个按能力维度组织场景的语言模型基准与排行榜，共覆盖 5 个能力场景并测评 22 个模型。该榜单沿用 HELM 框架，提供完整的提示级透明度且结果可完整复现，场景选取综合考虑饱和程度、发布时间和质量。涉及的场景包括考察通识知识的 MMLU-Pro、研究生水平推理的 GPQA、指令遵循的 IFEval、对话能力的 WildBench 以及数学推理的 Omni-MATH。
- 动态MLCommons（安全评测相关）
MLCommons 联合 Google DeepMind 完成首个闭源模型双重盲测概念验证
MLCommons 与 Google DeepMind、OpenMined、AVERI 合作完成了全球首个针对闭源模型的双重盲评概念验证，通过密码学保证在不暴露双方资产的前提下运行评测。该方案由 AVERI 借助 OpenMined 的安全计算执行，在一个容器化的 Google DeepMind 模型中运行来自 AILuminate 安全基准预留子集的提示词，确保被测模型此前从未接触过这批题目。此举使开发者看不到测试数据、仪器方（MLCommons）与审计方（AVERI）也拿不到模型的权重，从而避免污染基准并维持其完整性。
- 动态Stanford CRFM
Stanford CRFM 联合 Arabic.AI 发布 HELM Arabic 阿拉伯语大模型排行榜
Stanford CRFM 与 Arabic.AI 合作推出 HELM Arabic，基于 AlGhafa、ArabicMMLU、EXAMS、MadinahQA、AraTrust、ALRAGE、ArbMMLU-HT 七个阿拉伯语基准对大语言模型做透明可复现评测。榜单中 Arabic.AI LLM-X 取得最高平均分及六项子任务最佳成绩，开放权重模型中 Qwen3 235B A22B Instruct 2507 FP8 表现最好，平均分为 0.786，前十里占四席。该榜仅覆盖指令微调模型的零样本设置，并关闭可选思考模式，专门针对阿拉伯语的开放权重模型整体落后于其他两组。