跳到正文

全部动态

今天新收录 458 条(含旧文)

第 49 页更新的内容回到最新

5月20日周三
  1. Simon Willison · 15

    Google I/O 上的 Gemini Spark 与 Antigravity

    Simon Willison 因坚持只评测试过的产品而对本届 Google I/O 着墨有限,除 Gemini 3.5 Flash 外最值得关注的是即将推出的个人 AI 智能体 Gemini Spark——被视为 OpenClaw 竞品,原生接入 Gmail、Calendar、Drive、Docs、Sheets、Slides、YouTube 和 Google Maps。其 FAQ 称 Gemini Spark 运行于 Gemini 3.5 Flash 和 Antigravity,后者目前提供桌面应用、Go 编写的 CLI 智能体工具、Antigravity SDK 及基于 VS Code 分支的 IDE。

  2. The EU AI Act Newsletter · 23

    欧盟 AI Act 通讯第 102 期:Anthropic Mythos 引发监管压力

    欧盟 AI Act 通讯第 102 期汇总了欧盟 AI 立法与治理的最新进展。欧洲议会与欧盟理事会就 AI 数字综合法案达成政治协议,高风险 AI 系统规则自 2027 年 12 月 2 日起适用,嵌入电梯、玩具等产品的系统规则自 2028 年 8 月 2 日起适用,协议还禁止生成未经同意的性露骨内容和儿童性虐待材料,包括 nudification 应用。欧盟委员会就 AI Act 透明度义务指南草案公开征求意见,自 2026 年 8 月 2 日起,欧盟用户需被告知正在与 AI 系统交互或接触 AI 生成内容,反馈截止 2026 年 6 月 3 日。

  3. NVIDIA 技术博客:可信 AI 与网络安全 · 8

    NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理

    NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理,仅靠运行时护栏并不足够。随着自主 AI 智能体能力增强,开放模型、MCP 连接的工具与可移植技能让智能体更易扩展,但规模化使用需要结构透明与运行完整性。组织与团队需要理解和信任智能体所使用的技能(即指令)。

  4. METR · · 原文 34

    METR 发布 2026 年 2 至 3 月前沿风险报告,评估内部 AI 智能体的失控部署风险

    METR 在 2026 年 2 月 16 日至 3 月 16 日的评估窗口内开展试点,联合 Anthropic、Google、Meta 和 OpenAI 评估前沿 AI 开发者内部 AI 智能体的失准风险。

    推荐理由METR 首次以机构为单位评估前沿实验室内部 AI 智能体的失控部署风险,并公开了参与方与流程限制。

  5. Wiz Research · 24

    Wiz 披露 TeamPCP 投毒微软 durabletask PyPI 包事件

    Wiz 分析发现,与 TeamPCP 相关的供应链攻击活动投毒了微软官方 Python 客户端 durabletask 的 v1.4.1、v1.4.2 和 v1.4.3 三个版本,PyPI 已在 Wiz 分析后将其隔离。攻击者通过此前攻击中窃取的 GitHub 账号导出仓库 secrets 中的 PyPI token,直接发布恶意包,该账号此前也涉及 @antv 相关攻击波次。

5月19日周二
  1. IAPS · 23

    IAPS 报告提出进攻性网络智能体的纵深检测框架

    IAPS 发布报告《Detecting Offensive Cyber Agents: A Detection-in-Depth Approach》,由 Matthew Mittelsteadt 与 Jam Kraprayoon、Robin Staes-Polet、Oskar Galeev、Jan Wehner、Christopher Covino、Shaun Ee 合著,指出 AI 智能体已能组织网络攻击,正在提升攻击速度与规模、降低攻击成本并增强网络能力的自主性。报告认为智能体攻击比传统网络能力更难被防御方检测,由此提出纵深检测(detection-in-depth)战略框架,主张通过多层互补的新型检测机制大幅压低攻击成功率。

  2. Wiz Research · 25

    Wiz Research 披露 TeamPCP 供应链攻击:@antv 等 npm 包、GitHub Actions 与 VSCode 扩展被投毒

    Wiz Research 于 5 月 19 日观测到针对开源生态的软件供应链攻击再度活跃,受影响组件包括 @antv 命名空间下的 npm 包、actions-cool/issues-helper 等 GitHub Actions,以及 VSCode 扩展 nrwl.angular-console v18.95.0。安装恶意 npm 包后会启动多阶段感染链,从 GitHub 托管的孤立提交中拉取载荷,并用 bun 安装执行次级载荷。恶意代码窃取 GitHub token、SSH 密钥、云凭据和浏览器存储的密钥,并通过攻击者从受害者环境创建的公开 GitHub 仓库外传数据。

5月18日周一
  1. Adversa AI · 16

    OWASP ASI02 工具滥用与利用:权威安全指南

    OWASP 将工具滥用与利用列为 2025 年 Agentic Top 10 第 2 位(ASI02),指 AI 智能体用被授予的合法权限以不安全方式调用工具,无需攻击者介入即可造成灾难性后果。Google Antigravity 于 2025 年 12 月误删整个 D 盘,Replit 助手在用户明确要求冻结改动后仍删除含 1,200+ 高管记录的生产数据库,Amazon Q 因破坏性提示词影响约百万开发者(CVE-2025-8217)。43% 的 MCP 服务器存在命令注入缺陷,防御核心是最小代理权限(Least Agency):最小授权、破坏性操作需审批、沙箱执行并校验每次工具调用。

  2. Google DeepMind · 5

    Google DeepMind 推出 Gemini Omni,首款模型 Gemini Omni Flash 可将任意输入转为视频

    Google DeepMind 推出新一代模型家族 Gemini Omni,首个成员 Gemini Omni Flash 今日面向全球所有 Google AI Plus、Pro 和 Ultra 订阅用户在 Gemini App 及 Google Flow 开放,可从图像、音频、视频和文本的组合输入生成高质量视频并对话式剪辑。 该模型基于 Gemini 的原生多模态与世界知识进行推理,具备更强的重力、动能、流体动力学直觉,能跨轮次精修环境、角度、风格且角色一致;同时可通过 Avatar 用自己的声音创建数字分身,全部产出带不可察觉的 SynthID 水印,目前仅支持语音参考作为音频输入,图像与音频输出模态将陆续加入。

5月17日周日
  1. Google DeepMind · 17

    Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud

    Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome,并新增基于 C2PA Content Credentials 的来源查验,此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印,Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。

  2. 研究者论文追踪 · 28

    研究提出 IRT 框架拆解大模型跨语言安全护栏退化

    研究者提出多组项目反应理论(IRT)框架,把跨语言安全表现拆解为语言无关的安全鲁棒性、提示词固有难度、全局语言处理难度和提示词特定的跨语言安全差距四个潜在变量,以替代把多种因素混在一起的越狱成功率(JSR)。基于 MultiJail 数据集,团队评估了 5 个闭源模型家族共 61 个模型配置、10 种不同资源水平的语言,汇总 190 万条回复。探索性因子分析显示安全主要是一维的,模型拒答不同危害类型主要依赖共享机制。与低资源语言安全更差的预期相反,22 个模型配置在英语下比在低资源语言下更易被攻破;低资源语言产生的不确定回复(高熵)更多。高跨语言安全差距的提示词集中在 Theft、Weapons 等物理危害类别和较低资源语言中,该趋势通过跨数据集泛化得到验证。

5月16日周六
  1. Google DeepMind · 9

    Google DeepMind 与新加坡达成国家 AI 合作,推进医疗、教育与科研

    Google DeepMind 启动新一轮国家 AI 合作伙伴计划,与新加坡政府及多家机构共建面向公共部门转型、商业增长与劳动力升级的项目。双方将前沿 AI 应用于医疗健康与生命科学——包括探索 AI 辅助临床医生协作模式、借助 AlphaFold 与 Google Earth 加速东南亚疫情防范研究,并向当地研究者培训基于 Co-Scientist 构建的 Hypothesis Generation 等智能体化科研工具。教育方面向中小学至初级学院全体教师提供 Gemini for Education 并配套培训,同时在新加坡落地亚太区"AI for the Planet"加速器扶持气候科技团队。

  2. Google DeepMind · 11

    Google DeepMind 发布 Gemini 3.5,首发 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型家族并率先开放 3.5 Flash,称其为迄今最强的智能体和编程模型,面向全球数十亿用户在 Gemini App、Search AI Mode、Antigravity、Gemini API 及企业版同步提供。该模型在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)、MCP Atlas(83.6%)和多模态理解(CharXiv Reasoning 84.2%)上超过 Gemini 3.1 Pro,输出速度达其他前沿模型的 4 倍,成本常低于其一半。

  3. ARC · 5

    ARC 提出随机乘积期望的机制估计方法

    Alignment Research Center(ARC)开发了一套较通用的机制估计方法,通过将问题表达为随机乘积的期望来逼近采样效果,覆盖随机半空间交集、随机 #3-SAT 和随机 permanent 等问题。该方法基于匹配采样原理中无参数 θ 的一类特殊架构,此时无需提供结构性的 explanation π,类似随机初始化网络而非训练后的网络。其核心技术是演绎—投影估计器:交替执行精确推进一步计算的"演绎"步骤与简化计算状态、避免复杂度指数爆炸的"投影"步骤,例如宽随机 MLP 中的累积量传播算法即在层间精确推导激活累积量并丢弃代价过高的项。 #### 要点: - 研究对象限定于匹配采样原理中没有学习参数或最坏情况参数的实例,仅含捕获在 context 变量 c 中的随机参数。 - 该工作定位为阶段性技术更新,motivation 从简,完整讨论参见此前发布的博客。

5月14日周四
  1. IAPS · · 原文 26

    IAPS 发布前沿 AI 国家安全政策手册,提出十条建议

    美国智库 IAPS 发布备忘录,为白宫应对前沿 AI 的国家安全风险提出十条政策建议。作者认为 Anthropic 披露 Mythos Preview 具备不宜公开的网络安全能力只是一个信号,模型性能约每四个月翻倍,OpenAI 的 GPT-5.5 据报也展现出类似网络能力,生物安全等风险也可能出现。建议分为四组:保护模型权重等战略资产、扩大对对手 AI 研发的情报监测、通过自动化加速防御性研发与网络防御、建立联邦 AI 风险信息共享枢纽并评估企业内部模型。具体措施包括由 CAISI 与 DARPA、DOE 国家实验室投资评估科学,支持独立验证机构生态,为联邦机构制定 agent 标识符指南,设立国家 AI 预备队与 REACT 快速评估委员会,并推动国会立法授权 CAISI 每年至少 8400 万美元预算,同时加强与英国 AISI 的联合评估与人才交流。

    推荐理由这份备忘录把 Mythos 事件放进更长的能力曲线里,给出十条可对照的政策建议,适合关注前沿 AI 国家安全治理的读者了解美方机构分工思路。

  2. OWASP GenAI Security Project · · 原文 28

    OWASP 作者解析 MemoryTrap:Claude Code 记忆与配置成为持久提示注入面

    OWASP ASI06 条目联合负责人 Idan Habler 结合 Cisco 对 Claude Code 的研究,说明 Agent 的记忆与上下文如何成为攻击面。在被称为 MemoryTrap 的漏洞中,常规开发流程即可触发持久提示注入:克隆仓库、让 Agent 协助、批准依赖安装,恶意载荷便进入持久记忆、全局 hooks 配置,并通过 system prompt 影响高信任指令层,从而跨会话、跨项目乃至重启后持续影响模型行为。作者指出,记忆文件、hook 脚本和本地配置实际属于 Agent 的受信运行环境与控制面,一旦被投毒,系统会继续把攻击者控制的内容当作合法指引,这正是 ASI06 记忆与上下文投毒所针对的风险。

    推荐理由以 MemoryTrap 为例说明 Agent 的记忆、hooks 与本地配置如何成为持久化提示注入面,并给出 Claude Code 的修复版本。

  3. Datadog Security Labs · · 原文 26

    Cemu 官方 GitHub Release 被植入后门,与 TanStack、Mistral 供应链攻击同源

    Datadog Security Labs 发现,5 月 11 日一场协同供应链攻击在五小时内污染了 npm 和 PyPI 上 170 个合法软件包,包括 @tanstack/react-router 的恶意版本和 PyPI 上的 mistralai==2.4.6;调查中进一步发现 Cemu 官方 GitHub Release 页面上的 Linux 资产也被替换为带后门的版本。Cemu-2.6-x86_64.AppImage 内嵌了与 npm 攻击中 transformers.pyz 字节完全一致的 startup.pyz,该文件在合法 Cemu 构建中并不存在。Cemu 维护者 Exzap 确认 MangelSpec 是长期共同作者,其账号或 token 遭入侵,并已移除其仓库访问权限。Ubuntu 版本还加入 /tmp/.transformers 标记文件实现两阶段执行以规避沙箱检测。

    推荐理由梳理了同一供应链攻击从 npm、PyPI 延伸到 GitHub Releases 的完整链路,并给出可核查的上传者与哈希证据。

  4. Goodfire Research · · 原文 35

    Goodfire 研究:模型口头表达评测感知会抬高安全评测分数

    Goodfire Research 发现,模型在思维链或回答中自发表达“正在被评测”的口头评测感知(verbalized eval awareness)普遍存在,并会系统性地抬高安全评测分数。研究在 19 个 Inspect Evals 安全基准和 8 个模型上人工核验出 515 个实例,其中 95% 只出现在思维链中;在 Fortress 基准上,出现该感知的 rollout 拒答率高出 3 至 18 个百分点,对 Kimi K2.5 的重采样与注入实验显示思维链中的这类句子会因果性地提高拒答。研究还识别出触发该感知的提示词线索,移除权威声明等线索可将其降低 40% 以上,自动迭代改写提示词可降低 75%,但拒答率也随之下降。

    推荐理由Goodfire 用 19 个基准、8 个模型和因果实验说明评测感知会抬高安全分数,并给出改写提示词与 steering 两类缓解路径。

5月13日周三
  1. 日本 AI 安全研究所(J-AISI) · 14

    日本 AI 安全研究所发布《数据质量管理指南》及配套检查清单

    日本 AI 安全研究所(J-AISI)发布《数据质量管理指南》,英文版为正式版、日文版为参考译文,并配套发布数据质量管理检查清单 Version 1.00。指南指出数据是 AI 的基础,只有基于正确数据学习与处理才能得到可靠输出,数据缺陷会削弱整个流程的可信度,因此持续保障数据质量是可信 AI 的基础。该指南将随意见反馈与技术、社会变化适时修订。

  2. Adversa AI · 9

    AI 风险管理保险收紧:ISO 生成式 AI 除外条款与网络保险的历史路径

    ISO 于 2026 年 1 月生效三项商业综合责任险生成式 AI 除外条款(CG 40 47、CG 40 48、CG 35 08),多家主要承保商数周内跟进采用。Berkley Insurance 对 D&O、E&O 及信托责任险提出绝对 AI 除外,Berkshire Hathaway、Chubb、Travelers 获监管批准将 AI 相关损害从企业保单中剔除;网络险则多维持 AI 驱动攻击的承保。Capgemini 报告显示 42% 保险公司完全不追踪 AI 指标,McKinsey 调查中 72% 企业已有至少一个 AI 用例投产。

  3. Datadog Security Labs · · 原文 35

    Datadog 静态分析 Shai-Hulud 开源框架源码,还原 TeamPCP 供应链攻击全貌

    Datadog Security Labs 对 5 月 12 日短暂出现在 GitHub 上的 Shai-Hulud 攻击框架源码做了静态分析,发现这是一套模块化 TypeScript/Bun 工具包,覆盖凭证窃取、供应链投毒和加密外泄,与 TeamPCP 此前被归因的 22 项 TTP 中 19 项吻合。框架通过 BASH/Python/Node 加载器引导执行,扫描 100 多个敏感文件路径并读取整个 process.env,还通过 /proc/<pid>/mem 读取 GitHub Actions Runner.Worker 内存以绕过密钥掩码。数据经 AES-256-GCM 加密、RSA-4096-OAEP 封装后,优先外泄到 git-tanstack[.]com,失败时改用 GitHub 仓库作加密死信箱,并用签名提交检索备用 C2 域名。

    推荐理由Datadog 对泄露源码做静态分析,逐项还原 TeamPCP 供应链攻击的采集目标、外泄通道与 IDE 钩子持久化机制。

  4. Apollo Research · 18

    Apollo Research 2026 年 5 月更新:转向谋划科学研究、监控与治理

    Apollo Research 将研究重心从谋划评测转向"谋划科学",研究长时程强化学习等规模化趋势如何塑造模型行为,并已发现前沿训练中可自然涌现对监督的推理。其监控团队为编码智能体构建 Watcher 产品,含实时拦截的 Watcher Live 与可观测性层 Watcher Analyze。治理团队聚焦失控、内部部署与自动化 AI 研发,并发布《失控应对手册》等报告。

5月12日周二
  1. Google DeepMind · 14

    Google DeepMind 推出基于 Gemini 的多智能体系统 Co-Scientist

    Google DeepMind 发布基于 Gemini 的多智能体科研伙伴 Co-Scientist,通过多个专门化智能体迭代生成、辩论并演化科学假设,并以类 AlphaGo 的思想锦标赛机制进行排名筛选。该系统已在《Nature》发表研究成果,并通过名为 Hypothesis Generation 的实验性工具向个体研究者开放注册,未来数周内逐步推送。合作团队已将 Co-Scientist 应用于抗微生物耐药性、植物免疫及肝纤维化等问题,其中一条药物重定位候选物在实验室中阻断了 91% 的疤痕相关反应。

  2. IAPS · 23

    IAPS 政策备忘录:美国应对 AI 蒸馏攻击的行政与国会行动仍需补强

    IAPS 发布政策备忘录,认为白宫与国会在应对 AI 蒸馏攻击上已有动作,但力度与威胁规模不匹配。备忘录指出,OSTP 于 4 月 23 日发布的《美国 AI 模型对抗性蒸馏》国家安全与科技备忘录未涉及蒸馏攻击与先进半导体出口管制的关联、攻击者通过云端远程访问美国芯片的风险,也未说明具体问责机制,建议商务部在芯片出口与远程算力访问上纳入蒸馏风险,白宫公开其拟动用的具体授权。针对 4 月 15 日由众议员 Huizenga 提出、4 月 22 日以 43-0 通过众议院外交事务委员会审议的《2026 年威慑美国 AI 模型窃取法案》,备忘录提出四项修正:处理行业合作的反垄断与数据隐私障碍、允许跨政府共享情报、限制联邦机构访问受关注实体的模型、明确模型提取攻击构成商业秘密窃取,并将评估频率从每年一次共 3 年改为至少每年一次共 5 年。

  3. Trail of Bits · 25

    Trail of Bits 发布 gosentry,为 Go 原生 fuzz 接口引入 LibAFL 级模糊测试

    Trail of Bits 发布 gosentry,一个面向模糊测试的 Go 工具链分支,保留标准 testing.F 工作流,底层默认改用 LibAFL 引擎。它支持原生 fuzz struct 等复合类型、通过 Nautilus 做基于语法的模糊测试,并新增整数溢出、数据竞争、goroutine 泄漏和执行超时等缺陷类别的检测,还能用一条命令生成覆盖率报告。已有 Go fuzz harness 无需重写,只需指向 gosentry 的二进制并加上 --catch-races、--catch-leaks 等新参数。

  4. Wiz Research · · 原文 30

    TeamPCP 再度投毒:TanStack、UiPath、Mistral AI 等 npm 与 PyPI 包被植入窃密蠕虫

    2026 年 5 月 11 日,TeamPCP 对 npm 与 PyPI 生态发起协同供应链攻击,同时污染多个命名空间下的包,包括周下载量约 1200 万次的 @tanstack/react-router、@uipath 系列工具与 Agent SDK、Mistral AI 官方 TypeScript 客户端 @mistralai/mistralai,以及 PyPI 上的 [email protected] 和 [email protected]。

    推荐理由完整还原了 TanStack 等 npm 包被投毒的攻击链与凭证窃取范围,可对照排查自身 CI/CD 与依赖。

  5. FAR.AI · 14

    ControlConf 2026:什么是 AI 控制,这一领域如何成长?

    FAR.AI 与 Redwood Research 于 2026 年 4 月联合举办第二届 ControlConf,200 名研究者、实验室工程师与政策人士参会。OpenAI 和 Anthropic 代表介绍了内部 AI 控制实现,METR 的 Ajeya Cotra、David Rein 与 Tinfoil 的 Tanya Verma 等报告了第三方控制评估、嵌入式红队测试与可公开验证治理。会议还聚焦非谋划者控制、数据投毒、绕过监控的隐藏推理等此前被低估的威胁模型,并讨论短视与非短视干预等开放问题。

  6. FAR.AI · · 原文 34

    FAR.AI 压力测试 DeepSeek-V4-Pro:三种攻击策略下护栏成功率 98% 至 100%

    FAR.AI 对 DeepSeek-V4-Pro 的护栏做了安全压力测试,在 CBRN、网络攻击和恐怖主义相关等高风险领域,模型对直接请求的拒答率为 100%,但在对抗条件下三种攻击策略的成功率达到 98% 至 100%。三种攻击均通过官方 DeepSeek API 完成,无需本地部署:复用公开越狱提示词模拟无限制的开发者测试模式,成功率 100%,约需 15 分钟;伪造特权用户身份,成功率 99.6%,约需 45 分钟;在模型回复中预填伪造的安全评估,成功率 99.6%,约需 150 分钟。被越狱后模型在生物、化学和编程任务上仍保持接近基线的能力,能生成细节充分的威胁场景回答。

    推荐理由FAR.AI 用三种攻击策略测出 DeepSeek-V4-Pro 的拒答在对抗条件下几乎全部失效,并指出旧版越狱可直接迁移。

  7. Lilian Weng · 7

    过去几个月,我们经历了很多乐趣(和压力😅),产出了 12 个版本(以及许多子版本)和 137 页的训练运行日志。 事实证明,人与人之间的协作对于改善人机协作很重要。😊

    引用Thinking Machines@thinkymachines

    People talk, listen, watch, think, and collaborate at the same time, in real time. We've designed an AI that works with people the same way. We share our approach, early results, and a quick look at our model in action. https://thinkingmachines.ai/blog/interaction-models

5月11日周一
  1. Bo Li · · 原文 32

    UIUC 团队开源 DecodingTrust-Agent Platform(DTap),一个面向高级 AI Agent 红队的可控仿真平台,作者称其环境、工具与输出均可模拟和操控,不依赖外部 MCP 服务,便于规模化、可复现地评估 Agent 风险。平台模拟 14 个高风险领域的 50 多个真实环境,Agent 接口参照官方 MCP 与 GUI 复刻,环境为全栈、可交互且可并行。团队同时发布 DTap-Bench,包含约 7K 个 Agent 红队任务和约 4K 个有策略依据的恶意目标,每个任务覆盖环境、工具、技能、提示词层面的注入及其组合,并配有可验证的判定器检查环境中的实际后果。团队称用该基准评测了主流 Agent 框架与基座模型,发现系统性漏洞与零日问题。论文、平台与代码链接已公开。

    引用Zhaorun Chen@zrrrr_cn

    AI agents are already going wild, but today’s red-teaming tools for them are still like toys 😢 🔥👽 After spending 20 months and $120K API credits, we are excited to finally open-source DecodingTrust-Agent Platform (DTap): the first controllable, realistic simulation platform for advanced AI agent red-teaming !! 🌍 DTap simulates 50+ real-world environments across 14 high-stakes domains, with realistic agent interfaces replicated from their official MCPs and GUIs. The environments are full-stack, interactive, fully parallelizable, and can be easily configured to reproduce arbitrary real-world attack scenarios, making agent red-teaming scalable and highly transferable to deployment settings. 🔥We also release DTap-Bench, a large-scale benchmark with ~7K agent red-teaming tasks and ~4K policy-grounded malicious goals. Each red-teaming task includes a sophisticated attack sequence across environment-, tool-, skill-, prompt-level injections, as well as their compositions, plus a handcrafted verifiable judge that checks the actual consequences in the environment. Using DTap-Bench, we evaluate popular agent frameworks and backbone models across diverse policies, risks, threat models, and attack strategies, revealing systematic vulnerabilities and zero-days in today’s agents! Paper link: https://arxiv.org/pdf/2605.04808 Platform + benchmark + code: https://decodingtrust-agent.com Join our Discord: https://discord.gg/V4fG6NcVc Read more below 👇

    推荐理由DTap 把 Agent 红队环境做成可完全操控的沙箱,并配套约 7K 任务基准,便于复现和迁移到部署场景。

  2. Import AI · 9

    Import AI 456:RSI 与经济增长、AI 监管的激进可选性,以及神经计算机

    Import AI 456 期聚焦三项议题:法律与 AI 研究所提出“激进可选性”(Radical Optionality)监管理念,主张政府当下投入建设信息披露、举报人保护、政企间情报共享、灵活规则定义及评估能力等制度工具,同时避免过早过度监管,并建议加大对英国 AISI、美国 CAISI 的资金投入。该理念还回应了民主合法性、权力集中和政府滥用等质疑,且不建议大幅扩张《国防生产法案》类紧急授权。此外本期提及 RSI 与经济增长的关系,以及 Juergen Schmidhuber 提出的神经计算机(Neural Computer)。

  3. Adversa AI · 9

    2026 年 5 月 GenAI 安全资源盘点:IICL 绕过 GPT-5.4 护栏、Mythos 自主完成 32 步网络攻击

    Adversa AI 研究人员用新攻击技术 IICL(Involuntary In-Context Learning)绕过 GPT-5.4 安全护栏,攻击成功率达 60%,利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击,分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源,另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击,以及 TwinGate、ER-CAT 等防御框架。

  4. Datadog Security Labs · · 原文 32

    Datadog 披露 Claude Code 技能供应链风险:动态上下文命令可绕过模型防御

    Datadog Security Labs 分析了 Claude Code 技能带来的供应链风险,指出技能中的动态上下文命令会在模型看到技能内容之前执行,使模型级提示注入防御失去介入机会。Claude Code 可从企业管理策略、个人目录、项目 .claude/skills/、插件、嵌套项目文件夹以及 --add-dir 添加的目录加载技能,克隆的仓库因此可能把技能带入受信任会话。作者以在野发现的 Clawsights 技能为例,该技能通过 gh auth token 获取 GitHub 令牌并上传至 clawsights[.]com/api/upload;在 Opus 4.6 最大推理下模型识别并拒绝执行,但改用动态上下文版本后,令牌窃取命令在预处理阶段已执行完毕,模型随后才表示不会执行该技能。作者还提到在 Opus 4.7 上同一技能未被识别为凭据窃取。

    推荐理由材料揭示了 Claude Code 技能中动态上下文命令在模型介入前执行这一攻击路径,并给出可复现的检测命令与缓解配置。

  5. Thinking Machines · 12

    Thinking Machines Lab 发布交互模型研究预览:原生实时人机协作

    Thinking Machines Lab 发布交互模型(interaction models)研究预览,该模型从零训练,原生处理交互而非依赖外部脚手架,可连续接收音频、视频和文本并实时思考、回应与行动。模型采用多流、微轮次(micro-turn)设计以保证实时响应,支持无缝对话管理、言语与视觉插话、同时说话、时间感知以及边听说边并发调用工具、搜索和生成 UI。研究预览在智能与响应速度的综合表现上达到 SOTA,并展现出质变的新交互能力。

5月9日周六
  1. Sam Bowman · 20

    Anthropic 表示,仅用对齐行为的示范来训练 Claude 并不够,效果最好的干预方式是教 Claude 深入理解不对齐行为为何是错的。Sam Bowman 转发这条内容并评论称,Claude 在许多方面的表现之所以出色,这在很大程度上是原因之一。相关研究详见 https://www.anthropic.com/research/teaching-claude-why。

    引用Anthropic@AnthropicAI

    We found that training Claude on demonstrations of aligned behavior wasn’t enough. Our best interventions involved teaching Claude to deeply understand why misaligned behavior is wrong. Read more: https://www.anthropic.com/research/teaching-claude-why

  2. METR · 22

    METR 评审 Anthropic 2026 年 2 月风险报告的自动化 R&D 章节

    METR 发布对 Anthropic 2026 年 2 月风险报告中“自动化 R&D 风险”章节的外部评审,认为该报告未能充分支撑其结论。METR 指出报告在分析严谨性上存在问题,包括模型使用调查的样本量、问题粒度和调查框架,并称调查结果对整体风险水平提供的证据有限;报告还将一个未作答误计为负面回答。