跳到正文

AI SAFETY · OBSERVATORY

总览

AI 安全新闻与研究进展

今天收录878条全部动态 ↗
热点

新闻流

从来源,到话题
阅读完整新闻流
来源
话题
正在汇入
AI Alignment Forum

提案:先解决当前代对齐再训练下一代

AI Alignment Forum 一份提案提出最低限度节奏要求:实验室须先充分解决当前一代模型的对齐问题,才能训练下一代模型。判定由多家独立对齐机构在训练全程多个 checkpoint 上检查并红队测试模型,模型先进入受限部署;出现重大对齐问题即撤回、根因分析并重训本代模型。作者称该提案尚不完整,属启发式框架,未定义“一代模型”与阈值。

Pydantic AI

Pydantic AI 修复并发限流器槽位泄漏

Pydantic AI 的 ConcurrencyLimitedModel 及 limit_model_concurrency 存在并发槽位泄漏问题:流式请求可能在与获取槽位不同的任务上释放槽位,被 anyio.CapacityLimiter 拒绝,导致槽位在请求结束后仍被占用。流提前结束或按默认 debounce_by=0.1 完整消费 stream_text() 都可能触发,若对外暴露受影响的流式接口并在请求间共享长期存活的限流器,影响会进一步放大。Pydantic AI 在 v2.53.0 中修复了这一高危安全问题(GHSA-6fqq-452j-qhrp),涉及消费者提前停止迭代、抛错或被取消之后,以及用默认 debouncing 完整消费 stream_text() 的场景。

Pydantic AI

Pydantic AI 修复 web_fetch 拒绝服务漏洞

Pydantic AI v2.52.0 修复了本地 web_fetch 工具的一处中危漏洞(GHSA-v36g-jcw9-x7cw):处理攻击者控制的深层嵌套 HTML 会消耗过多 CPU 和内存,provider 原生抓取不受影响,该漏洞已在 2.52.0(v2)和 1.107.7(v1)修复。该版本还新增 Claude Sonnet 5.5 与 OpenAI gpt-6.1-sol 支持,并调整了 AnthropicModel 在 Claude 相关配置下的行为。