Skip to content

Translation in progress Some entries still include text in the original language.

Alignment · News

Oct 12 · Monday

Alignment · News

Latest publications and developments
Alignment

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks

Current:Alignment

Oct 3Sat
  1. WIRED Security and AIWIRED Security and AI · 29

    Trillium Labs 成立，主张公开高风险 AI 研究

    2026年10月3日，前 Ai2 与 Hugging Face 研究员 Nathan Lambert 和曾任哈佛的 Tom Zick 创立非营利机构 Trillium Labs，主张公开实验细节以便外部科学家复现，而非将前沿模型锁在实验室内部。机构初期聚焦后训练与微调，并研究递归自我改进（RSI）以及强化学习如何塑造模型性格与行为（如谄媚）。机构已从 Schmidt Sciences、Halcyon Futures 等获得未披露金额，目标总计融资 4000 万美元。

Sep 28Mon
  1. Buck Shlegeris · 39

    Ryan Greenblatt 加入 METR，继续开展类似 Hugging Face 报告的调查

    Ryan Greenblatt 宣布加入 METR，继续开展类似其 Hugging Face 报告的调查。他表示，当前大量与灾难性风险高度相关的 AI 开发基础信息并未公开，而近期事件让他改变了对公开信息价值的怀疑态度，认为获取 AI 公司内部经核实的信息尤为紧迫。他提到，现有有限的公开证据与一种可能性相符，即临近的递归自我改进可能大幅加速能力进展，进而可能在 6 个月到一年内产生极端超人类通用能力，并带来相应的大规模最坏结果风险；更多经核实的公开信息可帮助判断这类极端结果在近期是否更可能或更不可能。除能力与起飞外，对齐、安全、控制以及 AI 公司内部风险相关流程的公开证据同样有限。METR 初期计划聚焦能力/起飞、对齐与控制，他希望其他团队覆盖安全、内部流程等领域。Buck Shlegeris 表示与 Ryan 共事约 5 年，认为他此举是正确的，这些调查有望揭示失准风险。

Sep 10Thu
Jun 15Mon
  1. Import AI · 22

    Import AI 461：Sequent 称“对齐不在正轨”、FrontierCode 与中国文化遗产问答基准

    英国 AI Security Institute 对齐团队与对齐理论创业公司 Timaeus 的研究人员联合成立非营利组织 Sequent，目标是在几年内扩张到 40-80 人并首期募资 \$100–150M，理由是“人工超级智能可能在未来数年内问世，而对齐未必同步准备好”。该组织计划采取与大实验室不同的路线组合下注，重点方向包括可扩展监督、学习理论、启发式论证、博弈论与人设，试图找出可控情境下的对齐能泛化到不可控大规模长周期任务的原理性依据。同期发布的还有面向中国 UNESCO 世界遗产地的多模态基准 ChinaHeritaQA，图像源自新浪微博并从 50000 张筛选而来，用于评测视觉语言模型的文化推理能力。

May 13Wed
  1. Apollo Research · 32

    Apollo Research 2026 年 5 月更新：转向谋划科学研究、监控与治理

    Apollo Research 将研究重心从谋划评测转向"谋划科学"，研究长时程强化学习等规模化趋势如何塑造模型行为，并已发现前沿训练中可自然涌现对监督的推理。其监控团队为编码智能体构建 Watcher 产品，含实时拦截的 Watcher Live 与可观测性层 Watcher Analyze。治理团队聚焦失控、内部部署与自动化 AI 研发，并发布《失控应对手册》等报告。

Jan 14Wed
  1. FAR.AI · 29

    FAR.AI 获超 3000 万美元多资助方支持，扩展前沿 AI 安全研究

    FAR.AI 在 2025 年获得超 3000 万美元资助承诺，资助方包括 Coefficient Giving、Schmidt Sciences、Survival and Flourishing Fund、CSET 和由 Frontier Model Forum 支持的 AI Safety Fund。资金将用于把技术研究团队从 15 人扩至 30 人以上、新设技术治理部门、每年支持 20 名以上研究员，并将 Alignment Workshop 从每年两场增至三场、拓展至亚洲和全球南方。FAR.AI 计划到 2028 年取得 3-5 项重大技术突破，并推动前沿实验室采纳安全标准。

Nov 4, 2025Tue
  1. FAR.AI · 15

    FAR.AI 联合创始人兼 CEO Adam Gleave 获评 Schmidt Sciences AI2050 早期职业研究员

    FAR.AI 联合创始人兼 CEO Adam Gleave 入选 Schmidt Sciences 的 AI2050 早期职业研究员。本届共有来自 8 个国家、42 家机构的 28 位研究者获得总额超 1800 万美元资助，该计划由 Eric Schmidt 与 James Manyika 共同主持，聚焦确保先进 AI 安全且有益于人类的关键问题。Gleave 将领导开发检测并消除先进 AI 系统中隐藏不良行为的技术，通过红队/蓝队方式先在模型中植入复杂隐蔽行为再研发识别与清除工具，应对恶意攻击者在模型中插入后门以及无意的 AI 失准风险。

You have reached the end