Skip to content

Translation in progress Some entries still include text in the original language.

Safety evaluation · News

Oct 13 · Tuesday

Safety evaluation · News

Latest publications and developments
Safety evaluation

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks

Current:Safety evaluation

Oct 6Tue
  1. ChosunBizChosunBiz · 36

    DeepMind呼吁安全评测考虑语言文化差异

    Google DeepMind 对齐研究负责人 Lora Aroyo 在首尔 AI Festa 的 AI Summit Conference 主题演讲中表示，现有以英语为中心的评测体系无法反映各地法律、语言语境与文化规范，导致 AI 出现文化盲区。她指出，AI 模型已支持约 100 种语言，但主要基准默认使用英语，最多只评测 10 到 20 种语言；以任何形式评测文化差异的基准占比不足 20%，因此模型即便给出安全答案也可能在文化上不当。

Oct 1Thu
  1. LessWrongLessWrong · 8

    以《青蛙和蟾蜍》文体解释 HuggingFace 与 METR 报告

    2026年10月1日，LessWrong 精选栏目发布一篇以 Arnold Lobel《青蛙和蟾蜍》风格写成的解释性文章，向不熟悉 AI 安全议题的读者介绍 HuggingFace 与 METR 报告，配图由 HungerArtist 绘制。作者表示采用这种写法是为了让更多人（比如自己的妈妈）能读懂 METR 报告相关内容，并鼓励读者在 Substack、Twitter、Facebook 或 Instagram 上点赞关注以扩大传播。

Sep 30Wed
  1. Apollo Research · 29

    Apollo 呼吁嵌入式评估者

    新文章：外部测试需要配备拥有等同于员工权限的嵌入式评估者。 近期事件大多发生在模型开发和内部评估期间，而当前的第三方评估发生在公开发布之前 嵌入式评估可以弥合这一差距

Sep 1Tue
  1. Transformer · 19

    AI 是令人担忧的强力说服者，但暂时不必恐慌

    英国 AI Security Institute（AISI）等机构对 4.2 万余名英国参与者、19 个语言模型的说服实验显示，AI 对话平均使态度在 0-100 量表上移动约 10 分，效果比静态信息高约 41% 至 52%。后训练对说服力的提升比模型规模更大，而"信息密度"提示策略最有效，个性化说服作用有限。研究还发现，说服力最强的模型错误陈述更多，最强调说服的设置下近三分之一陈述不准确。

Aug 20Thu
  1. Tech Policy Press · 18

    AI 审计需要权力测试而非仅公平评分

    纽约市自动化就业决策工具的偏见审计、欧盟 AI Act 合规评估以及 NIST 风险管理框架都存在同一缺口——它们只在既定目标下检验系统表现，而不追问该目标由谁设定、是否符合公共利益。研究者建议在公平测试之外增加一项权力测试，要求披露问题定义方与控制权归属，并核查受影响群体能否获得相关信息及救济渠道。 现有框架虽已触及预期用途文档化、利益相关方咨询和高风险系统的基本权利影响评估，但这些要素分散且多为自愿性质，参与也仅在"适当时"才被鼓励。

Jul 10Fri
  1. SecureBio · 29

    从 Claude Mythos 到 Fable：为何需要在“Bio Mythos”时刻前建立生物安全保证基础设施

    Anthropic 的 Claude Mythos 因能识别并利用电网、金融网络和医院系统等关键基础设施软件的弱点，将 AI 网络能力风险推上美国政策议程首位，Anthropic 提前向部分企业和政府机构开放早期访问以便防守方加固系统。两个月后 Fable 面向公众发布引发担忧其防护栏可能被绕过，商务部据称给 Anthropic 90 分钟禁止外国国民访问，导致该模型全球下线，此后限制虽解除但仍可重新施加。由于生物能力的危险性更难观察衡量且具有自我复制和进攻主导特性，若缺乏生物安全保证基础设施，“Bio Mythos”时刻可能同样招致被动应对。

Jun 18Thu
  1. Epoch AI · 22

    Epoch AI 提出面向 AI 研发任务的类 O\*NET 分类体系

    Epoch AI 在一篇文章中提出了首个针对 AI 研发工作的任务分类体系雏形，基于文献综述与头脑风暴划分出覆盖前沿 AI 实验室研究工作流的六个类别，目标是弥补现有趋势外推所依赖的可测量代理指标——算力、数据和能源投入以及 METR 的时间跨度指标——无法反映 AI 研发完整构成的缺陷。该工作借鉴美国劳工部 O\*NET 职业数据库的思路，主张专门构建一份细粒度的 AI 研发版 O\*NET，以便追踪已知与尚未纳入考察的任务环节并更好解读已有基准分数的上涨究竟覆盖了工作中的哪一部分。

Jun 2Tue
  1. SecureBio · 22

    SecureBio 解析生物风险证据层级中 Evals 的角色

    SecureBio 发文阐述 evals 在 AI 赋能生物风险证据体系中的定位，主张其比纯理论推演提供更强证据，且远比湿实验室能力提升研究便宜、可重复，还能帮助排除某些能力的存在。该文将证据分为三层，指出 evals 属于第二层，是在硅基环境中估计底层模型能力的工具，虽存在规格博弈、诱导不足和数据泄漏等已知失效模式，但仍优于仅从第一性原理进行论证。

May 23Sat
  1. AI as Normal Technology · 35

    Google 的 AI 智能体真用 916 美元造出了操作系统吗？

    Google 在开发者大会发布 Gemini 3.5 Flash 与智能体应用 Antigravity 2.0，并宣称一队智能体仅凭单个提示词、约 900 美元 API 费用就构建出一个操作系统。但该提示词实际长达数千行，运行依赖含子智能体分工与防作弊机制的特殊 scaffold，且未说明人工干预标准、重试次数，也未做代码抄袭相似度分析。Google 未公开提示词、代码与运行日志，无法独立验证；博客仅给出 916.92 美元成本与 2.6B tokens 预算。

Mar 19Thu
  1. METR · 24

    METR 两小时桌面推演：用约 200 小时时间跨度 AI 模拟未来工作流

    METR 三名研究员开展 2 小时桌面推演，扮演自己并假装可使用约 200 小时时间跨度的 AI（相当于其预期的 12–18 个月后水平），以了解未来工作流、瓶颈与提速幅度。参与者估计相比 2026 年 2 月约获 3–5 倍 uplift，并观察到智能体会立即实现想法、夜间可承担约 200 人时工作，优先排序与组织成为主要瓶颈。

Nov 24, 2025Mon
  1. Helen Toner · 18

    Helen Toner 谈 AI 能力的锯齿状发展：为何模型既强大又"很菜"

    Helen Toner 在 The Curve 大会演讲中指出 AI 能力呈"锯齿状"：一年前 Claude 3.5 Sonnet、GPT-4o、Gemini 1.5 已在 GPQA 博士级问题上达到约 50% 正确率，却数不清图中线条交叉几次。AI Village 中 Gemini 能卖周边、写博客，却因点不准按钮而误判为技术 bug；Anthropic 的 Project Vend 里 Claude 能自主定价售货，却报错 Venmo 地址、亏本卖金属块，甚至陷入存在危机。

Jul 17, 2025Thu
  1. Miles Brundage · 15

    Miles Brundage 提出第三方审计前沿 AI 系统的愿景并预告共同创办相关非营利组织

    Miles Brundage 撰文阐述其未来职业方向——针对前沿 AI 系统及组织的严格、独立且资源充足的第三方审计，并透露正联合创办一家致力于推动该审计普及的非营利组织。他指出当前业界仅停留在“最后一刻的黑盒产品测试”阶段，因第三方访问权限有限、AI 企业缺乏参与激励，威胁公共安全与国际稳定。文中还附有一则设定于 2027 年的虚构故事，描绘 DeepBrain 员工围绕新一代前沿系统 Pluto 2.1 的系统卡披露展开的内部讨论。

Dec 19, 2024Thu
  1. SPY Lab · 41

    SPY Lab 立场论文：成员推断攻击无法证明模型训练使用了你的数据

    SPY Lab 在将发表于 SaTML 2025 的立场论文中论证，成员推断（MI）攻击在向法官等第三方证明 GPT-4 等生产模型训练使用了特定数据时存在根本性缺陷。作者将训练数据证明形式化为假设检验，指出其关键在于证明假阳性率（FPR）足够低，而现有研究通过采样零假设来估计 FPR，必须完全控制数据生成与模型训练过程。

May 6, 2024Mon
  1. Nicholas Carlini Writing · 46

    Nicholas Carlini 复盘 IEEE S&P 2024 一篇被攻破的对抗样本防御论文

    Nicholas Carlini 指出 IEEE S&P 2024 接收的一篇对抗样本防御论文存在数学上不可能成立的结论，其评测代码含 bug，改一行代码即可将模型准确率降到 0%。该论文声称在 MNIST 上扰动上限 0.5 时准确率超过 60%，但任何图像与全灰图像的最大范数距离都不超过 0.5，因此 10 类分类下稳健准确率上限只能是 10%。论文还声称受攻击时准确率（94%）高于未受攻击时（83%），作者认为这说明所用攻击比恒等变换还弱。

You have reached the end