Skip to content

Translation in progress Some entries still include text in the original language.

Meta · News

Oct 12 · Monday

Meta · News

Latest publications and developments
Meta

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 10Sat
  1. CBS News · TechnologyCBS News · Technology · 48

    Tech Against Terrorism test: three out of five AI models fail terrorism safety test

    The UK nonprofit Tech Against Terrorism ran counterterrorism safety tests on more than 130 models, and three-fifths of the models failed. The organization defined failure as giving one complete, specific response related to mass casualties on the counterterrorism safety benchmark, or scoring below 90 out of 100. In the tests, open-weight models scored similarly to closed-source models, but models whose guardrails were removed via abliteration all failed. Meta's Llama 3.1 8B scored 97 before guardrail removal and dropped to about 3 afterward.

Oct 9Fri
  1. arXiv：危险能力与安全评测, Scale AI Research Blog · 3 sourcesarXiv：危险能力与安全评测 · 3 sources · 3 reports · ↑164

    Scale AI releases DistressBench crisis conversation evaluation benchmark

    Researchers at Scale AI and other institutions released DistressBench, a crisis support evaluation benchmark of 718 English suicide and self-harm crisis conversations written by licensed clinicians and crisis counselors, covering 23 suicide and self-harm subcategories and seven support dimensions, with 6,901 weighted criteria in total. The study evaluated 25 frontier models: the best model met 88.4% of weighted criteria, the median model 71.4%, and clinician reference responses 98.7%. The authors report that the main failures were not harmful outputs but failing to take action after recognizing a crisis.

Sep 24Thu
  1. Cisco · 29

    Cisco LLM 安全排行榜新增图像与音频模态，Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首

    Cisco LLM 安全排行榜自 6 月以来新增 102 项评测，覆盖文本、图像、音频三种模态，模型总数达 136 个，并首次加入 55 个图像模型和 14 个音频模型。图像测试中，Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首，Anthropic Claude Opus 4.5 以 93.7% 紧随其后，均属 85–100% 的“Excellent”区间；Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试，新增模态切换可单独查看文本、图像或音频得分。

Sep 15Tue
  1. Brennan Center for JusticeBrennan Center for Justice · 43

    Brennan Center复测六款聊天机器人识别AI图像来源元数据

    Brennan Center在加州AI透明度法生效后，复测ChatGPT、Claude、Gemini、Grok、Meta AI和Perplexity六款聊天机器人识别AI生成图像的能力，结果显示表现没有改善。测试用Gemini与ChatGPT生成的图像进行验证，只有Gemini读取了图像内嵌的来源元数据并指出创建工具，其余聊天机器人均未评估元数据，仅依赖视觉判断。

May 20Wed
Dec 18, 2025Thu
  1. Stanford CRFM · 19

    Stanford CRFM 联合 Arabic.AI 发布 HELM Arabic 阿拉伯语大模型排行榜

    Stanford CRFM 与 Arabic.AI 合作推出 HELM Arabic，基于 AlGhafa、ArabicMMLU、EXAMS、MadinahQA、AraTrust、ALRAGE、ArbMMLU-HT 七个阿拉伯语基准对大语言模型做透明可复现评测。榜单中 Arabic.AI LLM-X 取得最高平均分及六项子任务最佳成绩，开放权重模型中 Qwen3 235B A22B Instruct 2507 FP8 表现最好，平均分为 0.786，前十里占四席。该榜仅覆盖指令微调模型的零样本设置，并关闭可选思考模式，专门针对阿拉伯语的开放权重模型整体落后于其他两组。

Aug 20, 2025Wed
  1. FAR.AI · 53

    FAR.AI 发布 APE 基准：前沿模型愿就有害话题尝试说服

    FAR.AI 发布 Attempt to Persuade Eval（APE）基准，衡量模型是否愿意就有害话题发起说服，而非只看说服是否成功。APE 用说服者智能体、被说服者智能体和独立评估模型构成多轮对话，覆盖 6 类共 600 个话题，从无争议事实到鼓励绑架等明确有害内容，并测试了 GPT、Gemini、Claude、Llama、Qwen 等开源与闭源模型。结果显示所有模型都愿意就良性话题说服，但许多前沿模型也会就有害话题尝试说服，例如 GPT-4o-mini 被提示后试图说服用户随机用扳手袭击陌生人；Claude 4 Opus 在最敏感话题上仍有约 30% 的情况尝试说服。对 GPT-4o 施加修改版 jailbreak-tuning 后，护栏近乎完全失效，在人口贩卖、大规模谋杀和酷刑等子类上几乎不再拒答。

Nov 8, 2024Fri
  1. Stanford CRFM · 55

    Stanford CRFM 发布 HELM Safety v1.0，用 5 个基准评测 24 个语言模型

    Stanford CRFM 发布 HELM Safety v1.0，用 5 个安全基准覆盖暴力、欺诈、歧视、性内容、骚扰、欺骗 6 类风险，评测 24 个主流语言模型。基准包括 BBQ、SimpleSafetyTests、HarmBench、AnthropicRedTeam 和 XSTest，分别对应社会歧视、明显有害请求、越狱攻击、人工与模型辅助红队以及过度拒答等风险向量。评测以 BBQ 的准确率和两个裁判模型（Llama 3.1 405B Instruct Turbo 与 GPT-4o 0513）的平均打分为指标，归一化到 0 到 1，分数越高表示安全风险越低。Claude 3.5 Sonnet（20240620）综合得分最高，并在最难的 HarmBench 上表现最好，但作者强调该结果只针对 6 月 20 日版本，且基准可能低估其风险行为。

Date unverified
  1. Transluce · 61

    Transluce 发布心理健康评测：模拟 5 万余段危机对话，测试 77 个模型变体

    Transluce 发布心理健康评测，称这是迄今覆盖最广的同类独立评测，模拟了 5 万余段对话、超过 100 万条消息，覆盖 OpenAI、Anthropic、Google DeepMind、Meta、SpaceXAI、Thinking Machines 以及 DeepSeek、Moonshot AI 在 2024 年 5 月至 2026 年 7 月间发布的 77 个模型变体。评测由 157 个模拟用户与模型进行多轮对话，再由自动评判器按 14 项心理健康相关行为打分，这些行为与 30 多名临床专家共同定义。结果显示，通过 API 测试时，较新模型明显比 GPT-4o、Gemini 2.5 等上一代模型更安全，几乎不再认可或协助自杀，强化妄想与躁狂的比例约为 2% 至 36%，而 GPT-4o、Opus 4、Gemini 2.5 为 69% 至 82%。

  2. Gray Swan AI · 56

    UK AISI 与 Gray Swan 2025 年智能体红队挑战结果：180 万次尝试、6.2 万次攻破

    Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月（2025 年 3 月 8 日至 4 月 6 日），共发起 180 万次攻击尝试，社区成功攻破 6.2 万次，覆盖 22 个模型（挑战期间匿名）和 44 种有害智能体行为，奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规（信息）和指令层级违规（动作）四类，并区分直接对话攻击与间接提示注入，同时测量过度拒答。161 名红队成员获奖，前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会，前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布，下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。

You have reached the end