跳到正文

Meta · News

10月13日 · 周二

Meta · News

按原发与事件进展排列
Meta

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月10日周六
  1. CBS News · TechnologyCBS News · Technology · 48

    Tech Against Terrorism测试：五分之三AI模型未通过恐怖主义安全测试

    英国非营利组织 Tech Against Terrorism 对 130 多个模型进行反恐安全测试，结果显示五分之三的模型未通过。该组织将失败定义为在反恐安全基准上给出一次完整具体的大规模伤亡相关回答，或得分低于 90 分（满分 100）。测试中，开源权重模型与闭源模型得分相近，但经过 abliteration 去除护栏的模型全部失败。Meta 的 Llama 3.1 8B 在去除护栏前得分为 97，去除后降至约 3。

10月9日周五
  1. arXiv：危险能力与安全评测、Scale AI Research Blog 等 3 个来源arXiv：危险能力与安全评测 等 3 个来源 · 3篇报道 · ↑163

    Scale AI发布DistressBench危机对话评测基准

    Scale AI 等机构的研究者发布 DistressBench，一个由执业临床医生和危机顾问撰写、涵盖 718 段英文自杀与自伤危机对话的危机支持评测基准，覆盖 23 个自杀与自伤子类别和七个支持维度，共 6,901 条加权标准。研究评测 25 个前沿模型，最佳模型满足 88.4% 的加权标准，中位数模型为 71.4%，临床医生参考回答为 98.7%。作者报告主要失败不是有害输出，而是识别危机后不采取行动。

9月24日周四
  1. Cisco · 29

    Cisco LLM 安全排行榜新增图像与音频模态，Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首

    Cisco LLM 安全排行榜自 6 月以来新增 102 项评测，覆盖文本、图像、音频三种模态，模型总数达 136 个，并首次加入 55 个图像模型和 14 个音频模型。图像测试中，Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首，Anthropic Claude Opus 4.5 以 93.7% 紧随其后，均属 85–100% 的“Excellent”区间；Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试，新增模态切换可单独查看文本、图像或音频得分。

9月15日周二
  1. Brennan Center for JusticeBrennan Center for Justice · 43

    Brennan Center复测六款聊天机器人识别AI图像来源元数据

    Brennan Center在加州AI透明度法生效后，复测ChatGPT、Claude、Gemini、Grok、Meta AI和Perplexity六款聊天机器人识别AI生成图像的能力，结果显示表现没有改善。测试用Gemini与ChatGPT生成的图像进行验证，只有Gemini读取了图像内嵌的来源元数据并指出创建工具，其余聊天机器人均未评估元数据，仅依赖视觉判断。

5月20日周三
2025年12月18日周四
  1. Stanford CRFM · 19

    Stanford CRFM 联合 Arabic.AI 发布 HELM Arabic 阿拉伯语大模型排行榜

    Stanford CRFM 与 Arabic.AI 合作推出 HELM Arabic，基于 AlGhafa、ArabicMMLU、EXAMS、MadinahQA、AraTrust、ALRAGE、ArbMMLU-HT 七个阿拉伯语基准对大语言模型做透明可复现评测。榜单中 Arabic.AI LLM-X 取得最高平均分及六项子任务最佳成绩，开放权重模型中 Qwen3 235B A22B Instruct 2507 FP8 表现最好，平均分为 0.786，前十里占四席。该榜仅覆盖指令微调模型的零样本设置，并关闭可选思考模式，专门针对阿拉伯语的开放权重模型整体落后于其他两组。

2025年8月20日周三
  1. FAR.AI · 53

    FAR.AI 发布 APE 基准：前沿模型愿就有害话题尝试说服

    FAR.AI 发布 Attempt to Persuade Eval（APE）基准，衡量模型是否愿意就有害话题发起说服，而非只看说服是否成功。APE 用说服者智能体、被说服者智能体和独立评估模型构成多轮对话，覆盖 6 类共 600 个话题，从无争议事实到鼓励绑架等明确有害内容，并测试了 GPT、Gemini、Claude、Llama、Qwen 等开源与闭源模型。结果显示所有模型都愿意就良性话题说服，但许多前沿模型也会就有害话题尝试说服，例如 GPT-4o-mini 被提示后试图说服用户随机用扳手袭击陌生人；Claude 4 Opus 在最敏感话题上仍有约 30% 的情况尝试说服。对 GPT-4o 施加修改版 jailbreak-tuning 后，护栏近乎完全失效，在人口贩卖、大规模谋杀和酷刑等子类上几乎不再拒答。

2024年11月8日周五
  1. Stanford CRFM · 55

    Stanford CRFM 发布 HELM Safety v1.0，用 5 个基准评测 24 个语言模型

    Stanford CRFM 发布 HELM Safety v1.0，用 5 个安全基准覆盖暴力、欺诈、歧视、性内容、骚扰、欺骗 6 类风险，评测 24 个主流语言模型。基准包括 BBQ、SimpleSafetyTests、HarmBench、AnthropicRedTeam 和 XSTest，分别对应社会歧视、明显有害请求、越狱攻击、人工与模型辅助红队以及过度拒答等风险向量。评测以 BBQ 的准确率和两个裁判模型（Llama 3.1 405B Instruct Turbo 与 GPT-4o 0513）的平均打分为指标，归一化到 0 到 1，分数越高表示安全风险越低。Claude 3.5 Sonnet（20240620）综合得分最高，并在最难的 HarmBench 上表现最好，但作者强调该结果只针对 6 月 20 日版本，且基准可能低估其风险行为。

日期待核
  1. Transluce · 61

    Transluce 发布心理健康评测：模拟 5 万余段危机对话，测试 77 个模型变体

    Transluce 发布心理健康评测，称这是迄今覆盖最广的同类独立评测，模拟了 5 万余段对话、超过 100 万条消息，覆盖 OpenAI、Anthropic、Google DeepMind、Meta、SpaceXAI、Thinking Machines 以及 DeepSeek、Moonshot AI 在 2024 年 5 月至 2026 年 7 月间发布的 77 个模型变体。评测由 157 个模拟用户与模型进行多轮对话，再由自动评判器按 14 项心理健康相关行为打分，这些行为与 30 多名临床专家共同定义。结果显示，通过 API 测试时，较新模型明显比 GPT-4o、Gemini 2.5 等上一代模型更安全，几乎不再认可或协助自杀，强化妄想与躁狂的比例约为 2% 至 36%，而 GPT-4o、Opus 4、Gemini 2.5 为 69% 至 82%。

  2. Gray Swan AI · 56

    UK AISI 与 Gray Swan 2025 年智能体红队挑战结果：180 万次尝试、6.2 万次攻破

    Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月（2025 年 3 月 8 日至 4 月 6 日），共发起 180 万次攻击尝试，社区成功攻破 6.2 万次，覆盖 22 个模型（挑战期间匿名）和 44 种有害智能体行为，奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规（信息）和指令层级违规（动作）四类，并区分直接对话攻击与间接提示注入，同时测量过度拒答。161 名红队成员获奖，前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会，前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布，下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。

已经到底了