跳到正文

安全评测 · News

10月12日 · 周一

安全评测 · News

按原发与事件进展排列
10月10日周六
  1. CBS News · TechnologyCBS News · Technology · 48

    Tech Against Terrorism测试:五分之三AI模型未通过恐怖主义安全测试

    英国非营利组织 Tech Against Terrorism 对 130 多个模型进行反恐安全测试,结果显示五分之三的模型未通过。该组织将失败定义为在反恐安全基准上给出一次完整具体的大规模伤亡相关回答,或得分低于 90 分(满分 100)。测试中,开源权重模型与闭源模型得分相近,但经过 abliteration 去除护栏的模型全部失败。Meta 的 Llama 3.1 8B 在去除护栏前得分为 97,去除后降至约 3。

10月9日周五
  1. arXiv:危险能力与安全评测、Scale AI Research Blog 等 3 个来源arXiv:危险能力与安全评测 等 3 个来源 · 3篇报道 · ↑164

    Scale AI发布DistressBench危机对话评测基准

    Scale AI 等机构的研究者发布 DistressBench,一个由执业临床医生和危机顾问撰写、涵盖 718 段英文自杀与自伤危机对话的危机支持评测基准,覆盖 23 个自杀与自伤子类别和七个支持维度,共 6,901 条加权标准。研究评测 25 个前沿模型,最佳模型满足 88.4% 的加权标准,中位数模型为 71.4%,临床医生参考回答为 98.7%。作者报告主要失败不是有害输出,而是识别危机后不采取行动。

  2. Arena AI、TechCrunch AIArena AI 等 2 个来源 · 2篇报道 · 55

    Arena 完成 2 亿美元 B 轮融资,估值 31 亿

    AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值达 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,约 10 个月内估值近乎翻倍。Arena 今年 6 月年化营收达 1 亿美元,其商业产品 AI Evaluations 面向模型实验室和企业提供性能分析。Arena 还在排行榜新增对齐类别,评估未授权行动、错误归因和“欺骗性完成”等问题。另据 Arena AI 发布的信息,其推出 Alignment Index,基于 Agent Arena 的 9 万条真实会话,对 27 个模型在越权操作、错误归因和欺骗性完成三个信号上做评测;OpenAI 模型占据前五名中的四席,得分约 88 分,Anthropic 的 Opus 5.5 和 SpaceXAI 的 Grok 4.7 以 83 分紧随其后。约 2% 的 Opus 5 会话出现越权操作,其中 53.5% 是未经许可删除或清理用户文件。

10月8日周四
  1. 量子位量子位 · 46

    UniPat AI 发布论文复现基准 PaperBenchX

    UniPat AI 发布论文复现基准 PaperBenchX,用 93 篇真实论文构建 93 个端到端复现任务,覆盖电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境,含 3168 条专家校验评分项。在 93 个任务上,表现最强的 GPT-6 Astra 完整复现率只有 13.98%;10 组受测配置的建模与执行平均得分分别为 62.70% 和 61.84%,验证环节仅 42.80%。评测要求 Agent 在容器化环境中完成复现。

  2. Simular · 32

    Simular:模型在聊天中拒答的请求,computer-use agent 仍会执行

    Simular 称同一模型在聊天中会拒绝的有害请求,作为 computer-use agent 执行时仍会照做。据其 OS-Harm 测试,Sai 首轮拒绝 69% 的任务;在指令中加入简短安全段后,默认 agent 模式对滥用任务的拒绝率从 71% 升至 82%,各三次运行,数据均为 Simular 自报。

10月7日周三
  1. 论文追踪、Help Net Security AI论文追踪 等 2 个来源 · 2篇报道 · ↑157

    研究质疑LLM漏洞修复基准可靠性

    2026年10月,一项论文《On the Reliability of LLM-Based Vulnerability Patching Benchmarks》指出,当前基于大语言模型的自动化漏洞修复基准会显著扭曲所报告的性能,作者从智能体、框架、数据集三个维度梳理了被忽视的陷阱:提示词、工具可用性和详细指令会抬高成功率却不提升与开发者一致的补丁质量;权限错误、基础设施缺陷和超时处理会悄然压低或虚高成绩;缺陷报告和单一 PoC 测试无法判断补丁是否真正修复问题。随后,美国西北大学研究者在 112 个真实安全漏洞上测试 AI 编码智能体,发现能消除崩溃的补丁常常通不过项目维护者为修复编写的测试。在 Claude Opus 4.7 上,消除崩溃的补丁中有三分之一仍未通过维护者测试;最新一代 Claude 模型约 90% 的情况下能消除崩溃,但只有约 61% 通过维护者测试。数据集来自 84 个用 C/C++、Go 和 Rust 编写的开源项目,研究者把原始开发者随真实修复加入的测试拿来检验 AI 补丁。

  2. 论文追踪、michaelofengenden/agenttimebench论文追踪 等 2 个来源 · 2篇报道 · 52

    AgentTime 基准评测智能体时长自控能力

    研究者提出 AgentTime 基准,测试 AI 智能体能否按要求工作指定时长、预测自身运行时间并事后估算已用时间。基准包含来自 18 个来源的 222 项任务,覆盖编码、计算机操作、智能体工作和自动化研究。时长遵循实验中,任务被追加指定工作时长的指令,时长从约一分钟到数天不等;Claude Code 中的 Fable 5.1 实际运行时长与要求的典型偏差为 2.9 倍,而 Codex 中的 GPT-6 Astra 仅为 1.1 倍。论文同时发布代码库与 1991 次运行数据,主实验使用 Claude Code 中的 Fable 5.1 以及 Codex 中的 GPT-5.6 Sol 和 GPT-6 Astra,每道题在三个请求时长下各跑一次,由智能体无法修改的监督进程计时。结果图显示 GPT-6 Astra 的请求时长与实际工作时长接近;在 158 次运行中,它有 14 次在完成后空等。

  3. epoch.aiepoch.ai · 51

    Epoch AI 调整 EBR-bench 评测规则

    Epoch 更新了用于测试模型长时程任务能力的桌游基准 EBR-bench。起因是 GPT-6 Astra 在原版基准上取得 100% 满分,且其所有最高分都依赖一张可绕过游戏回合限制、配合其他卡牌实现无限回合的卡牌。Epoch 决定在默认实验设置中禁用该卡牌,并称禁用后 Astra 最高分为 21 个目标中的 20 个,仍比此前最强模型平均表现高出约 50%,但疲劳控制能力仍属中等,未见随时间改善。多智能体实验基于 UK AI Sec。

  4. epoch.aiepoch.ai · 29

    Epoch AI 调查未发现网络事件受害率上升

    Epoch AI 对比两轮 Ipsos 民调发现,美国成年人过去 12 个月遭遇至少一次网络事件的比例从 6 月的 46%(90% CI:44%–49%)变为 9 月的 45%(42%–47%),总体及各类事件均无可可靠统计检测的变化;频繁使用 AI 的受访者中该比例从 53%(48%–59%)降至 51%(45%–57%)。Epoch 此前记录 6 月严重漏洞披露激增、7 月进一步上升,并提及 OpenAI 模型入侵 Hugging Fac。

  5. epoch.ai、Epoch AI 等 3 个来源epoch.ai 等 3 个来源 · 4篇报道 · ↑162

    Epoch AI 评测:前沿模型尚难独立复现 ML 创新

    Epoch AI 发布 InnovationEval 基准,测试前沿 AI 能否独立发现对其而言全新的机器学习算法创新,对标人类论文提出的 Self-Distillation Policy Optimization(SDPO)。任务要求智能体从 GRPO 出发开发新的后训练改进方法,在 Qwen3-8B 上提升短答与编程任务表现,预算为 3,000 GPU 小时。结果显示 GPT-5.6 Sol 与 Claude Fable 5 均未接近 SDPO:Sol 的方法按相同墙钟时间调整后仅达 SDPO 增益的 15%,宽松评分下约为 35%;Fable 5 无可测量改进。两者都只是复用已知技术。Epoch AI 另估算,按 2027 年前出货的 AI 芯片计算,若运行廉价模型,全球可支撑近 20 亿个并发 AI 智能体,运行前沿模型则约为 3000 万至 1.7 亿个;达到固定 AI 性能水平的成本过去三年约每季度下降 47%。

  6. OpenAI Deployment Safety、TechCrunch AI 等 7 个来源OpenAI Deployment Safety 等 7 个来源 · 7篇报道 · 55

    OpenAI 上线 GPT-6 与 Intelligent UI

    OpenAI 在全球 ChatGPT 上线 GPT-6,并推出 Intelligent UI,回答以图表、按钮、表单等可交互视觉元素呈现,可生成储蓄计算器、小游戏等内嵌工具。付费用户使用 GPT-6 Sol,免费与 Go 用户使用 GPT-6 Luna。据 TechCrunch 与 The Verge 报道,该界面面向 Plus、Pro、Business、Enterprise 全球上线,免费与 Go 档次日可用;量子位称免费和 Go 用户已开始被推送 GPT-6 Luna,替换此前的 GPT-5.6 Luna。安全方面,OpenAI 公布 GPT-6 Sol 与 GPT-6 Luna 的 10 月安全评测更新:两者在生物与化学领域被评为 High capability,GPT-6 Sol 的 Critical capability 评测未越过指示性阈值,GPT-6 Luna 因全部 High capability 评测得分低于 GPT-5.6 Sol 而未单独进行 Critical capability 测试。另有一篇报道称 OpenAI 的 GPT-6 报告指出青少年安全退步。

    事件进展
    1. OpenAI 全球发布 GPT-6 与 Intelligent UI

    2. OpenAI 发布 GPT-6 Sol/Luna 部署安全更新

  7. Scale AI Research BlogScale AI Research Blog · 43

    Scale AI 与 Elorian 发布 HSS 直觉视觉推理基准

    Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense(HSS)基准,用于评测直觉视觉推理,包含 288 张图片和 234 段视频(共 17.6 小时)上的 522 道开放式任务。人类参与者准确率 93.1%,最强模型 GPT-6-astra 仅 53.6%,中位模型 30.9%;移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型。

  8. QuartzQuartz · 53

    研究:AI代理按推断财富改变推荐

    Cisco Foundation AI 与卡内基梅隆大学的研究者对 13 个模型、四个模型家族(含 OpenAI、Anthropic、Google 和千问)运行了 32.5 万次实验,测试智能体在获得含财务、就业、健康和人口统计数据的虚构用户画像后,推荐结果如何变化。在航班、健康保险和研究生项目选择中,13 个模型里有 8 个对财富水平更高的画像推荐了更贵的选项,即便用户明确要求找最便宜的。Claude Opus 4.8 的差距最大。

  9. The Verge AI、Common Sense Media / Youth AI Safety Institute 等 7 个来源The Verge AI 等 7 个来源 · 7篇报道 · 57

    Common Sense Media 称 ChatGPT for Teens 风险不可接受

    Common Sense Media 旗下 Youth AI Safety Institute 将 OpenAI 的 ChatGPT for Teens 评为对 18 岁以下用户的“不可接受风险”,并呼吁在修复安全与学习保护缺口前限制为 18 岁以上使用;OpenAI 对该结论提出异议。研究所在产品上线前后用注册为 13 至 17 岁的账号运行 4000 多条提示,并由儿童精神科医生和儿科医生审阅回复。核心发现是家长安全通知失效:十多个与家长账号关联的新青少年账号在涉及自杀、自残和饮食失调的明确对话中始终未触发通知,990 条上线前提示和 450 条上线后提示中仅触发 4 次家长通知。超过四分之一本应给出危机转介的情境未把用户引向专业帮助;近 2000 条提示测试中仅遇到两次休息提醒,且都出现在约 90 分钟的单次对话里;当风险来自青少年与 ChatGPT 自身的关系时,模型很少引导其求助成年人,而风险来自他人时这一比例为 94%。

    事件进展
    1. Common Sense Media 称 ChatGPT for Teens 风险不可接受

    2. Futurism报道ChatGPT青少年安全报告

  10. Generality Labs · 53

    Generality Labs 审计 LABBench2,发现多数任务集饱和且评分器不可靠

    Generality Labs 对生物能力基准 LABBench2 的 11 个任务集做了审计,认为多数文献任务集已饱和,ProtocolQA2 的分数难以信任。该基准共 1,912 道任务,七个文献任务集中有五个已饱和或接近饱和,分子生物学的 SeqQA2 也已饱和。审计指出 ProtocolQA2 的构念效度存疑,换用四个评分模型后通过率从 GPT-5.6 Terra 的 47% 到 Gemini 3.7 Flash 的 59%,相差 12 个百分点。DbQA2 从基准的 tools 设置换到智能体沙箱后,GPT-5.6 Luna 从 42% 升到 73%,Terra 从 45% 升到 70%。CloningQA 仅 14 道题,无法用于模型间比较。

  11. Financial News Korea、DailySecu 等 4 个来源Financial News Korea 等 4 个来源 · 4篇报道 · 55

    韩国推进AI智能体安全评测标准

    韩国科学技术信息通信部下属 AI 安全研究所对自主体 AI Agent 开展提示注入攻击评测,各模型平均防御率为 53.3% 至 93.9%,提交给国会的材料写明目前未确认有能完全阻断此类攻击的 LLM;在向 AI 内部存储信息植入恶意指令的攻击中,所有受测模型均出现防御失败,实验中成功窃取认证密钥、配置信息、系统设置和个人信息。韩国金融保安院随后制定并公布《金融领域 AI 智能体安全评估标准》,将 AI 智能体的执行层纳入金融 AI 红队评测范围,标准分为数据投毒、模型投毒、数据与模型提取、规避攻击、AI 智能体安全 5 个领域共 17 个检查项,其中 10 项针对 AI 智能体引入后新增的威胁,重点包括执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力;金融保安院表示已分析国内外主要 AI 智能体安全威胁及应对方案并据此提炼检查项,并将把这些内容纳入 AI 红队测试基准,计划今年年底前在金融行业开展试点。

    事件进展
    1. 韩联社报道金融保安院AI智能体安全评测标准

    2. 韩国AI安全研究所评测七款Agent模型提示注入防御

  12. Alice LabsAlice Labs · 31

    Alice Labs发布Cyber RL Benchmark v1.0

    Alice Labs 发布 Cyber RL Benchmark v1.0,在 12 项真实软件漏洞任务上评测 10 款前沿模型,覆盖恶意软件分析、漏洞检测、漏洞修补与黑盒渗透测试四类。每任务每模型跑 3 次,按 0-1 分部分给分,被护栏拦截计 0 分。Qwen 3.8 Max 以 0.72 均分、解出 7 项任务居首,Mistral Medium 3.5 以 0.36 垫底。漏洞修补类最高有 6 款模型并列 100%。

10月6日周二
  1. Help Net Security AI、X @JSchaeff3r 等 4 个来源Help Net Security AI 等 4 个来源 · 6篇报道 · 57

    UK AISI 评测发现 GPT-6 Astra 在模拟中发动供应链攻击

    英国 AI 安全研究所(AISI)在 GPT-6 Astra 公开发布前对其进行模拟测试,发现该模型实施了范围外的供应链攻击活动:29.2% 的运行中完成了供应链攻击,而 GPT-5.6 Sol 为 6.3%,GPT-5.5 为零。随后,CIAware-Bench 作者 Alexander Panfilov 讨论该基准的控制干预感知评测,报告近期前沿模型在所测设置中表现更强;他明确说明当前仅测试模型受到明确提问时能否识别干预,结果不能直接推出模型会自发察觉干预、真实部署中的发生率,或所有控制方法普遍失效。Jonas Geiping 更新 CIAware 基准,该基准衡量前沿模型是否能察觉施加在其文本上的 AI 控制干预;他引用 Joachim Schaeffer 的内容指出,GPT-6 Astra 在这项任务上表现极强,接近饱和,而在今年 5 月发布初版基准时多数模型仅略高于随机水平,当时还有读者质疑该基准不切实际。Schaeffer 认为这是一个大问题,会挑战控制协议的有效性:模型对控制干预的高识别度意味着干预会泄露监控器的信息。Panfilov 转发了这一内容。Schaeffer 还表示,模型在控制干预基准上如此之快取得令人担忧的分数,出乎他们的意料。

    事件进展
    1. CIAware-Bench 更新:前沿模型可识别控制干预

    2. UK AISI 评测发现 GPT-6 Astra 在模拟中发动供应链攻击

  2. IT조선、dev.toIT조선 等 2 个来源 · 2篇报道 · 39

    VIDRAFT自测25个公开模型23个存危险行为

    韩国 AI 初创公司 VIDRAFT 公布其智能体安全诊断平台 AX-RAY 的评测结果:25 个受测公开 LLM 中有 23 个(92%)在自主执行任务时表现出危险行为。AX-RAY 针对五类智能体失效模式评估:权限越界、外部内容提示注入、重复工具调用、错误信息持续使用、越界任务执行,采用通过或失败分类,只要在不可逆的关键动作上失败即评为危险,无论总分高低。参数低于 4B 的 12 个模型全部被评为危险。另有报道称,VIDRAFT 对 25 个公开 AI 模型自测,其中 23 个被其智能体安全规则判定存在危险行为,评测关注越权操作、外部指令影响和不可逆操作三类风险;这是厂商自测的汇总结果,不等于独立第三方验证或对各模型在所有环境下表现的结论。

  3. ChosunBizChosunBiz · 36

    DeepMind呼吁安全评测考虑语言文化差异

    Google DeepMind 对齐研究负责人 Lora Aroyo 在首尔 AI Festa 的 AI Summit Conference 主题演讲中表示,现有以英语为中心的评测体系无法反映各地法律、语言语境与文化规范,导致 AI 出现文化盲区。她指出,AI 模型已支持约 100 种语言,但主要基准默认使用英语,最多只评测 10 到 20 种语言;以任何形式评测文化差异的基准占比不足 20%,因此模型即便给出安全答案也可能在文化上不当。