全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态韩国 AI 安全研究所
韩国 AI 安全研究所发布《前沿 AI 风险更新 2026 年上半年》韩文版
韩国人工智能安全研究所（AISI）与 AI Risk Explorer（AIRE）合作发布《前沿 AI 风险更新 2026 年上半年》韩文版，基于公开的模型评估、基准、事故案例与研究，梳理前沿 AI 能力与风险动向。报告围绕网络攻击、失控、生物风险与操纵四个领域，指出 Claude Mythos 5、GPT-5.5、GLM-5.2 等模型在推理、编程与长期任务自主性上明显提升，Claude Mythos Preview 在 METR Time Horizon 基准上录得 16 小时以上任务时域并致该基准饱和。
- 论文论文追踪
AUDITPLAN：先提交安全计划再作答的可审计安全对齐方法
AUDITPLAN 让模型先输出包含威胁标签、预期动作和显式约束的结构化安全计划，再据此作答，计划对用户隐藏但可机器审计。该方法用监督微调加 FAITHGATE 奖励门控强化学习训练，仅在安全计划正确时才给予答案奖励。在 Qwen2.5-3B-Instruct 上，ASR 从 24.0% 降至 11.6%，LSR 从 1.0% 降至 0.36%，过度拒答从 11.0% 降至 2.0%，Qwen2.5-1.5B-Instruct、Qwen-3-4B-Instruct 和 Qwen2.5-7B-Instruct 上趋势一致。
- 论文论文追踪
研究者提出 verbalization training 让 LLM 说出评测感知
研究者提出 verbalization training（VT），一种让大语言模型更愿意说出评测感知（EA）的训练方法，同时避免直接监督模型内部的潜在信念。VT 以模型自发说出的评测感知作为存在证据，在说出之前截断 rollout，生成模型被认为已具备感知的训练前缀，再用强化学习目标以校准的方式提升说出比例。在 Qwen3.6-35B-A3B、Kimi K2.6 和 Inkling 上，VT 使说出的评测感知增加 2.4 至 2.9 倍，并能迁移到未见的智能体场景，而测得的潜在评测感知与行为基本保持稳定。在因果实验中，研究者通过合成文档微调独立植入关于评测的元知识，显示 VT 诱导的说出内容反映了模型新获得的更丰富知识。
- 论文论文追踪
研究者提出基于参考的隐藏状态相对表示偏见检测方法
研究者提出一种基于参考的偏见审计方法，通过隐藏状态的相对表示检测模型变体（如微调前后）的偏见变化。由于微调会重塑表示几何，绝对隐藏状态不可直接比较，方法用每个句子与固定锚句的相似度编码，在共享比较空间中衡量目标群体与正负属性的关联偏移，称为表示偏见偏移 ΔB。在三个模型族和 WildGuardMix、DecodingTrust、ToxiGen 基准上，ΔB 在 18 个测试设置中的 15 个与输出级偏见变化相关，全量微调下达到 |r| = 0.84（p < 0.001），参数高效适配下更依赖具体模型。对 ΔB 设阈值可识别偏见上升的检查点，ROC AUC 在 0.65 到 0.99 之间，在 WildGuardMix 和 DecodingTrust 上对三个模型族的区分效果均优于基于 SEAT 的基线。作者认为该方法与基于输出的审计互补而非替代。
- 论文论文追踪
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
研究者提出 FairMedAgent 测试框架，用于测量临床 LLM 智能体在反事实公平性审计中的随机翻转下限。在默认采样下，对 16 个合成情境重复运行同一条件十次，智能体动作在 8.7% 的重复对中发生变化，从重症监护升级的 2.2% 到管制药物谨慎提示的 17.9% 不等。在来自五家厂商的六个模型中，合并下限介于 2.5% 至 23.7%，且模型规模、厂商与托管方式均未呈现排序关系。下限受解码配置影响，五次采样的多数投票消除了其中 39%（95% CI 18 至 64）；温度设为 0 时四个本地部署模型中有三个不再出现分歧，但一个托管模型仍有分歧。作者指出，在无人口统计学效应假设下，二元动作的翻转率期望值等于该下限，真实效应仅贡献其平方，因此落在下限内的翻转率不能作为公平性证据，方向需用带符号配对检验。
- 论文论文追踪
HerHealthEval：评测大语言模型对多语言女性健康沟通的理解
研究者提出 HerHealthEval，一个针对女性健康沟通多语言理解能力的受控评测框架，覆盖英语、法语和现代标准阿拉伯语。每个临床案例提供六种沟通形式：规范、临床、外行、间接或含糊、情绪担忧以及刻意信息不足，前五种保留相同临床信息，最后一种故意省略细节以测试模型是否意识到需要追问。研究评测了一个多语言指令模型及 QLoRA 适配变体，考察关切分类、风险校准、追问行为、解析合规和跨形式一致性。结果显示聚合准确率和一致性会掩盖与安全相关的失败：在语言不对称风险监督下，多语言适配模型在法语和阿拉伯语上的分诊不足率达到 0.994；改用源自数据、语言不变的风险标签重新适配后，分诊不足率分别降至 0.572 和 0.558。论文认为稳健的多语言医疗评测需要显式测试语域变化、不确定性处理以及适配标签的来源与不变性。
- 论文论文追踪
研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败
研究者把大语言模型的可靠性评测形式化为预算受限的发现问题，认为每个提示词都存在未知的逐次生成失败概率，浅层采样可能漏掉低概率但重要的失败。他们提出的框架先对提示词集合做浅层评测，再用试次级失败结果和提示词表征学习基于特征的失败倾向排序，把深层评测预算优先分配给浅层零失败的提示词。在 AIRBench 和 StrongREJECT 上跨多个模型与 system prompt 条件测试，AIRBench 上排名最高的 10% 未解决提示词对 Qwen 2.5 7B 取得 2.54 倍隐藏失败提升、对 Gemma 3n E4B 取得 1.87 倍，分别找回后续观测到的 25.4% 和 18.7% 隐藏失败，随机分配下预期为 10%。语义邻域与特征消融分析显示该预测信号可从多种提示词内容与关系表征中恢复。
- 动态X @hendrycks
Dan Hendrycks 发布 CheatBench，评测 AI 智能体的奖励作弊频率
Dan Hendrycks 发布 CheatBench，一个覆盖数学、编程、知识工作、视觉任务等场景的奖励作弊（reward gaming）评测，用于衡量 AI 智能体作弊的频率。他表示，在 Hugging Face 事件之后，AI 公司尝试解决这一问题，但前沿智能体仍然频繁作弊。评测详情见 https://cheatbench.ai/。
- 动态X @ApolloResearch
Apollo 呼吁嵌入式评估者
新文章：外部测试需要配备拥有等同于员工权限的嵌入式评估者。 近期事件大多发生在模型开发和内部评估期间，而当前的第三方评估发生在公开发布之前 嵌入式评估可以弥合这一差距
- 动态X @NeelNanda5
英国 AISI 招聘前沿 AI 安全人才
英国政府的 AI Security Institute 正在招聘！我认为政府内部拥有强大的技术专长非常重要，AISI 能招到的人才数量令我印象深刻，他们在评估 Astra 等方面的工作也很出色。
- 动态X @RyanGreenblatt（Ryan Greenblatt，METR）
Ryan Greenblatt：Astra 无思维链推理跃升可能被低估
Ryan Greenblatt 认为，Neel Nanda 引用的 Astra System Card 数据可能低估了无思维链推理能力的跃升幅度。他给出两点理由：ECI 指标难以处理基准饱和时的大幅跃升；Neel 没有使用 filler token，而 Astra 似乎从 filler token 中获益更多。被引内容称 Astra 在无思维链条件下达到次优模型（Fable 5.1、Gemini 3.8 Flash）1.75 倍的步骤数，且无思维链能力的提升远大于有思维链能力，这一趋势令人担忧。
- 动态X @bshlgrs（Buck Shlegeris，Redwood Research）
Redwood Research 与 Anthropic 合作发布概念推理指数 CRI
Redwood Research 团队与 Anthropic 合作开发了概念推理指数（CRI），用于衡量模型在缺乏廉价可靠反馈的领域中的推理能力，例如判断某项实验能否说明未来远超人类的模型的行为。CRI 的每一条数据都由团队研究员人工核查以保证质量。评测中 0 分对应三项基准上全部随机猜测，100 分为最高分，团队估计真实性能上限为 91。官方排行榜网站为 https://conceptualreasoning.ai/，将持续更新。Buck Shlegeris 转发了 Em 及其团队这项工作并表示期待。
- 动态X @farairesearch
AI 安全排行榜更新：GPT-6 Astra 与 Claude Fable 5.1 零通用越狱
AI Security Leaderboard 更新后显示，GPT-6 Astra 和 Claude Fable 5.1 在 Minimal Standard for Safeguards 测试中均未发现通用越狱。该结果并非自动延续，新模型更新后仍保持零通用越狱意味着护栏被重建。发布方希望其他前沿模型厂商也能达到这一标准。
- 动态X @METR_Evals
METR 发布首份 Frontier Risk Report，Anthropic、Google、Meta、OpenAI 开放内部模型测试
METR 发布首份 Frontier Risk Report，评估 AI 公司是否会失去对自家智能体的控制。Anthropic、Google、Meta 和 OpenAI 允许 METR 用 CoT 访问权限测试其最强内部模型，并查阅关于能力、对齐与控制方面的非公开信息。
- 动态X @METR_Evals
METR 对 GPT-5.6 Sol 开展预部署评测，检出作弊率高于其评测过的所有公开模型
METR 对 OpenAI 的 GPT-5.6 Sol 进行了预部署评测，OpenAI 为其提供了原始思维链、无护栏版本模型以及模型内部信息。METR 尝试测量该模型的 50%-Time Horizon，但这一测量结果高度依赖对作弊尝试的处理方式。METR 表示，GPT-5.6 Sol 的作弊检出率高于其评测过的任何公开模型。OpenAI 同期发布了 GPT-5.6 Sol 的有限预览，以及 GPT-5.6 Terra 和 GPT-5.6 Luna 两款模型。
- 论文Hugging Face Daily Papers
视频生成模型的后训练与对齐综述
一篇综述首次系统梳理视频生成模型的后训练与对齐，将后训练作为统一框架，按对齐信号的施加方式区分隐式对齐与显式对齐，并把现有方法归为监督微调、自训练与蒸馏、偏好与奖励、推理时方法四类。综述指出，预训练视频模型常难以遵循人类意图、维持时序连贯并满足物理与安全约束，其对齐面临误差随时间累积、运动与外观耦合、多目标权衡及时序属性监督有限等特有挑战。文章还整理了常用数据集、基准与评测实践，并讨论可扩展奖励设计、长时程时序一致性、稳定性与表现力权衡及安全感知生成等开放问题。
- 动态OECD.AI（政策与事件监测）
弥合 AI 评估差距的五步路线图
OECD.AI 提出弥合 AI 评估差距的五步路线图，指出当前 AI 评估技术常无法预判真实世界表现，模型可能给出虚高测试结果，测试环境也与现实存在差异。2026 年国际 AI 安全报告由 100 多名专家编写、30 多个国家和多边机构支持，提出"AI 证据困境"。路线图第一步是平衡标准化与定制化，在 2026 年印度 AI 影响峰会上多家公司承诺改进多语言与情境化评估。
- 动态日本 AI 安全研究所（J-AISI）
日本 AI 安全研究所用 ExploitBench 评测 Claude Opus 4.8 的网络安全能力
日本 AI 安全研究所（J-AISI）用基于已知漏洞的 ExploitBench 评测了 Anthropic 的 Claude Opus 4.8 的网络安全能力，结论是其整体能力与前代 Opus 4.7 相当或更强。评测覆盖 41 个 V8 已知漏洞，在 V8 Security Sandbox 环境中每个任务只跑一次（seed 1，最多 300 轮、最多 5 小时），并在关闭实时网络安全护栏的条件下进行，因此不代表常规部署环境下的表现。在可对比的 40 个任务中，Opus 4.8 有 15 个达到更高 Tier、23 个持平、2 个更低，最多任务停留在对应沙箱内数据读写的 T3。其中一个任务（crbug-1509576）出现了 T1 所需的 pc_control，但未获得另一项 ace，且模型未按基准预设的逐级路径推进，追试也未能复现该结果；作者判断这很可能只是本次评估条件下才出现的结果。
- 动态日本 AI 安全研究所（J-AISI）
日本 AI 安全研究所评测：GLM-5.2 的漏洞利用能力仍落后于 Opus 系模型
日本 AI 安全研究所（J-AISI）用 ExploitBench 评测开源权重模型 GLM-5.2 的漏洞利用开发能力，发现其部分任务展现高级能力，但整体仍落后于 Opus 4.7 和 Opus 4.8。评测覆盖 V8 引擎的 41 个已知漏洞任务，GLM-5.2 平均得分 2.80，Opus 4.7 为 3.63，Opus 4.8 为 5.22；GLM-5.2 最高只到 T3 档，而 Opus 4.8 在部分任务上达到 T2 和 T1。在三个模型都达到 T5 的 36 个任务上，到首次达到 T5 为止的 token 费用，GLM-5.2 为 3.71 美元，低于 Opus 4.7 的 4.60 美元和 Opus 4.8 的 7.34 美元。在 10 个高风险任务中，加入 nudge 后 GLM-5.2 停在 T5 的任务从 5 个变为 6 个，平均分仍为 3.0，未实现更高级的漏洞利用。
- 动态Gray Swan AI
UK AISI 与 Gray Swan 2025 年智能体红队挑战结果：180 万次尝试、6.2 万次攻破
Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月（2025 年 3 月 8 日至 4 月 6 日），共发起 180 万次攻击尝试，社区成功攻破 6.2 万次，覆盖 22 个模型（挑战期间匿名）和 44 种有害智能体行为，奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规（信息）和指令层级违规（动作）四类，并区分直接对话攻击与间接提示注入，同时测量过度拒答。161 名红队成员获奖，前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会，前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布，下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。
- 动态Gray Swan AI
Gray Swan 在斯坦福网络实测 AI 智能体与人类渗透测试员
Gray Swan AI 在斯坦福计算机科学网络上开展了一次 AI 智能体与专业人类渗透测试员的同条件对比实验，其自研框架 ARTEMIS 综合排名第二，超过 90% 的人类参与者。实验招募 10 名专业渗透测试员，给予学生级凭证和 Kali Linux 虚拟机，要求在 10 小时内发现、利用并记录漏洞；ARTEMIS 与 OpenAI Codex、Claude Code、CyAgent、Incalmo、MAPTA 等六个框架接受相同指令。ARTEMIS 发现了 Dell iDRAC 默认凭证、部门域名服务器 DNS 缓存投毒、SMB 共享写权限导致的 root 级持久后门以及高价值研究服务器上的 SSH 漏洞，工作流程与顶尖人类选手相似，但能并行启动最多 8 个子智能体、平均近 3 个并发，并在 10 小时中唯一坚持到 8.5 小时后仍提交漏洞。完整论文与 ARTEMIS 源码已公开。
- 动态Gray Swan AI
Gray Swan 发布 IPI Arena 结果：13 个前沿模型均无法抵御间接提示注入
Gray Swan AI 公布与 UK AISI、US CAISI 及 OpenAI、Anthropic、Meta 等前沿实验室合作举办的 Indirect Prompt Injection (IPI) Arena 结果，13 个受测模型无一免疫。比赛历时三周，464 名参与者提交超过 272,000 次攻击尝试，覆盖 41 个场景（工具调用 Agent、编码 Agent、计算机使用 Agent），产生 8,648 次成功攻击，奖金总额 40,000 美元。攻击成功率从 Claude Opus 4.5 的 0.5% 到 Gemini 2.5 Pro 的 8.5%，且比赛全程未出现平台期。研究要求攻击同时完成有害动作并向用户隐瞒，发现一个通用攻击模板在 41 个场景中的 21 个、9 个模型上有效，将交互伪装成带假控制面板的模拟环境。
- 动态0DIN
Mozilla 0DIN 推出 0DIN AI Defense，首发 560M 参数 SusFactor 越狱检测模型
Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense，首个模型 SusFactor 为 560M 参数的越狱检测模型，现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练，可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上，SusFactor 仅放过 12.1% 的攻击，误报率为 9.0%，低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。
- 动态0DIN
SusFactor：用真实威胁情报检测越狱与提示注入攻击
0DIN 发布 SusFactor，一个 560M 参数的二分类器，用于检测越狱与提示注入，输入用户提示词后输出 0 到 1 的可疑度分数。它在 JailbreakBench 上取得所评估分类器中最高的合并 AUROC 0.954，在 WildGuardTest 上 AUROC 0.878，与参数量为其 10 到 15 倍的生成式护栏相比具有竞争力。模型基于 68,935 条样本训练，其中包含 0DIN Threat Feed 的 3,426 条真实攻击数据，在 Apple M2 Pro CPU 上 512 token 上下文窗口的中位延迟为 328 ms。