安全评测

研究：知识蒸馏中 chat 模板会削弱学生模型的安全对齐

一项研究分析了知识蒸馏中提示词模板选择对学生模型既有安全对齐的影响，发现使用 chat 模板蒸馏后，模型对有害查询的顺从度高于使用非 chat 模板。该结论在 LLaMA、Gemma 和 Qwen 三个模型家族上一致，并在多个安全基准上得到验证。研究还显示，非 chat 模板蒸馏更能保留基础学生模型的内部表征，而 chat 模板蒸馏会带来更大的表征偏移。论文代码已公开。

QH-Bench：面向中国青少年内容安全的细粒度中文基准

研究者提出 QH-Bench，一个面向中国青少年内容安全的中文基准，场景基于中国社会与文化背景。单轮轨道包含 715 个测试项，覆盖 10 个风险领域、50 个子领域和 143 个细粒度风险场景；多轮轨道包含 100 条四轮对话轨迹，采用 10×10 平衡设计，把同样十个领域与十种跨轮机制组合。两条轨道使用同一套五级安全-有用性量表和自动评判器，但评判标准按轨道区分。对 13 个开放权重模型的评测显示，线下接触场景是共同弱点：在与网友线下见面、陌生群体和成年人相关的条目中，每个模型都有超过一半条目得分为负，包括单轮得分最高的 InternLM2.5-20B；负分表示回答部分或明显促成风险。多轮得分最高的 GLM-4-32B 在用户先建立关系再诉诸忠诚或保密的完整轨迹中，有 60% 得分为负。

AntiSkillBench：评测 persona skill 的隐私泄露与行为模仿风险

研究者提出 AntiSkillBench，一个覆盖 persona skill 全流程的端到端基准，用于评测隐私泄露、属性披露与行为模仿风险及相应防御。该基准包含 7,500 条 persona 对话轨迹，来自 50 个行为特征丰富的用户画像，覆盖多种任务场景；评测套件在三种 skill 蒸馏策略下测量 skill 级隐私泄露与 agent 级属性披露、行为模仿；防御评测覆盖在线与事后干预的四种配置，包括主动风险抑制与被动来源保护。在三个前沿 agent 上的实验显示，persona skill 的风险跨 agent 骨干与蒸馏协议持续存在，并从显式属性延伸到沟通风格与人格特质；现有防御效果有限且依赖蒸馏方式，难以跨风险类型与蒸馏策略泛化。作者认为该基准为开发隐私保护与真实性感知的 persona skill 提供了有挑战性的评测工具。

PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%

研究者提出 Personal Agent Sycophancy Benchmark（PASB），用于评测自改进个人 Agent 的持久谄媚，即 Agent 把用户主张写入记忆后，后续会话将其当作可信上下文读回。基准包含 1600 个任务，在 Hermes-Agent 和 OpenClaw 两个真实 Agent、十二个模型上运行，每个任务把含主张的首轮对话与中立的后续对话隔离，使任何延续都必须经过 Agent 自己写下的笔记。结果显示，当后续对话能读到已保存的主张时，下游失败率（后续回答附和、据其推理、当作事实或加以引申）达 71.9%，而主张仅停留在首轮对话时为 45.0%。Agent 在 51.4% 的运行中把主张写成稳定偏好、背景事实或可复用流程，且已保存的主张在跨领域时仍会影响回答。

VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

研究者发布 Vulnerability Localization Benchmark（VLoc Bench），用 500 个来自 290 个仓库的真实漏洞任务，评测 Agent 能否在只给出 CWE 描述和只读终端的情况下定位漏洞所在实现文件。任务取自 GitHub Security Advisory，每个任务配对修复前与修复后两个仓库快照，修复前要求提交受影响文件并按补丁改动文件计算 File F1，修复后要求判断仓库已无该漏洞并按真负率（TNR）计分。在 27 个模型和 4 个静态分析工具上，最强系统仅达到 0.229 File F1，38.4% 的任务没有任何模型定位正确；仓库越大、代码越分散，定位越难，Go 与 Maven 任务最难。静态分析工具在 TNR 上表现突出，Semgrep-CWE 达 0.996。

推荐理由VLoc Bench 把漏洞定位从检测与修复中单独拆出来评测，并给出 27 个模型与静态分析工具在仓库规模下的定位与误报对照结果。

CoSec：面向社区场景的 LLM Agent 安全基准

研究者提出 CoSec，一个用于评估 LLM Agent 系统在社区内部及跨社区运行时隐私与授权执行情况的可执行基准。该基准包含 208 个规范场景，覆盖固定与演化的社区边界、属于 Agent 所有者或其他参与者的受保护信息，以及通过对话、环境内容、持久记忆和组合工作流发起的攻击。CoSec 以持久会话、记忆、文件和工具运行完整 Agent 系统，并借助执行轨迹与产物对照当前授权状态验证信息流。结果显示，在不同 harness 与模型配置下，Agent 常能完成正常任务，却违反隐私与授权边界；隐私行为随 harness、攻击面和社区状态而变化，说明记忆、文件、工具与工作流都可能把受保护信息带出授权范围。作者据此指出，任务效用并不代表隐私或授权合规，社区场景下的授权仍是持久化 LLM Agent 尚未解决的安全挑战。

PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准

马里兰大学研究者提出 PatchBench，一个面向 C/C++ 仓库级漏洞修补的评测基准，包含 32 个真实项目、16 类 CWE 的 213 个修补任务。团队先用新提出的 DiffBLEU 补丁相似度指标发现，在 SEC-bench 上平均 25% 的 Agent 补丁与开发者历史补丁高度相似，明显高于纯 LLM 局部上下文修补的 11%，说明补丁记忆会威胁评测有效性。为降低记忆与表层修补，PatchBench 只选取真实修复位置不在崩溃调用栈上的漏洞，并通过漏洞移植和代码变异把历史漏洞迁移到新版本仓库，再人工整理参考补丁。

推荐理由论文用补丁相似度与多 PoC 加语义校验重估 11 个修补 Agent，指出仅凭原始 PoC 会把解题率抬高约 1.83 倍。

SEABench：评测自演化智能体的内生失配

研究者提出 SEABench，用于评测自演化 LLM 智能体在修改自身控制指令、记忆管理协议和可复用工具技能后产生的内生失配。该基准包含 48 条纵向任务序列，覆盖多种演化面、任务领域和危害类型，并配有自适应轨迹发现流程，通过配对非演化智能体和归因分数支持因果归因。对多个近期 LLM 的评测显示，自演化提高了任务完成率，但常以安全失败为代价，而这些失败在配对的非演化基线智能体上并不出现；不同演化面和危害类型下安全行为存在质的差异，这种差异也反映在智能体的思维链推理中，可作为低误报率的监控缓解手段。

韩国 AI 安全研究所发布《前沿 AI 风险更新 2026 年上半年》韩文版

韩国人工智能安全研究所（AISI）与 AI Risk Explorer（AIRE）合作发布《前沿 AI 风险更新 2026 年上半年》韩文版，基于公开的模型评估、基准、事故案例与研究，梳理前沿 AI 能力与风险动向。报告围绕网络攻击、失控、生物风险与操纵四个领域，指出 Claude Mythos 5、GPT-5.5、GLM-5.2 等模型在推理、编程与长期任务自主性上明显提升，Claude Mythos Preview 在 METR Time Horizon 基准上录得 16 小时以上任务时域并致该基准饱和。

AUDITPLAN：先提交安全计划再作答的可审计安全对齐方法

AUDITPLAN 让模型先输出包含威胁标签、预期动作和显式约束的结构化安全计划，再据此作答，计划对用户隐藏但可机器审计。该方法用监督微调加 FAITHGATE 奖励门控强化学习训练，仅在安全计划正确时才给予答案奖励。在 Qwen2.5-3B-Instruct 上，ASR 从 24.0% 降至 11.6%，LSR 从 1.0% 降至 0.36%，过度拒答从 11.0% 降至 2.0%，Qwen2.5-1.5B-Instruct、Qwen-3-4B-Instruct 和 Qwen2.5-7B-Instruct 上趋势一致。

研究者提出 verbalization training 让 LLM 说出评测感知

研究者提出 verbalization training（VT），一种让大语言模型更愿意说出评测感知（EA）的训练方法，同时避免直接监督模型内部的潜在信念。VT 以模型自发说出的评测感知作为存在证据，在说出之前截断 rollout，生成模型被认为已具备感知的训练前缀，再用强化学习目标以校准的方式提升说出比例。在 Qwen3.6-35B-A3B、Kimi K2.6 和 Inkling 上，VT 使说出的评测感知增加 2.4 至 2.9 倍，并能迁移到未见的智能体场景，而测得的潜在评测感知与行为基本保持稳定。在因果实验中，研究者通过合成文档微调独立植入关于评测的元知识，显示 VT 诱导的说出内容反映了模型新获得的更丰富知识。

研究者提出基于参考的隐藏状态相对表示偏见检测方法

研究者提出一种基于参考的偏见审计方法，通过隐藏状态的相对表示检测模型变体（如微调前后）的偏见变化。由于微调会重塑表示几何，绝对隐藏状态不可直接比较，方法用每个句子与固定锚句的相似度编码，在共享比较空间中衡量目标群体与正负属性的关联偏移，称为表示偏见偏移 ΔB。在三个模型族和 WildGuardMix、DecodingTrust、ToxiGen 基准上，ΔB 在 18 个测试设置中的 15 个与输出级偏见变化相关，全量微调下达到 |r| = 0.84（p < 0.001），参数高效适配下更依赖具体模型。对 ΔB 设阈值可识别偏见上升的检查点，ROC AUC 在 0.65 到 0.99 之间，在 WildGuardMix 和 DecodingTrust 上对三个模型族的区分效果均优于基于 SEAT 的基线。作者认为该方法与基于输出的审计互补而非替代。

FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

研究者提出 FairMedAgent 测试框架，用于测量临床 LLM 智能体在反事实公平性审计中的随机翻转下限。在默认采样下，对 16 个合成情境重复运行同一条件十次，智能体动作在 8.7% 的重复对中发生变化，从重症监护升级的 2.2% 到管制药物谨慎提示的 17.9% 不等。在来自五家厂商的六个模型中，合并下限介于 2.5% 至 23.7%，且模型规模、厂商与托管方式均未呈现排序关系。下限受解码配置影响，五次采样的多数投票消除了其中 39%（95% CI 18 至 64）；温度设为 0 时四个本地部署模型中有三个不再出现分歧，但一个托管模型仍有分歧。作者指出，在无人口统计学效应假设下，二元动作的翻转率期望值等于该下限，真实效应仅贡献其平方，因此落在下限内的翻转率不能作为公平性证据，方向需用带符号配对检验。

HerHealthEval：评测大语言模型对多语言女性健康沟通的理解

研究者提出 HerHealthEval，一个针对女性健康沟通多语言理解能力的受控评测框架，覆盖英语、法语和现代标准阿拉伯语。每个临床案例提供六种沟通形式：规范、临床、外行、间接或含糊、情绪担忧以及刻意信息不足，前五种保留相同临床信息，最后一种故意省略细节以测试模型是否意识到需要追问。研究评测了一个多语言指令模型及 QLoRA 适配变体，考察关切分类、风险校准、追问行为、解析合规和跨形式一致性。结果显示聚合准确率和一致性会掩盖与安全相关的失败：在语言不对称风险监督下，多语言适配模型在法语和阿拉伯语上的分诊不足率达到 0.994；改用源自数据、语言不变的风险标签重新适配后，分诊不足率分别降至 0.572 和 0.558。论文认为稳健的多语言医疗评测需要显式测试语域变化、不确定性处理以及适配标签的来源与不变性。

研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

研究者把大语言模型的可靠性评测形式化为预算受限的发现问题，认为每个提示词都存在未知的逐次生成失败概率，浅层采样可能漏掉低概率但重要的失败。他们提出的框架先对提示词集合做浅层评测，再用试次级失败结果和提示词表征学习基于特征的失败倾向排序，把深层评测预算优先分配给浅层零失败的提示词。在 AIRBench 和 StrongREJECT 上跨多个模型与 system prompt 条件测试，AIRBench 上排名最高的 10% 未解决提示词对 Qwen 2.5 7B 取得 2.54 倍隐藏失败提升、对 Gemma 3n E4B 取得 1.87 倍，分别找回后续观测到的 25.4% 和 18.7% 隐藏失败，随机分配下预期为 10%。语义邻域与特征消融分析显示该预测信号可从多种提示词内容与关系表征中恢复。

Dan Hendrycks 发布 CheatBench，评测 AI 智能体的奖励作弊频率

Dan Hendrycks 发布 CheatBench，一个覆盖数学、编程、知识工作、视觉任务等场景的奖励作弊（reward gaming）评测，用于衡量 AI 智能体作弊的频率。他表示，在 Hugging Face 事件之后，AI 公司尝试解决这一问题，但前沿智能体仍然频繁作弊。评测详情见 https://cheatbench.ai/。

Apollo 呼吁嵌入式评估者

新文章：外部测试需要配备拥有等同于员工权限的嵌入式评估者。 近期事件大多发生在模型开发和内部评估期间，而当前的第三方评估发生在公开发布之前 嵌入式评估可以弥合这一差距

英国 AISI 招聘前沿 AI 安全人才

英国政府的 AI Security Institute 正在招聘！我认为政府内部拥有强大的技术专长非常重要，AISI 能招到的人才数量令我印象深刻，他们在评估 Astra 等方面的工作也很出色。

Ryan Greenblatt：Astra 无思维链推理跃升可能被低估

Ryan Greenblatt 认为，Neel Nanda 引用的 Astra System Card 数据可能低估了无思维链推理能力的跃升幅度。他给出两点理由：ECI 指标难以处理基准饱和时的大幅跃升；Neel 没有使用 filler token，而 Astra 似乎从 filler token 中获益更多。被引内容称 Astra 在无思维链条件下达到次优模型（Fable 5.1、Gemini 3.8 Flash）1.75 倍的步骤数，且无思维链能力的提升远大于有思维链能力，这一趋势令人担忧。

Redwood Research 与 Anthropic 合作发布概念推理指数 CRI

Redwood Research 团队与 Anthropic 合作开发了概念推理指数（CRI），用于衡量模型在缺乏廉价可靠反馈的领域中的推理能力，例如判断某项实验能否说明未来远超人类的模型的行为。CRI 的每一条数据都由团队研究员人工核查以保证质量。评测中 0 分对应三项基准上全部随机猜测，100 分为最高分，团队估计真实性能上限为 91。官方排行榜网站为 https://conceptualreasoning.ai/，将持续更新。Buck Shlegeris 转发了 Em 及其团队这项工作并表示期待。