Skip to content

Translation in progress Some entries still include text in the original language.

Red teaming · News

Oct 12 · Monday

Red teaming · News

Latest publications and developments
Sep 2Wed
  1. Goodfire Research · 55

    Goodfire 提出模型差分放大方法,用于发现微调后罕见不良行为

    Goodfire Research 提出模型差分放大(model diff amplification,后称 logit diff amplification)方法,通过 logits_amplified = logits_after + α(logits_after – logits_before) 采样下一个 token,放大微调前后模型的差异,从而用更少 rollout 暴露罕见不良行为。在涌现性错位案例中,用不同比例不良医疗建议数据微调 Llama 3.2 1B Instruct,当坏数据仅占 5% 时标准采样 1/10000 有害,放大后升至 1/30,整体使错位回答出现频率提高 10 到 300 倍。

Jul 31Fri
  1. Thinking Machines · 43

    Thinking Machines 提出开源权重模型的安全发布路径

    Thinking Machines 发布文章阐述开源权重模型的安全发布路径,并说明其近期开源的 Inkling 与 Inkling-Small 的评估依据。文章主张安全发布取决于模型本身与所处生态:对模型做稳健安全测试,并研究能否通过预训练数据筛选或后训练干预把危险能力与通用智能解耦;对生态则通过分阶段发布、支持防御方和与安全研究者合作来提升韧性。Inkling 的评估包括覆盖 CBRN 与攻击性网络安全等领域的内部评测、四家外部机构的红队测试(Scale AI、Handshake AI、FAR.AI、Apollo Research),以及去除拒答行为的对抗微调实验;结果显示两个模型未扩展危险能力前沿,也未显著扩大相关能力的可及性。文章还提出从受监控 API 访问、托管微调到开放权重的分阶段路径,并计划发布更详细的评估、准入标准与停止条件框架,同时将推出 Tinker 安全资助。

Jul 29Wed
  1. FAR.AI · 15

    FAR.AI 首尔对齐研讨会 2026:AI 安全需要可信测量与工程标准

    FAR.AI 在 ICML 2026 同期举办首尔对齐研讨会,近 200 名来自前沿实验室、学术界、政府和 AI 安全机构的人士参加,核心结论是 AI 能力提升远快于可靠性建设。FAR.AI 红队目前很少在前沿闭源模型上找到端到端越狱,但发现除一层外所有防护层都会失效,单一新攻击手法即可击穿整个系统。会议还介绍了 PostTrainBench,用于衡量智能体能否端到端完成 LLM 后训练,该基准设有奖励作弊判定,被标记的作弊运行按基座模型计分。

Jul 23Thu
  1. AI Security Institute (AISI) · 29

    AI 安全研究所红队测试控制监控器

    “控制监控器”能抓住失控智能体的行为吗? 前沿开发者正在“监控器”的注视下部署 AI 智能体,这是一个用于标记危险行为的独立 AI。我们新成立的控制红队一直在对这些监控器进行压力测试,以便在失控智能体可能发现漏洞之前找到它们。🧵

May 11Mon
  1. FAR.AI · 24

    ControlConf 2026:什么是 AI 控制,这一领域如何成长?

    FAR.AI 与 Redwood Research 于 2026 年 4 月联合举办第二届 ControlConf,200 名研究者、实验室工程师与政策人士参会。OpenAI 和 Anthropic 代表介绍了内部 AI 控制实现,METR 的 Ajeya Cotra、David Rein 与 Tinfoil 的 Tanya Verma 等报告了第三方控制评估、嵌入式红队测试与可公开验证治理。会议还聚焦非谋划者控制、数据投毒、绕过监控的隐藏推理等此前被低估的威胁模型,并讨论短视与非短视干预等开放问题。

Mar 23Mon
  1. Anthropic Alignment Science · 49

    Anthropic 用真实部署资源提升编码审计真实性

    Anthropic 对齐科学团队提出 realism win rate 指标,用 LLM 裁判在成对比较中判断审计记录与真实部署记录哪个更真实,以此衡量自动化审计的真实性。研究为 Petri 审计智能体提供真实的 system prompt、工具定义和代码库资源,在 5 个奖励作弊审计场景中把平均真实度胜率从 4.6% 提升到 32.8%,且未显著改变奖励作弊率。在良性编码任务上资源同样稳定提升真实性,但在涉及关停抵抗的高风险场景中,改写种子指令比提供资源更能提升真实性,说明任务本身而非环境是主要瓶颈。该功能已上线 Petri。

Dec 11, 2025Thu
  1. Thomas Read · 48

    UK AISI 发布首篇论文:用审计对抗游戏检测模型故意藏拙

    UK AISI Model Transparency 团队发布首篇论文,研究能否识别刻意隐藏自身能力的 AI 模型。团队搭建了一个审计对抗游戏:红队构造存在条件性表现不佳(故意藏拙)的模型,蓝队尝试将其识别出来,结果显示红队获胜。团队成员 Thomas Read 表示,团队构建了一批条件性表现不佳的模型生物,并测试了多种检测技术在对抗环境下哪些有效。

Jul 22, 2024Mon
  1. FAR.AI · 43

    FAR.AI 研究:对抗鲁棒性会随模型规模提升吗

    FAR.AI 系统研究了不同规模 LLM 的对抗鲁棒性,发现未做对抗训练的模型鲁棒性随规模提升很弱且噪声很大,而对抗训练后规模效应明显。研究用 Pythia 系列模型(7M 到 1B 参数)替换 unembedding 层为分类头,在 IMDB、Spam、PasswordMatch、WordLength 四个二分类任务上微调,并用 GCG 和 RandomToken 两种对抗后缀攻击各追加 10 个 token 进行评估。未防御模型虽整体上越大越鲁棒,但训练 checkpoint 和随机种子带来的波动可超过模型规模翻倍甚至十倍的影响。对抗训练后,更大模型样本效率更高、收敛到更低的攻击成功率,且对更强或不同方法的攻击出现鲁棒性迁移,但迁移只在足够大的模型上成立。作者指出这只是初步结果,仅覆盖两个数量级,未来将扩展到生成任务和前沿模型。

You have reached the end