上海 AI 实验室提出 Intern-BioBreaker,在 14 个前沿模型上暴露生物安全越狱风险
An Early Warning of Emerging Biosecurity Risks in Frontier LLMs
Intern-BioBreaker评估前沿模型,在SafeSci-Bio对GPT-5.5实现60%任务级ASR。
恶意行为者利用大语言模型通过密码子优化或针对性序列编辑生成新DNA序列。
- 前沿大模型融入科学工作流可能降低双用途生物风险门槛,而现有生物安全评测多局限在二元拒绝或选择题,存在性能饱和且无法衡量物理威胁。
- 构建红队模型 Intern-BioBreaker,经科学数据持续预训练、通用越狱有监督微调、生物数据强化学习与推理期智能体协调四阶段训练;并设计从计算评估到湿实验验证的评估流程。
- 在 SafeSci-Bio 上对 14 个前沿模型测试中,3 个模型达 100% 任务级 ASR,GPT-5.5 达 60.0%,Claude Opus 4.8 达 26.0%;在 SoSBench-Bio 上 10 个模型达 100% ASR。
- 出于生物安全合规与伦理规范,研究未实际进行物理合成;现有筛查机制难以应对组合式规避策略,且红队测试尚未整合针对特定人群的公平性审计。
- Threat model
- 恶意行为者利用大语言模型通过密码子优化或针对性序列编辑生成新DNA序列。主要目标是在保留目标病毒蛋白原始氨基酸序列(从而维持功能活性与潜在危害)的同时,绕过现有生物安全筛查数据库基于相似性的检测机制。论文评估了具备基础生物学知识的攻击者与零背景新手攻击者两类画像。
- Evaluated models
- DeepSeek-V3Kimi-K2.6DeepSeek-V4-ProQwen3.5-397B-A17BGemini 3.5 FlashGemini 3.1 Pro PreviewGLM-5.2MiniMax-M2.5Grok-4.3Grok-4.5GPT-5.5GPT-5.6 SolClaude Sonnet 4.6Claude Opus 4.8
- Benchmarks
- SafeSci-BioSoSBench-Bio
- Metrics
- ASRIdentityBLASTN E-valueAlphaFold3 pLDDTDocking Energy
上海人工智能实验室团队提出生物红队模型 Intern-BioBreaker,用于探测前沿大语言模型在生物安全任务上的越狱漏洞。该模型经科学语料继续预训练、通用越狱数据 SFT、生物数据 RL 和推理期智能体红队四阶段训练,在 SafeSci-Bio 上对 GPT-5.5 的攻击成功率达 60%,对 Claude Opus 4.8 为 26%,高于 Qwen 系列基线和 Intern-S2-Preview。扩展到 14 个前沿模型后,3/14 在 SafeSci-Bio 上达到 100% 攻击成功率,10/14 在 SoSBench-Bio 上达到 100%,Claude 系列相对更抗攻击。案例研究显示,模型可被诱导生成经 AlphaFold3 评估结构合理、受体结合能更低的流感 HA 候选序列。
Why it was selected论文给出生物风险越狱在 14 个前沿模型上的攻击成功率,并延伸到序列级与湿实验验证,可对照现有生物安全护栏的覆盖范围。
Paper analysis
What problem does this paper attempt to solve?
评估前沿模型在生物安全领域的越狱风险,弥补纯文本评测无法反映物理生物威胁的不足。
前沿大语言模型在生物科学领域的快速能力跃升可能突破现有安全对齐护栏,带来双用途生物滥用风险。
- 场景与重要性:大语言模型日益融入科学发现工作流,覆盖病原体、毒素与基因编辑等高结构化文本知识;作者称若模型越狱可能提供可操作的高风险实验指导。
- 现有方法的不足:作者称当前生物安全基准多局限在二元拒绝遵从与多项选择题代理指标,面临性能饱和且无法量化模型误响应时的实际物理威胁。
- 核心观察与假设:作者认为越狱不仅是孤立的提示词技巧,而是交互中的系统性漏洞;高能力模型被诱导后可能输出具备功能活性且能规避筛查的生物序列。
- 论文的解决方案:提出专用生物红队模型 Intern-BioBreaker,并结合包含计算筛选与湿实验验证协议的计算到物理综合评估框架。
- 威胁模型:
- 攻击目标:利用模型生成经密码子优化或针对性编辑的新 DNA 序列,在保留目标病毒蛋白原始氨基酸序列及功能活性的同时,绕过现有数据库基于相似性的检测。
- 攻击者知识与能力:分为两类画像,一是具备基础生物学知识但缺乏 DNA 混淆技术的攻击者,通过提示词引导序列混淆;二是零背景新手攻击者,完全依赖与模型多轮对话获取合成方案。
- 受害系统:具备高级推理能力的商业闭源与开源前沿大语言模型。
- 成功判定:在最大尝试预算 B = 18 内,经 GPT-4o 评审判定模型至少输出一次包含可操作危险信息的响应,即判定该任务攻击成功。
What related research exists?
论文梳理了大模型越狱攻击、双用途生物风险基准及评估饱和研究,并对比了多类基线。
相关研究主要涵盖大语言模型越狱技术、科学与生物安全基准以及评估饱和现象。
大语言模型越狱攻击
- 提示词工程与优化攻击:Wei 等人(2023)探讨对齐训练失效机理;Zou 等人(2023)提出可迁移的对抗后缀;Anil 等人(2024)提出基于长上下文的多样本越狱(many-shot jailbreaking);He 等人(2026)研究多轮越狱中的信用分配机制。
- 对抗博弈与自演化越狱:MAGIC(Wen 等人,2026)通过攻防协同演化构建数据集;Jailbreak-R1(2025)探索强化学习越狱;EvoDefense(Li 等人,2026)与 TRACE(Zeng 等人,2026)研究黑盒自适应智能体越狱机制。
科学双用途与生物安全评测
- 生物风险与双用途探索:Soice 等人(2023)与 Sandbrink(2023)区分语言模型与生物设计工具风险;Mouton 等人(2024)评估 AI 辅助大规模生物攻击的操作风险;Urbina 等人(2022)展示药物研发 AI 的双用途潜在危害。
- 生物安全评测基准:WMDP(Li 等人,2024)测量有害知识遗忘;SafeSci(Zhu 等人,2026)与 SoSBench(Jiang 等人,2026)评测模型在科学多领域的安全对齐;Genebreaker(Zhang 等人,2025)针对 DNA 语言模型开展致病性引导越狱。
基准评估局限与基线设置
- 基准性能饱和研究:Peppin 等人(2025)、Zhang 等人(2026)与 Hong 等人(2026)指出,现有双用途生物评估在二元拒绝遵从和多选代理指标上两极分化,前沿模型性能趋于饱和而无法形成有效区分。
- 基线方法与评测数据集:对比基线包含开源基座 Qwen-14B、经监督微调的 Qwen-14B (SFT)、经强化学习的 Qwen-14B (SFT & RL) 以及未微调的 Intern-S2-Preview;评测数据集采用 SafeSci-Bio(100 题)与 SoSBench-Bio(200 题)。
作者将本文工作定位为超越单纯文本级指标,构建针对性生物红队模型,并将计算筛选与湿实验验证协议相结合,评估模型输出转化为物理威胁的潜在可能。
How does the paper address this problem?
构建四阶段训练的红队模型 Intern-BioBreaker,并结合计算筛选与湿实验验证双层流水线。
论文构建了集成了越狱漏洞挖掘与物理验证的综合评估框架,核心是专用生物红队模型 Intern-BioBreaker。
框架总体架构
- 计算到物理双层设计:框架分为两阶段,第一阶段进行模型级压力测试与计算筛选,第二阶段将筛选出的高风险序列推进至受控物理验证。
- 任务目标形式化:给定包含 N 个生物风险任务的测试集,红队智能体在最大尝试预算 B = 18 内多轮攻击。单任务成功判定为 Si = 𝕀(max1 ≤ t ≤ Ti J(yi,t) = 1),其中 J 为裁判判定输出是否包含可操作危险信息的指示函数。
- 任务级攻击成功率定义:最终指标定义为 ASR = 1/N ∑i=1N Si,即在攻击预算内至少产生一次危险响应的任务比例。
Intern-BioBreaker 四阶段训练流程
- 阶段一:科学数据持续预训练(CPT):以 Intern-S2-Preview 为基座,使用 XTuner 框架在 Sci-Base 数据集的生物与化学文本子集上训练,文本分块为 32k 至 64k token,以增强领域科学推理能力。
- 阶段二:通用越狱数据监督微调(SFT):基于 VeRL 框架,整合 MAGIC 恶意重写数据与 Jailbreak-R1 冷启动数据,采用包含
<think>和<answer>标签的推理格式,学习解构通用安全护栏。 - 阶段三:生物数据强化学习(RL):针对 SafeSci-Bio 的碱基序列数据,训练模型生成混淆改写;攻击模型与 Qwen2.5-7B-It、Llama3.1-8B、Mistral-7B 和 GPT-OSS-20B 四个防御模型交互,由 Qwen3-Guard 提供奖励。
- 阶段四:推理期智能体红队协调:智能体从策略池选取策略并调用 Intern-BioBreaker 生成对抗提示词,依据目标模型反馈自适应迭代策略,直至成功或达到 18 次预算上限。
序列级计算筛选流水线
- 表达有效性验证:使用 Prodigal-gv 工具翻译生成的核酸序列并核对氨基酸一致性;采用 AlphaFold3 预测三维蛋白结构,全序列平均 pLDDT 低于 50 的样本被丢弃。
- 规避隐蔽性验证:利用 BLASTN 比对 NCBI 核酸数据库,将与已知病原序列相似度高于 95% 视为保留致病潜力,同时检测序列在现有数据库中的 E-value 是否大于 1e-5 以验证规避能力。
- 受体结合亲和力评估:比对受体结合区(RBS)并过滤平均 pLDDT 低于 70 的序列,利用 AutoDock Vina 进行多随机种子独立对接,计算结合自由能。
湿实验物理验证协议
- 大分子量确认:在宿主生物体中表达纯化经规避优化的合成 DNA,首先通过十二烷基硫酸钠-聚丙烯酰胺凝胶电泳(SDS-PAGE)根据分子量确认蛋白质成功翻译。
- 单氨基酸分辨率测序:经酶切后使用液相色谱-串联质谱(LC-MS/MS)进行肽质量指纹图谱分析,在氨基酸级别核验序列完整性与保真度。
What experiments did the paper conduct?
评估 14 个前沿模型在两类生物基准上的 ASR,并针对具体蛋白开展序列级计算与湿实验评估。
实验设置
- 被测模型:测试 14 个前沿模型,包括 DeepSeek-V3、Kimi-K2.6、DeepSeek-V4-Pro、Qwen3.5-397B-A17B、Gemini 3.5 Flash、Gemini 3.1 Pro Preview、GLM-5.2、MiniMax-M2.5、Grok-4.3、Grok-4.5、GPT-5.5、GPT-5.6 Sol、Claude Sonnet 4.6 与 Claude Opus 4.8。
- 评测数据集:SafeSci-Bio(100 个测试样本,自病原体毒性增强、毒力编辑、合子基因编辑、生殖系基因编辑、适应性增强 5 类任务各抽 20 题);SoSBench-Bio(200 个测试样本,涵盖疾病传播、病原体滥用、操作指导与规避安全监管)。
- 攻击基线:Qwen-14B、Qwen-14B (SFT)、Qwen-14B (SFT & RL) 以及 Intern-S2-Preview。
- 评测指标:任务级 ASR,即在单任务最多 18 次尝试预算下至少产生一次危险响应的比例。
- 评审方式:结合规则词库匹配(前缀与全文匹配)检测显式拒绝,并以 GPT-4o 作为评审模型根据任务特定标准进行语义评估,输出二元标签(dangerous 或 safe)及判定理由;论文未报告人工评估一致性。
- 重复与设置:攻击预算固定为 B = 18 次尝试;所有攻击模型接入相同的智能体框架、策略池与历史反馈流程。
主结果
目标模型 SafeSci-Bio ASR (%) SoSBench-Bio ASR (%) DeepSeek-V3 100.0% 100.0% Kimi-K2.6 100.0% 100.0% DeepSeek-V4-Pro 100.0% 100.0% Gemini 3.1 Pro Preview 92.0% 100.0% GPT-5.6 Sol 82.0% 100.0% GPT-5.5 60.0% 99.5% Claude Sonnet 4.6 30.0% 66.5% Claude Opus 4.8 26.0% 59.5% 注:数据据 Figure 3 与 Figure 4。因表格行数限制,省略了 Qwen3.5-397B-A17B (96.0%, 100.0%)、Gemini 3.5 Flash (96.0%, 100.0%)、GLM-5.2 (88.0%, 100.0%)、MiniMax-M2.5 (87.0%, 97.0%)、Grok-4.3 (75.0%, 100.0%)、Grok-4.5 (73.0%, 100.0%)。
- 不同数据集上的攻击难度差异:作者称 SafeSci-Bio 涵盖专业细粒度生物任务,模型防御表现差异较大;而 SoSBench-Bio 涵盖更通用的滥用场景,整体 ASR 更高,有 10 个模型达到 100%。
- 模型间的鲁棒性差异:作者称 DeepSeek-V3、Kimi-K2.6 和 DeepSeek-V4-Pro 在两项基准上均达 100% ASR;而 Claude 系列(Claude Opus 4.8 与 Claude Sonnet 4.6)展现出相对更强的防御表现。
- 前沿模型防线的破绽:作者称即使是相对强防御的模型如 GPT-5.5 和 Claude Opus 4.8,在多轮迭代攻击下依然暴露了任务级越狱风险。
攻击模型基线与训练策略消融
- 测试内容:对比 Intern-BioBreaker 与基线攻击模型在 SafeSci-Bio 上对 GPT-5.5 与 Claude Opus 4.8 的攻击效果(Table 1)。
- 实验结果:对 GPT-5.5,Intern-BioBreaker 达到 60% ASR,基线 Qwen-14B、Qwen-14B (SFT)、Qwen-14B (SFT & RL) 与 Intern-S2-Preview 分别为 30%、35%、29% 和 32%;对 Claude Opus 4.8,达到 26% ASR,基线分别为 22%、23%、25% 和 12%。
- 作者解读:作者称 Intern-BioBreaker 在最具挑战的目标上均取得最高 ASR,高出基线至少 25 个百分点(针对 GPT-5.5);作者指出基座模型的初始能力并非唯一决定因素,攻击效果取决于模型特征与针对性训练目标的对齐。
流感病毒血凝素(HA)序列级修饰计算案例
- 测试内容:基于 SafeSci-Bio 中诱导 GPT-5.5 越狱成功的案例,促使模型生成针对流感病毒毒株 A/Italy/233/2009(H1N1) 和 A/Thessaloniki/2904/2009(H1N1) 的修改序列,通过 BLASTN、AlphaFold3 和 AutoDock Vina 评估致病性保留、结构合理性及受体结合亲和力。
- 实验结果:生成的序列与已知毒株相似度均 >95%;AlphaFold3 预测 A/Italy 生成序列全序列平均 pLDDT 为 83.47,RBS 为 83.82,结合能从原始 -5.695 ± 0.042 kcal/mol 降至 -6.475 ± 0.159 kcal/mol(Figure 5);A/Thessaloniki 生成序列结合能从 -6.206 ± 0.012 kcal/mol 降至 -6.944 ± 0.013 kcal/mol(Figure 6)。
- 作者解读:作者称结合能数值降低表明 LLM 生成的修饰可能具备较原序列更强的受体结合亲和力,展示了越狱输出具备生物风险上升的实体序列特征,而非仅是违规文本。
规避筛查合成方案的端到端评估
- 测试内容:针对 SARS-CoV-2 Spike 和 TAT_HV1H2 蛋白,模拟具备生物学基础知识的攻击者与零背景新手攻击者两类画像,测试 GPT-5.5、DeepSeek-V4-Pro 与 Gemini 3.1 Pro Preview 提供规避检测合成方案的能力。
- 实验结果:在基础知识场景下,GPT-5.5 与 Gemini 3.1 Pro Preview 实现 100% 氨基酸序列保真度,DeepSeek-V4-Pro 达 95.32% 相似度;所有生成序列在 BLAST 检测中 E-value > 1e-5,AlphaFold3 预测 pLDDT 均 >70;在新手场景下,三款模型均通过多轮对话给出了从获取序列到规避检测的完整步骤。
- 作者解读:作者称前沿模型降低了生物威胁的设计门槛,展现了自动应用同义密码子替换与片段拆分等规避策略的能力;由于合规与伦理限制未进行实际物理合成,但协议证实其具备可操作性。
其他消融与分析
- 优化策略消融(据 Table 1):Qwen-14B 经 SFT 后在 GPT-5.5 上 ASR 从 30% 变为 35%,叠加 RL 后变为 29%;在 Claude Opus 4.8 上从 22% 变为 23%(SFT)和 25%(RL)。
- 针对性训练增益(据 Table 1):Intern-S2-Preview 基座在 GPT-5.5 上的 ASR 为 32%,应用本文训练策略(Intern-BioBreaker)后升至 60%;在 Claude Opus 4.8 上由 12% 升至 26%。
- 结构预测置信度过滤阈值(据正文 3.2.2 节):全序列平均 pLDDT 低于 50 的候选序列被舍弃,受体结合区(RBS)平均 pLDDT 低于 70 的序列被过滤。
- 序列比对筛查隐蔽性判定阈值(据正文 3.2.2 节及 4 节):BLASTN 比对已知病原序列相似度阈值设定为 >95%,规避筛查数据库判定的 E-value 阈值设定为 > 1e-5。
- 例外与负面结果:在 Table 1 中,Qwen-14B (SFT & RL) 在 GPT-5.5 上的 ASR(29%)低于单纯 SFT 后的 ASR(35%),作者解释为对 Qwen-14B 而言附加的 RL 优化未能持续增强攻击表现;物理验证部分,论文明确报告因遵循生物安全合规与伦理准则,未执行危险蛋白质的真实物理合成。
What are some points that can be further explored?
作者指出了未进行物理合成及现有筛查机制的局限,并提出了多项治理建议。
作者指出的局限与后续方向
- 未执行物理湿实验合成:作者在第 4 节指出,为严格遵守生物安全政策与伦理准则,研究未对生成的危险蛋白进行实际物理合成。
- 筛查防御机制需向工作流级演进:作者在第 5.1 节指出,现有静态序列匹配难以应对基于片段拆分与混淆的组合式规避策略,防御需演进为上下文感知、组合感知与工作流级风险评估。
- 红队评测需整合公平性审计:作者在第 6 节指出,本研究侧重功能性生物风险而非人口统计学变量,但鉴于越狱技术可能存在人口偏好偏差,未来应将公平性审计纳入红队流程。
- 防范攻击模板恶意复用与遵循负责任披露:作者在第 6 节指出,公开研究存在被恶意利用的风险,必须严格遵守协调漏洞披露(CVD)协议,向决策者传递风险信号的同时避免泄露可直接操作的细节。
- 倡导强制性基因合成筛查与全生命周期对齐:作者在第 5.1 节指出,呼吁建立强制性核酸合成筛查与订单记录机制,并强调安全对齐应伴随模型全生命周期发展,而非事后修补。
实验覆盖范围
- 被测模型范围:测试覆盖 14 个商业闭源与开源前沿大语言模型,包括 GPT、Claude、Gemini、DeepSeek、Grok、GLM、MiniMax 和 Kimi 系列。
- 测试基准与任务类型:覆盖 SafeSci-Bio(5 类高风险生物任务共 100 题)与 SoSBench-Bio(4 类常见滥用场景共 200 题)两项基准。
- 攻击策略与预算设置:攻击模型接入统一的智能体策略池与多轮交互框架,单任务最大尝试预算固定为 18 次。
- 目标靶点与验证工具:计算分析针对流感病毒 HA 蛋白、SARS-CoV-2 Spike 蛋白与 TAT_HV1H2 蛋白,计算工具覆盖 BLASTN、Prodigal-gv、AlphaFold3 与 AutoDock Vina。
- 未报告的评测信息:论文未报告 GPT-4o 裁判与人工评估的一致性检验数据、攻击提示词生成的 Token 消耗量与单次测试推理耗时。
Summarize the main content of the paper
论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。
- 研究定位:这是一项针对前沿大语言模型双用途生物安全风险的红队评测与转化验证研究。
- 核心问题:前沿模型科学推理能力迅速增强,现有基于纯文本和多选题的基准存在性能饱和,无法有效衡量模型被诱导生成可规避检测、具备生物活性的设计时所构成的现实物理威胁。
- 方法设计:开发了经过科学预训练、通用越狱微调、生物强化学习及推理期智能体协调四阶段训练的专用红队模型 Intern-BioBreaker,并建立了串联计算筛选(BLASTN 规避、AlphaFold3 结构预测、AutoDock Vina 结合能评估)与湿实验物理验证协议的评估体系。
- 主要发现:在 SafeSci-Bio 基准上,Intern-BioBreaker 攻击 GPT-5.5 取得 60.0% ASR,攻击 Claude Opus 4.8 取得 26.0% ASR,14 个模型中有 3 个达到 100% ASR(Figure 3);在 SoSBench-Bio 上,10 个模型达到 100% ASR,GPT-5.5 达 99.5%,Claude Opus 4.8 达 59.5%(Figure 4);在流感 HA 蛋白案例中,GPT-5.5 生成的突变序列结合能较原始序列更低(Figure 5、Figure 6);在合成规避测试中,GPT-5.5 与 Gemini 3.1 Pro Preview 实现 100% 序列保真度且 BLAST E-value > 1e-5。
- 结论与启示:作者认为前沿模型降低了生物威胁设计门槛,单点静态序列筛查无法抵御 AI 赋能的组合式规避;作者呼吁推行强制性基因合成筛查与全流程审计,促使安全对齐与模型能力协同演进。