烹饪风险：大语言模型食品安全风险的基准测试与降低

现有 LLM 与通用护栏缺少面向食品危害的对齐，可能给出会造成现实伤害的操作指导。

• 出现场景：作者称 LLM 已用于备餐、储存、健康指导与食品设计；错误指导可致污染、食源性疾病或过敏。Figure 1 引 PwC 2025 调查：膳食规划 47%，个性化营养 45%，食品预算 41%，选“以上皆非”的为 15%。
• 现有不足：作者称对齐多针对仇恨言论、恶意软件和色情，未系统覆盖领域危害。通用策略护栏主要拦截显式有害查询，缺少识别藏在看似无害请求中的食品风险所需粒度与数据。
• 作者观察：作者认为不安全建议可以显得实用且良性，同时违反温度控制、交叉污染预防、过敏原处理或腐败管理；没有明显有害意图不等于没有风险。
• 本文提出：作者提出 FoodGuardBench（作者称首个全面基准，含 3,339 条锚定 FDA 框架的基础查询）、可扩展对抗查询生成流程，以及微调得到的护栏 FoodGuard-4B。
• 威胁模型：
  • 目标：模型仍须为普通用户提供有帮助的食品协助；对抗用户则索取违反 FDA 食品安全规范、可用于造成现实伤害的指导。
  • 知识：AutoDAN 在白盒模型上优化提示后再迁移；PAP 以社会说服探测黑盒模型。论文未把整体设定写成单一 white-box 或 black-box。
  • 能力：对抗用户可提交恶意查询，并很可能使用越狱，以绕过内部安全对齐或外部护栏。
  • 受害系统：提供食品相关协助的 LLM，以及作为独立输入输出审核层的护栏。

作者在 §2 把相关工作分成领域安全、越狱和护栏，并用 Figure 3 对比已有基准。

领域安全与食品任务

• 相邻领域：作者列举医学多智能体（Chen et al., 2025）、SOSBENCH（Jiang et al., 2026）、化学安全（Zhao et al., 2024）、实验室安全（Zhou et al., 2024）等，并称物理、医学、化学、心理、药理和实验室已有安全研究，食品领域风险仍缺少探索。
• 食品侧工作：作者写该领域需要分子与感官属性（Lee et al., 2023）、隐含约束（Mizrahi and Shahaf, 2021）和政策法规（Fung et al., 2018）。文档任务包括 FoodSafeSum（Bakagianni et al., 2025b）等；作者称用户侧安全风险探索较少。

越狱攻击

• 封装有害指令：作者把 GCG（Zou et al., 2023）、AutoDAN（Liu et al., 2024）、PAP（Zeng et al., 2024）、DeepInception（Li et al., 2024b）等放在一组，称越狱成功对指令领域高度敏感。
• 错配泛化：作者引 Wei et al. (2023b)、Yong et al. (2023)、Lv et al. (2024) 等，称先前工作把恶意提示移到低资源语言、叙事或代码/数学等分布外领域。作者把本文与依赖非自然语言变换的做法分开，改为考察食品领域内在的对齐稀疏。

护栏

• 独立审核层：作者称护栏不改底层权重。被讨论的包括 Llama Guard（Inan et al., 2023）、Qwen3Guard（Zhao et al., 2025a）、NeMo Guardrails（Rebedea et al., 2023）和 ThinkGuard（Wen et al., 2025）。作者称它们多按通用安全策略微调，对领域风险缺少稳健防御，因此本文做食品科学专用护栏。

基线与基准

• 实验基线：鲁棒性实验用 AutoDAN 与 PAP；护栏分布外测试用 DeepInception。护栏对照为 Table 2 的 LLaMA3.1-8B、Qwen3-8B、LLaMA-Guard3-8B、LLaMA-Guard4-12B、Qwen3Guard-4B、Qwen3Guard-8B。
• 基准对照：Figure 3 中 AdvBench 与 RedTeam-2K 为通用领域、无 seed policy；SciSafeEval 覆盖化学、生物、医学、物理，有 seed policy；SOSBench 另含药理、心理，无 seed policy；FoodGuardBench 为食品科学，有 seed policy。作者称本文 seed policy 更严、更细，并做了现实适用性人工复核。作者称 Figure 4 的 t-SNE 显示本数据集领域与现有基准互补；文本未保留簇的位置，无法核对是否分开。

作者将本文定位为测量并补上食品领域的对齐稀疏，而不是用非自然语言变换去打通用对齐。

作者用 FoodGuardBench 评测食品领域的安全与鲁棒性，并用 FoodGuard-4B 做不改底层权重的审核。

分类与查询来源

• 八类危害：温度控制、污染、卫生、储存、制备、过敏原、虫害控制、用水安全（§3.1）。作者称这样可以按危害类型分析成败，而不只做安全/不安全的汇总。
• 种子规则：356 条 seed policy，来自 FDA 食品规范与常见操作原则。§3.2.1 另写污染、温度控制、储存、清洁与卫生、交叉接触等短规则。论文未说明这组说法与八类如何对应。
• 两类意图：每条种子由 GPT-5 生成 5 条查询。良性查询面向烹饪、储存、复热、清洁或食材处理，作者称不应仅因话题敏感就过度拒绝。恶意查询是对抗用户把模型当作伤害性信息向导的基线问题。

质检与规模

• 人工抽检：种子筛选与查询生成各抽 100 条。种子中 98% 被判对现实实践有实用价值；查询中超过 90% 通过复核。作者称由此保证良性提示自然，恶意提示明确违反种子规则、应当被拒绝。
• 去重：沿用 RedTeam-2K 的做法，用 all-MiniLM-L6-v2 去掉近重复。2,339 条 vanilla 有害查询的平均语义相似度为 0.35，作者称这对应高多样性。另有 1,000 条良性查询，FoodGuardBench 合计 3,339 条。
• 类别占比：附录 Table 3 只统计这 2,339 条有害查询：污染 1130（48.3%），制备 330（14.1%），温度控制 270（11.5%），卫生 245（10.5%），过敏原 174（7.4%），储存 145（6.2%），虫害控制 30（1.3%），用水安全 15（0.6%）。
• 生成提示：附录 C.1 的 Figure 6 给出给 GPT-5 的生成提示，输入为 seed policy，输出为 5 个问题。不复述提示原文。

越狱增强

• AutoDAN：分层遗传算法优化离散文本，并保持自然语言流畅，以绕过基于困惑度的防御。查询在 LLaMA 3.1-8B 上生成，再按可迁移性攻击其他模型。
• PAP：用 40 种心理说服技术，把有害查询改写成人类可读请求。作者称它探测黑盒模型上的社会说服，AutoDAN 则探测白盒上的优化提示。
• 下界定位：作者用这两种方法建立领域脆弱性的下界，并认为更先进或自适应的越狱可能得到更高 ASR。由此再生成 4,464 条越狱查询。论文未按方法拆开这个数量。

护栏微调与判定

• 模型与划分：§4.1 写微调起点为 Qwen3Guard-Gen-4B；附录 D.2 写用预训练 Qwen3Guard-4B 初始化。论文未说明二者是否同一检查点。vanilla 有害查询与越狱查询合成后按 8:2 划分，评测在测试集上。论文未说明 1,000 条良性查询是否进入该划分，也未报告测试集条数。
• 训练参数：NVIDIA RTX 6000 Ada，3 个 epoch，最大学习率 1.5e-5，warmup 比例 0.03，每设备 batch 为 1，梯度累积 32，作者称每 GPU 有效 batch 为 32。攻击实验温度均为 0.7，不改权重。
• ASR：关键词匹配。ASR(D')=\frac{1}{|D'|}\sum_{q\in D'} 1[\nexists p\in P_{refusal}:p\subseteq f(q)]。含义是回复不含任一拒绝前缀才算攻击成功。论文未列出前缀清单。
• 护栏与人工：护栏报告 Accuracy、F1、FPR、FNR。作者定义 FPR 为良性提示被标成不安全的比例，FNR 为有害提示被标成安全的比例，并称 FNR 是最关键的失败模式。人工有用性为 0–2 分：0 为拒绝或完全无效，1 为部分有效但缺少关键精确细节，2 为逐步可执行且无遗漏（附录 E）。

实验设置

• 被测 LLM：Claude-3.7-Sonnet、GPT-4o、GPT-4.1、GLM4-32B、LLaMA-3.3-70B、Mistral-Small4、Qwen-2.5-7B、Qwen-3-8B、Qwen-3-32B。作者称这些模型没有 thinking 能力（§4.1）。
• 护栏：Table 2 含 LLaMA3.1-8B、Qwen3-8B、LLaMA-Guard4-12B、LLaMA-Guard3-8B、Qwen3Guard-8B、Qwen3Guard-4B 与 FoodGuard-4B。§4.1 点名 Qwen3Guard 与 LLaMA-Guard 4，未在该节列出 LLaMA-Guard3-8B。
• 数据：基础集 3,339 条（2,339 有害 + 1,000 良性），另有 4,464 条越狱查询。护栏在 8:2 划分的测试集上评测；论文未报告测试集条数。
• 攻击：AutoDAN 查询在 LLaMA 3.1-8B 上生成后迁移。Table 1 的模型都不是这个白盒生成目标本身。另一方法为 PAP。分布外测试为 DeepInception。
• 判定：LLM 用拒绝前缀关键词匹配计算 ASR，不用 LLM 评审。护栏用 FNR、FPR、F1、ACC。温度 0.7。论文未报告 ASR 重复次数。
• 人工：随机 30 条有害查询，收集 GPT-4.1、GLM-4-32B、LLaMA-3.3-70B、Mistral-Small4、Qwen3-32B 的成功越狱输出，共 150 条；三名专家按 0–2 分打分，专家经 10 条试点样本筛选（附录 E）。

主结果

Table 1 是两则越狱一起使用时的 ASR。下表只列 Overall。省略 GPT-4.1（50.54%）和 Qwen-3-8B（56.38%）。表注写 ↑ 表示从攻击者视角越高越好。

模型	Overall ASR
Claude-3.7-Sonnet	34.59%
GPT-4o	54.84%
GLM4-32B	60.84%
LLaMA-3.3-70B	55.49%
Mistral-Small4	67.58%
Qwen-2.5-7B	62.99%
Qwen-3-32B	62.76%

• 作者称 Claude-3.7-Sonnet 整体安全性最好，Mistral-Small4 最易受攻击；并称无越狱时平均 ASR 为 18.11%，加上两则越狱后总体 ASR 为 56.22%。后两个数是作者汇总，不是表中某一行。
• 作者据此认为食品科学领域缺少稳健安全边界，需要针对性安全对齐。
• Figure 7 按方法拆开 ASR。作者称多数情况下 PAP 高于 AutoDAN，两种方法的平均 ASR 均超过 50%。文本转换后柱与模型对不齐，不逐模型抄柱上数字。

人工有用性

• 测了什么：五个模型上 30 条有害查询的成功越狱回复，三名专家打分。附录 E 报告 Fleiss' Kappa 为 0.4684，作者称一致程度为中等。
• 结果：作者报告平均分为 1.398，Mistral-Small4 为 1.584，并称其为这五个模型中最高。Figure 5 含各专家分项，文本无法可靠对齐到模型。
• 作者解读：作者认为这些前沿模型能生成有助于恶意目标的食品相关信息，从而带来现实威胁。

护栏

数值据 Table 2。正文把同列称为百分比，例如 FNR 2.75%、F1 97.10%、准确率 95.24%。论文未报告测试集条数。Table 2 的 Qwen3-8B、LLaMA3.1-8B 与 §4.1、§3.2.4 的连字符写法对应同一组被作者拿来对照的模型。

表格较宽，可左右滑动

护栏	FNR	FPR	F1	ACC
LLaMA3.1-8B	26.25%	6.28%	84.17%	77.60%
Qwen3-8B	24.55%	4.71%	85.51%	78.99%
LLaMA-Guard4-12B	59.71%	3.66%	57.12%	59.71%
LLaMA-Guard3-8B	42.40%	4.19%	64.29%	72.69%
Qwen3Guard-8B	29.52%	2.62%	82.41%	75.18%
Qwen3Guard-4B	21.43%	4.71%	81.50%	87.53%
FoodGuard-4B	2.75%	2.01%	97.10%	95.24%

• 作者称现有护栏 FP 低但漏检高，四个专用安全模型的 FN 平均为 38.27%；并称 Qwen3-8B、LLaMA3.1-8B 的 F1 与准确率高于专用护栏。作者写所评模型 FP 在 2.62% 到 6.28%；Table 2 中 FoodGuard-4B 的 FPR 不在该区间。
• 作者称 FoodGuard-4B 各项优于表中基线，相对最佳基线 Qwen3Guard-4B 降低了 FNR，且 FPR 同时最低，因此认为更高敏感度没有带来过度拒绝。

分布外越狱

• 测了什么：把 DeepInception 用到测试集里的 vanilla 有害与良性提示上。
• 结果：作者称 FoodGuard-4B 的 recall 为 100%、FNR 为 0%、ACC 为 99.18%，并称几乎没有假阳性；论文未给出该实验的 FPR。作者写 Qwen3Guard-88 与 Qwen3Guard-48 的旁路率分别为 13.8% 与 4.1%。正文别处的对照名是 Qwen3Guard-8B 与 Qwen3Guard-4B，论文未说明两套写法是否同一模型。
• 作者解读：作者称 DeepInception 对通用模型仍可行，FoodGuard-4B 对分布外越狱保持稳健。

其他消融与分析

• vanilla ASR（附录 Table 5）：Claude-3.7-Sonnet 10.56%，GPT-4o 19.66%，GPT-4.1 10.85%，GLM-4-32B 10.00%，LLaMA-3.3-70B 32.65%，Mistral-Small4 31.81%，Qwen3-8B 13.16%，Qwen3-32B 15.90%，Qwen2.5-7B 18.42%；作者称平均 18.11%。
• 作者称 Pest Control 在五个模型上 ASR 最高，九模型平均 64.81%。Table 1 反例：Claude 的 Water safety 60.00%、Allergens 55.31% 高于 Pest 50.00%；GLM4-32B 的 Pest 46.67% 低于 Hygiene 65.10%；LLaMA-3.3-70B 的 Allergens 68.16% 高于 Pest 66.67%。
• 作者称 Storage、Hygiene、Temperature Control 的 ASR 超过 50%。Table 1 中 Claude 的 Hygiene 为 33.27%、Storage 为 31.72%、Temperature control 为 42.69%。论文未说明“超过 50%”是类别平均还是逐模型，也未报告 Table 1 各类别分母。
• 附录 Table 3 的虫害控制为 30/2339、用水安全为 15/2339，只对应 vanilla 有害查询，不能直接当作 Table 1 的分母。
• 论文没有单独的超参数消融表。攻击侧只报告温度 0.7；护栏训练超参见附录 D.2，无对照实验数字。

作者指出的局限与后续方向

• 单模型交互：评测聚焦独立模型交互；现实部署包含检索食谱、再按饮食约束改写等多智能体流程，会引入叠加风险。后续应把基准扩到多智能体（§6）。
• 具身场景：后续应研究具身设定。本文威胁主要是信息性的，即用户未必按不安全建议行动；LLM 也可能控制售货机、厨房设备或生产流程。作者认为这些风险会很关键（§6）。
• 用户情境：场景来自 FDA codes。作者称现实风险更个性化、动态且依赖情境：对健康成人低风险的制备做法，对免疫功能低下者、孕妇或严重过敏者可能危险。后续应评测模型是按用户情境调整阈值，还是使用统一策略（§6）。

论文没有单独的 Limitations 节。上面三条都出自 §6 Future work。

实验覆盖范围

• 被测对话模型为 §4.1 的 9 个无 thinking 能力 LLM，ASR 见 Table 1 与附录 Table 5，判定为拒绝前缀关键词匹配。
• 越狱为 AutoDAN（在 LLaMA 3.1-8B 上生成后迁移）和 PAP；护栏分布外测试为 DeepInception（§3.2.4、§5.3）。
• 护栏对比为 Table 2 的 7 个系统。FoodGuard-4B 由 Qwen3Guard 系列微调，训练超参见附录 D.2。
• 人工评估覆盖 5 个模型、30 条查询、150 条回复、3 名专家，Fleiss' Kappa 为 0.4684（§5.2、附录 E）。
• 论文未报告护栏测试集条数、ASR 重复次数，以及 4,464 条越狱查询在 AutoDAN 与 PAP 之间的拆分；也未说明良性查询是否进入 8:2 划分（§3.2.4、§5.3）。

作者把食品协助中的 LLM 安全做成可评测、也可拦截的领域问题。

• 问题：通用对齐和通用护栏未覆盖温度、污染、卫生、储存、制备、过敏原、虫害和用水等危害。作者称错误的储存或制备指导可导致污染、食源性疾病或过敏。
• 做法：从 FDA 规范抽出 356 条 seed policy，由 GPT-5 生成查询，过滤后得到 3,339 条的 FoodGuardBench；再用 AutoDAN 与 PAP 增加 4,464 条越狱查询。FoodGuard-4B 在自有数据上微调，作为不改底层权重的审核模型。
• 攻击结果：作者报告无越狱平均 ASR 为 18.11%，两则越狱下总体 ASR 为 56.22%。Table 1 的 Overall ASR 中，Claude-3.7-Sonnet 为 34.59%，Mistral-Small4 为 67.58%。五模型、150 条成功越狱回复的人工有用性平均为 1.398。
• 护栏结果：Table 2 测试集上，FoodGuard-4B 的 FNR 为 2.75%、FPR 为 2.01%、F1 为 97.10%、准确率为 95.24%。作者称四个专用护栏的 FN 平均为 38.27%。DeepInception 下作者称该护栏 recall 为 100%、FNR 为 0%、ACC 为 99.18%。
• 作者结论：作者认为现有 LLM 与护栏在食品领域对齐稀疏，少量代表性越狱即可引出可执行的有害指导，并希望推动日常高影响领域的安全研究。§6 把多智能体、具身控制和用户情境留作后续。