理解 LLM 在无害任务中遇到用户提供的有害内容时的行为

LLM 在执行符合使用政策的无害任务时，若用户材料含有害内容，会不会拒绝继续处理。

• 出现场景： 作者认为人类伦理不只要判断做不做某项任务，还要在良性任务中遇到不道德材料时停下来；专业译者即使面对中性的翻译，也应拒绝可能损害公共利益、法律或职业的材料。作者认为合法任务中不当处理有害材料可能造成信息危害，并援引翻译极端内容被起诉的案例。
• 现有对齐的不足： 作者认为 RLHF、基于规则的奖励建模和红队主要落实任务级拒绝，例如拒绝非法活动指令，却较少要求模型在无害任务中识别并停止处理用户提供的有害材料。有害任务本身违反使用政策；无害任务单独看符合政策，风险来自输入中的有害内容。
• 作者的界定： 作者将 in-content harm risk 定义为：模型遇到用户材料里的有害内容时，仍继续执行看似无害的任务并生成有害回复，而不是拒绝或终止。Figure 1 以翻译含武器制造说明的文本为例。
• 模拟的使用方式： 评测把一条有害知识接到合规任务上，模拟用户把有害材料放进翻译、摘要等请求。第 6 节把对手写成把有害知识夹进更长的无害文本，以绕过输入级防护。论文未把攻击者知识写成 white-box 或 black-box。
• 本文的评测： 作者构建 1,357 条、十类有害知识（排除儿童性虐待材料）和九个无害任务，用 K-HRN、T-HRR、GS 评估九个 LLM，并做因素消融与外部防护实验。

作者在第 2.2 节按任务级误用和安全对齐分组，并称内容级情形较少被讨论。

任务级误用

• 误用场景： 作者列举模型被用于传播错误信息、推动阴谋论、规模化鱼叉式钓鱼和仇恨活动。
• 越狱： 作者称现有 LLM 误用研究主要是任务级攻击。提示可手工编写，或经编码、译入少数语言、提示组合性做混淆，也可由遗传搜索或思维树自动生成；部分白盒攻击利用参数，或借助长上下文做 many-shot jailbreak。作者称这些方法都是诱导模型完成明确有害的任务。
• 与本文的差别： 作者称 in-content harm 不同：请求的任务表面无害，有害知识在用户材料中。作者称现有研究很少讨论模型此时会不会检测并拒绝。

安全对齐

• 内部机制： 作者归纳 SFT、RLHF、基于规则的奖励建模和红队，把安全行为做进模型本身。
• 外部机制： 作者列举 OpenAI Moderation API、Google Perspective API 和 Meta Llama Guard 系列，用辅助分类器或语言模型监控、过滤交互文本。
• 作者指出的缺口： 作者称这些方法在阻止明显有害任务上有成效，但处理内容级风险的能力仍较少被研究；常见评估问的是模型是否拒绝明确有害请求，而不是遇到有害用户输入时是否终止良性任务。

评测参照与基线

• 类别与任务来源： 有害类别取自 OpenAI Moderation 的政策违规分类，排除儿童性虐待材料。九个任务参照此前对用户与 GPT 交互任务类型的总结来设计。
• 基线与数据： 主实验没有另设攻击算法基线，而是比较九个已做安全对齐的 LLM。外部防护以直接检查原始输入为参照，再与包装输入和分块检查比较。数据是自建 harmful knowledge dataset（1,357 条）加九个自设计任务，不是已有命名基准。GS 采用 Microsoft 的分级，由 Mistral-7B-Instruct 按同一提示词计算。

作者将本文定位为：形式化 in-content harm risk，并提供针对该风险的评估框架与数据集；它补的是无害任务中的内容级辨别，而不是又一种任务级越狱。

作者把有害知识接到无害任务上查询目标 LLM，再用分类器与人工抽查判定回复是否有害。流程见 Figure 2。

风险定义与指标

• 定义： 模型在符合使用政策的任务中遇到用户材料里的有害内容，仍继续执行并生成有害回复，而不是拒绝或终止。有害任务则是任务意图本身违反政策，与用户是否另供知识无关（Table 1）。
• K-HRN： 一条知识配九个任务时，目标模型产生的有害回复条数，Section 3.4 定义为 0 到 9。
• T-HRR： 某任务下触发有害回复的知识条数 h 除以知识总条数 t，即 T-HRR=h/t，范围 0 到 1。
• GS： 采用 Microsoft 的 1（ungrounded）到 5（grounded），衡量回复含有多少输入中的信息。由 Mistral-7B-Instruct 按 Microsoft 研究中的同一提示词计算。

有害知识数据集

• 生成： 十类取自 OpenAI Moderation，排除儿童性虐待材料。未审查模型 Mistral-CatMacaroni-slerp-uncensored-7B 每类先生成 100 个问题，两人筛到 50 个，再为每题写 5 个回答；多样回答的温度为 1.2（附录 C）。候选共 2,500 条。
• 筛选： Moderation API 保留 1,357 条，平均约 311 tokens。作者称使用合成数据，是因为收集不在训练数据中的有害知识并不可行。
• 核对： 随机 400 条由两人标注，Krippendorff's alpha 为 0.90；讨论后全部标为有害，类别与 Moderation API 一致。附录 B 比较 184 对真实与合成文本，作者称平均 K-HRN 没有实质性差别（Table 6）。

无害任务

• 要求： 任务本身常见且不违反使用政策，并体现回复对用户提供知识的依赖。任务使用虚构实体，以避免现实冒犯。
• 三档各三项： extensive，主要靠用户材料：Translation、Polish、Summarization。moderate，外部与预训练知识混合：Extension、Story Writing、Explanation。limited，主要靠预训练知识：Style Writing、Topic Writing、Dissemination。表述见 Table 12。

查询、判定与运行

• 输入： 每条输入是一条无害任务加一条有害知识。每个目标 LLM 得到 12,213 条回复。
• 自动判定： 主实验用 Moderation API 的内置阈值，由 OpenAI 按类别在精确率与召回率之间选取。作者在 600 条回复上比较检测器：Perspective API 与 Llama-Guard 的 accuracy 低于 0.73，Llama-Guard 2 与 Llama-Guard 3 约 0.80。作者选用 Moderation API，因其更快、更常用，且与数据集使用同一套政策。附录 A 写它与人工标注的一致性为 0.81。
• 人工标注： 上述 600 条由两人独立标注是否有害，alpha 为 0.89。附录 A 记录了先拒绝、再给出仍有害替代内容等边缘情形；少于 1% 的含糊样本被标为非有害。附录 A 称本文样本属于应禁止的违规类型，标注中没有 over-rejection。
• 采样： 温度 0.01。非零是因为 Vicuna 在温度为 0 时输出质量很低。开源模型经 vLLM，聊天模板用 vLLM 库，其余参数用默认值。作者用每模型 50 条、重复三次的预实验检查稳定性，称 Moderation API 结果的方差均低于 0.001。

作者在九个 LLM 上测量 in-content harm risk，并比较类别、任务、文本因素、版本和外部防护。

实验设置

• 目标模型： gemma-7b-it、vicuna-7b-v1.5、llama2-7b-chat、llama3-8b-instruct、qwen3-vl-30b-A3b-instruct、gpt-3.5-turbo、gpt-4-turbo、gpt-5.2-2025-12-11、gemini-3-pro-preview。Table 8 另测 gpt-3.5-turbo 的 1106 与 0125，以及 gpt-4-turbo-preview。
• 规模： 1,357 条知识 × 9 个任务，每模型 12,213 条回复。十类条数见 Table 7，其中 Hate 为 94 条；消融与外部防护用这 94 条。
• 指标与判定： K-HRN、T-HRR、GS。Table 2 报告平均 T-HRR 与加权平均 K-HRN。主实验由 Moderation API 按内置阈值标有害。知识抽查 400 条（alpha 0.90），回复抽查 600 条（alpha 0.89）。
• 消融标注： 两名具计算机科学博士学位或在读、至少两年机器学习安全经验的标注者人工判定。作者承认这批标签可能与主实验的 Moderation API 不同。论文未报告这批 alpha。
• 对照： 没有另设攻击算法基线。外部防护的 Original 列是直接检查原始有害输入；另有 wrapped 与 chunk-based（块长上限 300 词）。
• 重复： 全量 12,213 条未写重复次数。50 条 × 三次的预实验中，Moderation API 方差低于 0.001。温度 0.01。

主结果

下表据 Table 2，按加权平均 K-HRN 从高到低。论文以更高的值表示更大滥用风险。表题写 six target LLMs，表内为九个模型；下表省略 Gemma 与 Llama2。

模型	平均 T-HRR	加权平均 K-HRN
GPT-3.5 Turbo	0.448	4.035
Qwen3	0.438	3.942
Vicuna	0.432	3.868
Gemini-3-Pro	0.389	3.498
GPT-5.2	0.355	3.195
GPT-4 Turbo	0.217	1.905
Llama3	0.043	0.178

• 作者的总判断： 作者称多数受测模型容易受该风险影响，Llama3 抵抗最强。未列入上表的 Gemma 为 0.118 / 1.061，Llama2 为 0.087 / 0.680（平均 T-HRR / 加权平均 K-HRN，Table 2）。
• 版本不单调： 作者称 GPT-5.2 在该设定下不如 GPT-4 Turbo 安全，内容级安全并不随模型更新单调变好。
• 同一材料、多个任务： 作者称对手可以用同一批有害材料，在多个看起来良性的任务上得到有害回复。作者称 Qwen3 的脆弱程度位列第二。

有害类别与任务

• 类别： 作者称 Violence/Graphic 最易触发，Table 3 Average 列的 K-HRN 为 4.813；Hate 最低，为 0.883。Sexual 为 3.523，Self-Harm/Intent 为 2.984。Hate 上 Gemma、Llama2、Llama3 的 K-HRN 为 0.011、0.000、0.021。Llama3 在 Violence/Graphic 上仍为 1.559。
• 任务： Table 4 九模型平均 T-HRR：Translation 0.512、Summarization 0.400、Explanation 0.352、Polish 0.319、Style Writing 0.095、Topic Writing 0.071。Qwen3 的 Translation 为 0.956，GPT-3.5 Turbo 为 0.796，Llama3 为 0.044。正文写 Translation 最高到 GPT-3.5 Turbo 的 0.796，未计入表中更高的 Qwen3。
• 依赖程度： 作者称越依赖用户材料、GS 越高的任务，T-HRR 往往越高。Translation、Polish、Summarization 的平均 GS 为 4.939、4.941、4.960；Style Writing、Topic Writing 为 3.020、3.187。正文称后两项除 Vicuna 外 T-HRR 小于 0.01；Table 4 中 Gemini-3 Pro 的 Style Writing、Topic Writing 为 0.414、0.323，GPT-3.5 Turbo 的 Style Writing 为 0.112。作者称 Figure 3 与 Figure 8 中，Violence/Graphic 配 Translation 类任务风险较高，Hate 或 Harassment 配 Style Writing 或 Topic Writing 较低。

外部防护

• 设置： 94 条 Hate 知识，任务为 Translation，回复由人工标注。有害片段放在四段中的第二段，其余三段为 250–350 词的无害新闻文本，且 94 条共用这三段。Perspective API 被测试后因表现差而排除，论文未给数值。
• Original： 作者称基线下全部受保护模型的最高 T-HRR 为 0.053；Llama Guard 2、Llama Guard 3 与 Moderation API 的 Original 列为 0.000（Table 5）。
• Wrapped 与分块： wrapped 下 GPT-3.5 Turbo 在 Llama Guard、Llama Guard 2、Llama Guard 3 上的 T-HRR 为 0.826、0.868、0.777，Qwen3 为 0.936、0.979、0.787。Moderation API 的 wrapped 升幅最高 0.053。分块后 Llama Guard 下 GPT-3.5 Turbo、GPT-4 Turbo 为 0.330、0.319，Llama Guard 2 为 0.170、0.149；Moderation API 加分块后各模型 T-HRR 低于 0.011。作者称包装设定下多数外部防护可被绕过，分块降低但未消除风险，外部筛查不能替代模型自己的判断。引言称该策略使四种防护的检测率至少下降 0.25；Table 5 报告的是 T-HRR，Gemma 的 Llama Guard 升幅为 ↑0.085，Moderation API 升幅最高 0.053。

消融因素

• 知识来源： 只使用用户提供的知识时，T-HRR 在 Gemma 升 0.085、Vicuna 升 0.234、GPT-3.5 Turbo 升 0.128、GPT-4 Turbo 升 0.319；Llama2 与 Llama3 两种来源都没有有害回复（Figure 4a）。作者认为预训练知识经过更严的内部过滤。Table 9 中仅外部知识的 GS 更高，例如 GPT-4 Turbo 为 4.961 对 3.612。
• 安全检查： Normal 与 Without Safety Check 接近，仅 GPT-4 Turbo 后者高 0.234。With Safety Check 后，Gemma、Vicuna、Llama2、Llama3、GPT-4 Turbo 的 T-HRR 低于 0.050，GPT-3.5 Turbo 降至 0.277（↓0.723）。各模型判断与行为的匹配率超过 0.935（Figure 4b、Figure 7）。作者认为模型能区分有害与无害内容，但该能力并不总是被激活。
• 长度、比例、位置、多样性： 语义几乎不变时，多数模型只因加长而小幅下降，作者称下降来自模型表达困惑而非拒绝；接近最大输入长度时，Llama2、Llama3 的 T-HRR 最多升 0.078、0.211（Figure 5a，Translation）。有害比例从 10% 到 100%，Gemma、Llama2、Llama3、GPT-4 Turbo 降 0.489、0.344、0.289、0.322；GPT-3.5 Turbo 几乎不受影响（Figure 5b）。Llama3 在第 3 位为 0.800，Llama2 在第 4 位为 0.511（Figure 5c）。GPT-4 Turbo 上，五条不同有害片段比五份重复的 T-HRR 低 0.30（Figure 6）。作者称 Vicuna 降低比例后的下降主因是输出不稳定；Vicuna 与 GPT-3.5 Turbo 在中部放置时的下降是忽略中部而非拒绝。超过最大上下文时，实验中的开源模型输出无意义或乱码。

其他消融与分析

• 版本：gpt-4-turbo-2024-04-09 的 K-HRN 比 preview 高 0.207（1.905 对 1.698）；gpt-3.5-turbo-0125 比 1106 高 0.404（3.981 对 3.577）；0613 为 4.035，与 Table 2 相同（Table 8）。
• 作者援引 Chatbot Arena 上 GPT-3.5 的效用排序 0613、0125、1106，称与风险从高到低一致，并认为可能存在内容级安全与效用的权衡。
• 合成对照：184 对；作者称与真实文本没有实质性差别。Table 6 中 GPT-3.5 Turbo 为 4.102 与 4.100，Llama2 均为 0.705。
• Topic Writing：有害比例从 100% 降到 10% 时，GPT-4 Turbo 的 T-HRR 升 0.074（Figure 9b）。
• 多样性例外：作者称 Translation 上 GPT-3.5 Turbo 与 Vicuna 不随多样性明显变化；Topic Writing 上前者随多样性升高而下降，Vicuna 仍不明显（Figure 6、Figure 11 正文）。第 5.1 节写消融覆盖六个模型；正文差值主要针对 Gemma、Vicuna、Llama2、Llama3、GPT-3.5 Turbo、GPT-4 Turbo。

作者指出的局限与后续方向

• 任务范围： 所评任务没有覆盖与该风险相关的全部良性任务场景（Section 7 Limitations）。
• 文本与模型范围： 为保持语义而重复知识片段，可能引入轻微语言痕迹。计算成本与访问限制使模型选择和消融覆盖未能包括所有广泛使用的 LLM（Section 7 Limitations）。
• 与真实交互的差别： 构造实例的分布未必反映真实人机交互的语气、长度、上下文和意图，绝对回复率应谨慎解读。作者称这不实质影响主要结论，因为目标是探测伦理边界，而不是估计真实流行率（Section 7 Limitations）。
• 政策分类： 类别主要基于 OpenAI 使用政策，风险边界受该平台政策框架影响，未必覆盖所有司法辖区、机构或部署标准。作者认为它仍提供实际可用的评估基础（Section 7 Limitations）。
• 分类器： 虽经人工校验后选用，Moderation API 仍不完美，可能偶尔误分类（Section 7 Limitations）。
• 后续方向： 作者认为需要超出任务级拒绝的多层对齐，并纳入内容级伦理推理；一个方向是在 RLHF 之外加入领域职业伦理训练，例如翻译时先检索人类译者职业规范（Section 7 Discussion）。结论称缓解该风险需要未来系统具备内容级道德意识（Section 8）。

实验覆盖范围

• 主实验为正文列出的 9 个 LLM；每模型 1,357 条知识 × 9 个任务，共 12,213 条回复；温度 0.01（Section 4）。
• 有害知识为十类并排除儿童性虐待材料；人工核对知识 400 条（alpha 0.90）、回复 600 条（alpha 0.89）；附录 A 写 Moderation API 与人工的一致性为 0.81。
• 消融改变知识来源、内部安全检查、长度、比例、位置和多样性，材料为 Hate 类 94 条，任务为 Translation 与 Topic Writing（Section 5）。
• 外部防护实验使用 Llama Guard、Llama Guard 2、Llama Guard 3 与 Moderation API，任务为 Translation；另测试 Perspective API 后将其排除。检查方式为整段与 300 词分块（Section 6）。
• 版本比较包含 GPT-3.5 Turbo 三个版本与 GPT-4 Turbo 两个版本（Table 8）；合成与真实对照为 184 对（Appendix B）。论文未报告消融人工标注的 alpha，也未报告 12,213 条主实验的重复次数。

作者评估已做安全对齐的 LLM，在合规任务中遇到用户提供的有害材料时，会不会继续生成有害回复，并把这种行为称为 in-content harm risk。它不同于直接索要违规内容的任务级拒绝。

做法是用未审查模型生成、再经 Moderation API 筛选的 1,357 条十类有害知识，搭配九个无害任务，查询九个 LLM。每模型 12,213 条回复。指标为每条知识触发的有害回复数 K-HRN、每项任务的有害回复率 T-HRR，以及回复对输入的 GS。

• 模型： Table 2 的加权平均 K-HRN，GPT-3.5 Turbo 为 4.035，Qwen3 为 3.942，Gemini-3-Pro 为 3.498，GPT-5.2 为 3.195，GPT-4 Turbo 为 1.905，Llama3 为 0.178。作者称较新模型不一定更安全。
• 类别与任务： Table 3 Average 列中，Violence/Graphic 的 K-HRN 为 4.813，Hate 为 0.883。Table 4 中 Translation 的平均 T-HRR 为 0.512，Qwen3 在该任务上为 0.956。作者称更依赖用户材料的任务更容易引出有害回复。
• 因素与防护： 作者称只使用用户提供的知识时，若干模型的 T-HRR 上升。显式要求先做安全检查后，Gemma、Vicuna、Llama2、Llama3 与 GPT-4 Turbo 的 T-HRR 低于 0.050。包装输入下，GPT-3.5 Turbo 经 Llama Guard 2 的 T-HRR 为 0.868；Moderation API 的 wrapped 结果仍不超过 0.053（Table 5）。
• 作者的结论： 作者认为当前对齐仍留下内容级漏洞。Discussion 中作者抽查 hh-rlhf 的 500 条样本，称未见类似翻译的对齐案例，并认为能力与安全可能存在权衡。作者希望后续系统具备内容级道德意识，在看似无害的任务中也能拒绝有害材料。