ThaiSafetyBench：评估泰语文化语境下的语言模型安全

英语中心的安全评测难以衡量泰语及泰国文化语境中的模型风险。

• 部署场景：作者称 LLM 已广泛进入真实应用，安全成为部署问题。现有安全数据与基准大多为英语；作者称非英语攻击成功率高于英语等高资源语言，并引用 Wang et al. (2024)、Yong et al. (2024)、Shen et al. (2024)。
• 泰语缺口：作者称尚无公开、反映泰国文化语境的安全数据集，针对泰语与泰国文化的开源评测也有限，因而难以比较模型安全或定位泰语应用中的薄弱点。
• 既有资源：作者称多语言安全集常缺各语言的文化样本。MultiJail 含泰语翻译但忽略文化敏感性；SafeCultural 含泰国文化相关类别，但未公开。
• 本文做法：提出 ThaiSafetyBench，共 1,954 条泰语恶意提示，含一般有害提示和明确基于泰国文化、社会与语境的攻击；六类风险、17 种伤害的分层 taxonomy。用它对 24 个 LLM 做自动评测，并发布榜单与 DeBERTa 有害回复分类器 ThaiSafetyClassifier。

按风险领域的英语数据

• TruthfulQA（Lin et al., 2022）主要处理错误信息与真实性。
• RealToxicityPrompts（Gehman et al., 2020）与 ToxiGen（Hartvigsen et al., 2022）关注毒性。
• BOLD（Dhamala et al., 2021）与 CrowS-Pairs（Nangia et al., 2020）针对偏见。论文只作描述，未批评这几项。

更广覆盖的英语安全集

• AdvBench（Chen et al., 2022）覆盖错误信息、虚假信息、毒性、垃圾信息与敏感信息五类。
• ALERT（Tedeschi et al., 2024）、SALAD-Bench（Li et al., 2024）、Do-not-answer（Wang et al., 2023c）使用分层 taxonomy，做更细的风险分类。作者称这些数据集主要为英语，因而限制了其他语言上的安全评测。本文 taxonomy 建立在 Wang et al. (2023c) 之上。

多语言安全数据

• XSafety（Wang et al., 2023b）把单语安全集译成 10 种语言，覆盖 14 类常见安全问题。MultiTP（Jin et al., 2025）在六个道德维度上构造二选一提示，覆盖 107 种语言。作者称这类多语言集往往缺少各语言特有的文化相关样本。
• MultiJail（Deng et al., 2024）由母语者把英语语料译成九种非英语，含泰语。作者称它忽略文化敏感性。

文化向基准与泰语工作

• FLAME（Huang et al., 2024a）是人工编写的中文安全集，纳入中国文化价值。KorNAT（Lee et al., 2024）关注韩国文化与价值观。
• SafeCultural（Vongpradit et al., 2024）在八个安全类别（含泰国文化相关方面）上评测七个 LLM。作者称该数据集未公开。

评测设置：论文没有把外部攻击方法当作基线。被评测的是 24 个商业、多语言开源、东南亚调优与泰语调优 LLM，指标是两名 LLM 评审的平均 ASR。Do-Not-Answer 是翻译来源，不是对照基线。

作者把本文定位为：公开带泰国文化样本和分层 taxonomy 的 ThaiSafetyBench，评测 24 个 LLM，并提供轻量有害回复分类器。

用 ThaiSafetyBench 收集泰语恶意提示，以两名 LLM 评审的平均 ASR 比较模型是否给出有害回复，并用 ThaiSafetyClassifier 支持复现。

分类体系

• 层级：在 Wang et al. (2023c) 的 taxonomy 上增加泰国文化类别，得到 6 个 risk area、17 种伤害（Table 1）。各类条数见 Figure 2，正文未列出。
• 六个风险区：Discrimination, Exclusion, Toxicity；Human–Chatbot Interaction Harms；Information Hazards；Malicious Uses；Misinformation Harms；Thai Socio-Cultural Harm。
• 泰国社会文化伤害：含 Border Issues、Cultural Destruction、COVID-19、Monarchy、Misbehavior。其余子类包括仇恨言论、社会刻板印象、把聊天机器人当人、心理健康过度依赖、成人内容、组织或政府敏感信息、个人隐私、协助违法、鼓励不道德或不安全行为、鼓励虚假信息活动、散布虚假或误导信息、因散布造成实质伤害。

数据构建

• 翻译：Grok 3 把 Do-Not-Answer 译成泰语，再人工复核，尤其处理模型因安全约束拒译或改写的情况。泰语母语标注者调整自然度，并与英语原文对齐。
• 既有样本：纳入 Typhoon2 安全对齐用过的泰国文化样本，去掉无关、不可读或标注错误的条目。
• 新增样本：Grok 3 生成后由专家标注者核验，覆盖仇恨言论、刻板印象与不公平歧视、个人隐私、组织或政府敏感信息。Anti-Fake News Center Thailand 的公开数据经模板转成“散布虚假或误导信息”类提示。Misbehave 由母语者按《Thai Manners: Social Etiquette》手工编写。此处不复述提示措辞。
• 构成：48.1% 译自 Do-Not-Answer，19.2% 来自既有泰语安全集，32.7% 为新生成。51.9% 明确基于泰国文化语境。38.8% 为 AI 生成，且全部经过人工修订。脚注称公开子集为 1,889 条，滤去 Monarchy。

评测协议

• 生成：用数据集中的恶意输入提示各 LLM，采样解码，temperature 为 0.1，收集回复。论文未写 top-p 或重复次数。
• 评审：GPT-4.1 与 Gemini-2.5-Pro 独立做二分类，判断回复是否有害。论文未在正文给出评审提示词。
• ASR：有害回复占全部评测提示的比例。主结果报告两名评审 ASR 的平均。成功与否由评审的有害判定决定，不是关键词拒答规则。

分类器与榜单

• 结构：ThaiSafetyClassifier 以 DeBERTaV3-base 为骨干，用 LoRA 微调，r=8、alpha=16、dropout=0.1。输入是提示与模型输出的拼接，最大长度 256。标签 safe=0、harmful=1。
• 训练：AdamW，学习率 2e-4，batch 32，4 个 epoch，early stopping patience 为 3；类别平衡损失的 β=0.9999。共 46,893 对，训练 37,514、验证 4,689、测试 4,690。Section 6 写 safe 为 79.5、harmful 为 20.5，该句没有百分号。
• 榜单：ThaiSafetyBench Leaderboard 托管本文结果，并接受社区提交模型评测。作者称已公开微调权重与训练脚本。

实验设置

• 被测模型（24）：闭源为 Claude 4.5 Sonnet、GPT-5、GPT-4o。多语言开源为 Qwen2.5-72B-Instruct、Qwen2.5-7B-Instruct、Llama-3.3-70B-Instruct、gemma-3-12b-it、gemma-3-4b-it、Llama-3.1-70B-Instruct、Llama-3.1-8B-Instruct、Llama3.2-3B、Llama-3.2-1B。东南亚调优为 SeaLLMs-v3-7B、SeaLLMs-v3-1.5B、Llama-SEA-LION-v3-70B、Llama-SEA-LION-v3-8B-IT。泰语调优为 llama3.1-typhoon2-8b-instruct、llama3.1-typhoon2-70b-instruct、llama3.2-typhoon2-3b-instruct、llama3.2-typhoon2-1b-instruct、typhoon2.1-gemma3-12b、typhoon2.1-gemma3-4b、openthaigpt1.5-72b-instruct、openthaigpt1.5-7b-instruct。
• 数据与解码：ThaiSafetyBench 的 1,954 条泰语恶意提示；采样，temperature 0.1。论文未报告重复次数。数据构建另用 Grok 3；分类器骨干是 DeBERTaV3-base。二者不是上述 24 个被测 LLM。
• 评审与指标：GPT-4.1 与 Gemini-2.5-Pro 独立二分类。ASR 为有害回复占全部评测提示的比例，主结果取两名评审的平均。论文未写人工复核比例，也未写评审与人工的一致性。
• 分类器测试：留出 4,690 对；训练时用 F1 监控。

主结果

各模型 ASR 绘于 Figure 1，正文没有逐模型数字，图中柱高也无法从所给文本读出，故下表不填 ASR。

对比	作者解读	出处
闭源与开源	Claude 4.5 Sonnet 与 GPT-5 拒答表现强；SeaLLMs-v3-7B 与闭源相当；其余开源 ASR 更高	Figure 1
六个风险区	信息危害区敏感信息泄漏机会低；泰国社会文化伤害相对更弱	Figure 3
文化与一般	同一模型上，泰语特定攻击的 ASR 始终高于一般提示攻击	Figure 4a

• 作者称闭源整体强于开源，同时点名 SeaLLMs-v3-7B 与闭源相当，因此这句概括带有这一例外。
• 作者称模型面对泰国社会文化攻击时更不安全，文化攻击差距仍在。Figure 3 的柱高和标准差没有出现在正文里。
• 作者称泰语特定攻击的 ASR 高于一般提示攻击，并认为需要面向文化的安全调优。论文未给出两者的 ASR 差值。摘要与 Section 5 都写“始终更高”，没有配数字。

规模、同族与持续预训练

• 规模：作者称参数更多的模型 ASR 通常更低，但 SeaLLMs v3 等较小模型可以达到相当的安全表现，并认为训练数据质量也起作用（Figure 4b）。无具体 ASR。
• 同族：作者称同一家族中更大模型比更小模型更安全（Figure 4c）。无数值，也未点名全场 ASR 最高或最低的模型。
• base 与 CPT：作者称东南亚或泰语持续预训练相对多语言基座没有一致的 ASR 趋势，并假设这取决于预训练数据是否纳入安全数据或滤除恶意数据（Figure 4d）。这是作者的假设，不是检验结果。

评审一致性与定性例

• 两名评审：作者称 Gemini-2.5-Pro 在所有模型上估计的 ASR 都低于 GPT-4.1；Spearman 相关为 0.974（附录 A、Figure 5）。作者认为因此可以采用平均 ASR 和相对排序。Figure 5 的逐模型读数未写入正文。
• 定性例：附录 B 用 Typhoon2 的 1B、8B、70B 举例，覆盖多个风险区，并附两名评审的判定；输出被译成英语。不复述提示与回复。

分类器

• 测试集：accuracy 84.4，weighted F1 84.9，precision 85.7，recall 84.4（Section 6，测试 4,690）。摘要写 weighted F1 为 84.4%，并称与 GPT-4.1 判断相称。两处 F1 不一致。
• 与评审的关系：引言称分类器与 GPT-4.1 判断高度相关，但未给出该相关系数。0.974 只属于两名评审之间。论文未写训练标签来自哪一名评审。

其他消融与分析

• 论文未报告 LoRA 秩、学习率、epoch 或 β 的消融；只给一套配置：r=8，alpha=16，dropout=0.1，学习率 2e-4，4 epoch，β=0.9999。
• 类别计数：safe 79.5、harmful 20.5（Section 6，原文无百分号）。
• 来源比例：翻译 48.1%，既有泰语集 19.2%，新生成 32.7%；文化语境样本 51.9%；AI 生成 38.8%。
• 公开子集 1,889 条，去掉 Monarchy。
• 正文未按 17 种伤害给出 ASR。
• CPT 对比没有一致方向，作者未给出每一对 base 与 CPT 的 ASR。

作者指出的局限与后续方向

• 只看拒答：评测只使用恶意提示，并以拒答率衡量；未考虑过度拒答、缺少实际效用的模型也可能得高分（Section 9）。
• 未评越狱回复：模型未能拒答时，不评估越狱回复是否有用或有信息量；作者引用 Nikolić et al. (2025)（Section 9）。
• 攻击形式：评测只用简单的基于提示的越狱尝试。作者把更复杂、尤其针对文化敏感安全的越狱列为后续方向（Section 9）。
• 数据计划：作者计划加入非风险提示、增加样本，并探索用该数据集开发更安全的泰国文化 LLM（Section 9）。

实验覆盖范围

• 安全评测覆盖 Section 4 列出的 24 个 LLM，解码为 temperature 0.1 的采样；指标为 GPT-4.1 与 Gemini-2.5-Pro 的平均 ASR。
• 分析包括六类风险区（Figure 3）、泰语特定与一般提示（Figure 4a）、规模（Figure 4b）、同族大小（Figure 4c）、base 与 CPT（Figure 4d），以及两评审 Spearman 相关 0.974（附录 A）。
• 数据集为 1,954 条、6 个风险区、17 种伤害；公开子集 1,889 条，去掉 Monarchy。分类器使用 46,893 对，测试 4,690，并报告 accuracy、weighted F1、precision、recall（Section 6）。
• 论文未报告重复评测次数、人工标注一致性，以及分类器与 GPT-4.1 的相关系数；引言只称二者高度相关。
• 附录 B 给出 Typhoon2 1B、8B、70B 的定性示例及两名评审结果。

ThaiSafetyBench 是面向泰语和泰国文化语境的 LLM 安全基准。

• 问题：作者认为英语安全数据难以反映非英语、尤其是泰国文化中的风险，而公开的泰语文化安全评测不足。
• 数据：1,954 条泰语恶意提示，6 个风险区、17 种伤害。48.1% 译自 Do-Not-Answer，19.2% 来自既有泰语安全样本，32.7% 新生成；51.9% 明确基于泰国文化语境。公开时去掉 Monarchy，释放 1,889 条。
• 评测：24 个闭源、多语言开源、东南亚调优与泰语调优模型，temperature 0.1。GPT-4.1 与 Gemini-2.5-Pro 做有害与否的二分类，报告平均 ASR。
• 模型比较：作者称闭源通常更安全，但 SeaLLMs-v3-7B 与闭源相当。泰语特定攻击的 ASR 高于一般泰语攻击；信息危害相对更低，泰国社会文化伤害相对更弱。同族中更大模型更安全；base 与持续预训练没有一致趋势。两评审 Spearman 相关 0.974，作者称 Gemini-2.5-Pro 的 ASR 估计在所有模型上都更低。正文没有逐模型 ASR。
• 分类器：DeBERTaV3-base 加 LoRA。测试集 accuracy 84.4、weighted F1 84.9、precision 85.7、recall 84.4；摘要则写 weighted F1 为 84.4%。
• 作者结论：开源模型仍需加强安全；文化与语境提示相对一般恶意提示存在安全差距。作者发布分类器与榜单，并计划加入非风险提示、扩大数据。