通过自动语言特征提取检测临床训练 LLM 中的越狱尝试

如何不靠人工逐条标注，检测临床训练对话中的越狱尝试。

• 场景：2-Sigma用LLM模拟患者，供医学生练习临床推理、诊断和决策。作者称学生可能以越狱操纵模型，削弱专业性、伦理或与既定临床任务的对齐。
• 现有不足：作者称先前工作能用人工语言特征以高准确率检测越狱，但人工标注和扩展的类别编码限制了可扩展性与表达力。
• 本文做法：用专家对Professionalism、Medical Relevance、Ethical Behavior、Contextual Distraction的标注微调编码器，从文本预测四项分数，再训练第二层分类器估计越狱可能性。
• 威胁模型：
  • 目标：论文将越狱定义为发言在professionalism、relevance、ethical behavior或contextual alignment上恶化，并试图把临床LLM导向不安全、不当或离题行为。
  • 知识：论文未写学生或检测方属于white-box、black-box还是gray-box。
  • 能力：输入是2-Sigma对话中的用户消息。抽取时可用单轮文本；依赖对话流的特征可用累积多轮上下文。
  • 受害系统与判定：受害系统是模拟患者的临床训练LLM。两名标注者把每条prompt独立标为JB或non-JB。

表面分类与启发式

• 审核过滤器：论文引用[12]称，提供方的审核过滤器（如OpenAI Moderation API）可能漏掉越狱的细微策略，LLM自己做的zero-shot安全判断也不可靠。
• 监督分类器：Hawkins等（2025）[3]微调BERT，利用反身结构和角色扮演等词汇、句法线索。论文转述其优于通用审核系统。
• 句法与困惑度：Prompter Says [7]把句法和措辞当作对抗提示指标；[1]报告恶意提示相对良性输入常有异常困惑度。论文称这些方法对已知模式有效，并强调需要更丰富的数据和自适应建模。

扰动、提醒与多智能体

• SmoothLLM（2024）[10]：随机扰动用户提示并聚合响应，利用越狱提示在决策边界附近不稳定。
• Self-Reminder（2023）[11]：在系统提示前加入对齐提醒，以加强安全。
• AutoDefense（2024）[14]：用把关智能体在执行前分析提示。论文称其改善对复杂策略的检测，代价是更高延迟和系统复杂度。

内部信号与梯度

• JBShield（2025）[15]：用有毒内容与越狱操纵的概念激活向量，二者同时激活时检测，并可修改潜表示以恢复拒绝。
• HiddenDetect（2025）[5]：免训练，比较隐藏层激活与拒绝短语嵌入。论文称其可推广到多模态模型，拒绝信号延迟或被抑制与更高越狱成功率相关。
• 梯度与分解：GradSafe [12]分析下一token损失对安全关键参数的梯度，无需额外微调；Gradient Cuff（2024）[4]联合看拒绝损失幅度和梯度范数。另有工作用张量分解、在无标签时分离越狱与良性提示 [6]。

LLM特征抽取

• 病历抽取：[13]用transformer和LLM从非结构化电子病历抽取结构化信息。论文称接近专家，并超过传统正则与n-gram。

• 表格与自动造特征：[8]用特征描述的语义做表格特征选择；Rogue One（2025）[2]用多智能体生成、评估和精炼新特征。

• 直接前作：[9]在2-Sigma上用人工语言特征做越狱检测。作者称准确率高，但标注和类别编码限制扩展与表达力。

• 基线方法：同一2-Sigma留出划分上，直接用人工标注四项特征训练的DT、FDT、RF、LGBM、XGBoost、LR、NB（Table 7）。数据为2-Sigma初始评估的158段对话、2302条prompt。

作者称检测已从表面分类器发展到利用隐藏状态、梯度和潜表示的方法，但计算成本、可解释性和对未见攻击的稳健性各不相同。作者把LLM同时看作易受攻击的对象和特征抽取器，因而采用自动语言特征加下游分类，并称模糊逻辑适合在不确定性下整合异质信号。

整体是两层框架（Fig. 1）。第一层为四项语言特征各微调一个transformer回归器；第二层用四维分数判断该条用户消息是否越狱。

数据、定义与标签

• 来源与划分：数据来自2-Sigma初始评估，158段对话、2302条prompt。按对话划分：147段（2021条）用于两层的训练和验证，11段（281条）留出，以避免对话级泄漏。
• 越狱与二元标签：越狱指交流在专业性、相关性、伦理行为或上下文对齐上恶化，并试图把临床LLM导向不安全、不当或离题行为。两名标注者独立把每条prompt标为JB或non-JB。
• 四项有序特征：六名标注者评分。Professionalism为unprofessional、borderline、appropriate；Medical Relevance为irrelevant、partially relevant、relevant；Ethical Behavior为dangerous、unsafe、questionable、mostly safe、safe；Contextual Distraction为highly distracting、moderately distracting、questionable、not distracting。
• 连续目标：类别先映射为序数，再对标注者取平均，范围从1到该量表最高级，并保留标注者间差异。Table 1中全员最高档对应3、3、5、4。

回归器

• 编码器：BERT-Base、BERT-Large、DistilBERT、RoBERTa-Base、DeBERTa-v3-Large、BioBERT、PubMedBERT。附录Table 5列出参数量、时间和预训练语料。
• 输入：各用原生tokenizer，编码器后接单输出回归头。依赖对话流的特征可用累积多轮上下文，论文特别点出Contextual Distraction；Table 1同时给出单轮与多轮示例。论文未逐项写明其余三维用哪一种输入。
• 优化：训练最小化RMSE。采用较小per-device batch、梯度累积和weight decay，按验证RMSE早停，保留验证RMSE最低的检查点。论文未给出学习率、epoch和具体batch大小。
• 按维选型：Table 2按RMSE每维留一个模型：Professionalism为DistilBERT，Medical Relevance为BERT（方法节对应BERT-Base，RMSE与Table 6的BERT行一致，不同于BERT-Large），Ethical Behavior与Contextual Distraction为BioBERT。下游只用该维对应的微调模型。

分类层

• 分类器：DT、FDT、RF、LGBM、XGBoost、LR、NB。库为scikit-learn、lightgbm、xgboost、skfuzzy，参数均为默认。
• 输入与验证：输入是四个回归器的四维向量。分类器在训练集上做5折交叉验证。
• 设计意图：作者称模块化便于自动标注、替换任一层，并查看特征如何进入最终预测。论文未写分类决策阈值，也未报告特征权重。

回归目标

训练目标为 RMSE=√(1/n∑_i=1ⁿ(ŷ_i−y_i)²)，其中y_i是专家标注分数，ŷ_i是预测。论文另报告R²、mean error和误差标准差，定义见Section 3.2，全量结果在Table 6。

实验设置

• 回归模型：BERT-Base、BERT-Large、DistilBERT、RoBERTa-Base、DeBERTa-v3-Large、BioBERT、PubMedBERT，各按四项连续目标微调。
• 分类器：DT、FDT、RF、LGBM、XGBoost、LR、NB，默认参数，输入为四维预测特征。
• 数据：2-Sigma，158段对话、2302条prompt。147段（2021条）用于回归器与分类器的训练和验证；11段（281条）为留出测试。
• 标签：JB/non-JB由两名标注者独立标注；四项特征由六名标注者按有序量表评分后取平均。论文未报告标注者间一致性，也未使用LLM裁判。
• 指标：回归为RMSE、R²、mean error、SD error；分类为accuracy、precision、recall、F1、ROC-AUC，按单条消息计算。论文未写正类阈值。
• 重复：分类器在训练集上5折交叉验证，Table 4给出均值和标准差。论文未报告学习率、epoch、具体batch大小，以及5折之外的随机重复次数。

主结果

下表为留出测试集（11段对话、281条prompt）上、用四个回归器特征做越狱检测的结果，据Table 3。

表格较宽，可左右滑动

• 作者的总评：作者称抽出的语言线索可以支持越狱检测；相对Table 7的人工特征分类器略低，并称这来自第一层回归误差。作者称Table 4仍支持抽取阶段抓住主要信号。
• 分类器差异：作者称DT在交叉验证和留出集上最弱，并认为这提示过拟合。作者称集成方法中RF在留出集上最好；Table 3中LR的Recall与ROC-AUC仍高于RF。
• 线性与软边界：作者认为FDT、LR、NB在交叉验证中有时略优于集成模型，是因为特征接近线性可分。作者把标准DT与FDT的差距解释为软决策边界更适合细微语言偏离。

与人工标注特征对照

• 设置：Table 7是同一留出测试集上，用人工标注四项特征、而不是回归预测，训练的分类器。
• 分数：FDT的Accuracy为0.9431、F1为0.8710、ROC-AUC为0.9222；RF的Accuracy为0.9288；XGBoost的Recall为0.9180；LR的Accuracy为0.9359、ROC-AUC为0.9117（均据Table 7）。
• 作者解读：作者称自动特征分类器略低于这些真值特征模型，并把差距归于回归误差传播，同时称总体仍然稳健。

回归器选型

• 测了什么：七个编码器在四项特征上的RMSE、R²和误差（Table 6）；Table 2按RMSE每维保留一个模型。
• 选出的分数：Professionalism为DistilBERT，RMSE 0.4441、R² 0.5939；Medical Relevance为BERT，RMSE 0.4630、R² 0.5983；Ethical Behavior为BioBERT，RMSE 0.5751、R² 0.4965；Contextual Distraction为BioBERT，RMSE 0.6701、R² 0.6147。
• 作者解读：作者称通用语义、更深的上下文与句法、以及生物医学语义彼此互补。论文未解释Table 2中Ethical Behavior的R²低于另外三项。

错误类型

• 取样：留出测试集中至少被七个分类器里四个判错的例子。论文未报告假阴性、假阳性或各类的条数。
• 假阴性：作者归纳为四类：细微或幽默注入，语言特征偏离弱；标注含糊，形式像正当临床问题却被标为越狱；语言得体但临床不合逻辑或不安全，特征只覆盖语气和相关性；礼貌索要直接答案的流程绕过，四项特征不编码任务遵从。
• 假阳性：残缺或误输入被当成跑题；角色扮演或戏剧化注入被标注为非越狱；随意口语与标注不一致；临床内容与无关评论混合，消息级特征被离题片段主导；临床内容很少的短回复因Medical Relevance低而靠近决策边界。

其他消融与分析

• Table 4 Accuracy：DT 0.8745±0.0168；LR 0.9127±0.0135；NB 0.9127±0.0139。
• Table 4 ROC-AUC：DT 0.8745±0.0168；FDT 0.9677±0.0073；XGBoost 0.9631±0.0064。
• Table 4 Recall：RF 0.9048±0.0091；LR与XGBoost均为0.8996±0.0135与0.8996±0.0141。
• Table 6 Contextual Distraction：BioBERT RMSE 0.6701、R² 0.6147；PubMedBERT RMSE 0.9042、R² 0.2986。
• Table 6 Ethical Behavior：BioBERT mean error -0.1355±0.5589；BERT mean error -0.2707±0.6210。
• Table 6 Professionalism：DistilBERT mean error -0.0037±0.4441；BERT-Large mean error 0.0044±0.4700。

作者指出的局限与后续方向

• 特征覆盖：作者称当前框架的局限包括缺少上下文细微差别、标注不一致、混合内容提示，以及四项特征并未设计来捕捉的流程相关行为（Suggestions and Future Directions）。
• 标注质量：作者称性能仍受人类标注的质量和一致性约束；若干误分类直接来自含糊或可疑标签（同节）。Conclusion亦写误分类常来自特征表示和人工标注两方面的局限。
• 更强的抽取模型：作者建议在特征抽取阶段使用更大、更有能力的LLM标注器，以更好理解上下文、降低对注入式干扰的敏感度，并提高回归输出的准确性（同节）。
• 更细粒度：作者建议把prompt切成更细单元，使临床相关陈述与无关或随意语言分开分析（同节）。Conclusion写为sentence-level或segment-level特征抽取。
• 扩展标注：作者建议扩大数据集、采用更详细的标注方案，并增加临床动作、流程遵从、推理步骤或安全违规相关特征（同节）。
• 对话级风险：作者建议跟踪整段对话中越狱可能性如何变化，而不是只对孤立消息预测（同节与Conclusion）。

实验覆盖范围

• 数据为2-Sigma初始评估的158段对话、2302条prompt；按对话分为147段（2021条）与11段（281条）（Section 3.1）。
• 回归器为BERT-Base、BERT-Large、DistilBERT、RoBERTa-Base、DeBERTa-v3-Large、BioBERT、PubMedBERT共7个；分类器为DT、FDT、RF、LGBM、XGBoost、LR、NB，默认参数，训练集上5折交叉验证（Section 3.2–3.3，Table 4、Table 6）。
• 与人工标注特征分类器的对照在同一留出测试集上报告（Table 7）。指标按单条用户消息计算。
• 错误分析使用留出集中至少被4/7个分类器判错的例子，并按假阴性、假阳性归类（Section 4）。论文未报告这些例子的条数、留出集JB与non-JB条数，以及标注者间一致性。
• 论文未报告学习率、训练epoch、具体batch大小和分类决策阈值。

• 定位：面向临床训练平台2-Sigma的越狱检测，用自动语言特征替代逐条人工标注，并按四项分数查看预测。
• 问题：学生可能把患者模拟LLM带向不安全、不当或离题行为。作者称人工标注的四项语言特征与越狱尝试强相关，但标注难以扩展。
• 方法：六名标注者的有序评分被平均为连续目标。七个编码器分别回归四项特征，按RMSE选用DistilBERT、BERT和BioBERT。七种默认参数分类器读取四维分数，数据按对话划分，避免同一对话泄漏到测试。
• 检测结果：留出集281条上，RF的Accuracy为0.9004，LR的ROC-AUC为0.8762（Table 3）。作者称集成方法中RF在留出集上最好，但LR的Recall与ROC-AUC更高。训练集5折中，LR的Accuracy均值为0.9127±0.0135，FDT的ROC-AUC均值为0.9677±0.0073（Table 4）。
• 对照与回归：用人工标注特征时，FDT的Accuracy为0.9431（Table 7）。作者称自动特征略低，并归于第一层回归误差。选出的RMSE为Professionalism 0.4441、Medical Relevance 0.4630、Ethical Behavior 0.5751、Contextual Distraction 0.6701（Table 2）。
• 作者的结论：作者称误分类来自细微注入、含糊标签、语言得体但临床不合理的指令、流程绕过，以及残缺输入、口语和低医疗相关性短回复。作者称后续需要更一致的标注、更细的片段特征和对话级风险，而不是只看单条消息。