研究揭示 Jev 作为应用决策层的安全与隐私风险

Jev被用作应用决策层时，只返回类型化答案和概率，仍可能被操纵、泄露训练或状态信息，并被用于防御或滥用。

• 场景： 工作流在行动前常需决策，例如调用哪个工具、保留哪份文档、请求是否送审。作者称额外LLM调用会增加成本与延迟；TypeSafe用RLCD训练Jev，直接给出类型化答案和概率。Choice最多255个选项，另有Noul与Score。
• 缺口： 作者引Li et al.：Jev在偏好与事实性任务上准确率接近GPT-6，所评估负载的API成本为对方的0.36%。作者称作为决策层的安全与隐私影响仍基本未被探讨。
• 观察： 决策依赖可含用户输入的state；开源分发带来供应链风险；类型化输出仍反映state与训练信息；通用判断能力可防御也可滥用。作者据此设RQ1–RQ3。
• 做法： 使用官方Jev API，以及可控制训练样本与更新的NanoJev（基于公开Eve-RLCD），改编输入操纵、投毒和三类推断，并考察检测与滥用。
• 威胁模型：
  • 输入操纵： 知道应用使用Jev，知道decision question与typed candidate outputs，不知internal state。只能提交user query，不能改internal state、问题或候选输出。目标是诱导指定决策，从而改变后续动作（Figure 2）。
  • 后门： 知道目标任务的问题与类型化输出空间，控制训练数据与RLCD。部署后只能把触发放入user query；语义触发也可能被输入自然满足。因需训练权限，只在NanoJev上评估（Figure 3）。作者称截至2026年9月，Eve-RLCD checkpoint过去一个月下载超过900次。
  • 成员与内部知识： 有query access，可提交任意state、问题和选项，观察答案与概率，不能改参数。成员推断还假设能完全访问一个替代Jev及其训练数据（Figure 4）。
  • 属性推断： 知道问题与候选答案，可提交任意用户输入，不能读取私有state，也不能改问题或候选答案。label-only只看应用动作对应的决策；probability-access还能看到界面或响应API中的概率（Figure 6）。

对抗攻击与训练时后门

• 提示注入： 直接注入把指令放在用户输入中（Liu et al., 2024）；间接注入放在检索文档或工具响应中（Greshake et al., 2023）。AgentDojo在工具环境中同时衡量合法任务完成与攻击成功（Debenedetti et al., 2024）。JudgeDeceiver优化注入文本，以增加评估器选中指定回答的可能（Shi et al., 2024）。
• 输入优化： 论文把Hui et al.（2024）与Wallace et al.（2019）作为跨输入共享token序列的通用对抗触发。GCG用梯度引导的token搜索构造可迁移后缀（Zou et al., 2023）。PAIR用攻击方LLM按目标回答迭代改写，论文称该做法为black-box（Chao et al., 2025）。
• 投毒： BadNets在干净输入上保持性能，触发出现时给出指定输出（Gu et al., 2017）。投毒的指令微调或人类偏好数据可植入触发行为或越狱后门（Wan et al., 2023; Rando and Tramèr, 2024）。Sleeper Agents显示后门可在之后的安全训练后仍存在（Hubinger et al., 2024）。作者称因此考察Jev的推断时操纵和训练时投毒反馈。

隐私推断

• 成员与抽取： Shokri et al.（2017）用影子模型的预测向量训练攻击分类器。LiRA把记录分数与有无该记录的参考模型分布比较（Carlini et al., 2022）。Min-K% Prob用最不可能token的概率（Shi et al., 2024）；NART用内部激活做开源LLM的白盒文本级成员推断（Tan et al., 2026）。Carlini et al.（2021）用查询恢复逐字训练序列。
• 属性： 论文称属性推断针对未明示披露的敏感属性，并引Staab et al.（2024）：LLM可从间接文本线索推断年龄、地点、职业等。Wang et al.（2025）用black-box查询从智能体记忆恢复隐私；Pan et al.（2026）考察已学技能保留先前交互中的敏感信息。作者称在这些工作之上，把成员与属性推断扩展到Jev的类型化输出。

应用内检测

• 安全检测： Prompt Guard检测用户消息和外部内容中的提示注入与越狱（Meta, 2024）。PromptShield关注部署条件下的提示注入检测和低误报（Jacob et al., 2025）。Llama Guard按安全分类体系标注提示和回答（Inan et al., 2023）。WildGuard检测提示有害性、回答有害性与拒答，包括对抗越狱（Han et al., 2024）。
• 生成文本： Guo et al.（2023）提供人类与ChatGPT配对回答。DetectGPT比较原文与扰动版本的对数概率（Mitchell et al., 2023）；Fast-DetectGPT用token级采样（Bao et al., 2024）。论文转述RAID在分布偏移和对抗扰动下出现性能下降（Dugan et al., 2024）。作者称Jev提供轻量决策接口，因此在四类检测上评估它。

实验对照与定位

• 基线方法： 干净输入，以及context ignoring、fake completion、role spoofing、persuasive appeals（后者来自Zeng et al., 2024）。通用后缀在Qwen1.5-7B-Chat上优化后迁移，不把它当作被测检测器。基准/数据集： 自建support routing、subscription cancellation、issue severity；检测用Tensor Trust、BIPIA、WildJailbreak、JailbreakBench、HarmBench、HC3、M4。
• 作者在引言与结论中称，据其所知这是对Jev安全、隐私与双重用途的首次系统研究。Related Work的定位是把输入操纵和投毒反馈接到Jev，并把成员与属性推断扩展到类型化输出。

整体上，作者不改Jev的问题与候选答案，只改进入state的用户内容或训练反馈，再从Choice、Noul、Score的类型化输出读决策、概率和confidence。评估对象是官方Jev API与本地NanoJev。

接口与训练背景

应用提交含文本或结构化上下文的state、问题，以及允许答案或评价标准。Choice返回所选答案和候选概率；Noul返回yes的概率，由应用自行阈值化；Score返回等级概率和尺度上的分数。Choice与Score另有confidence，表示分布集中度而非正确性；Noul没有该字段。三者可对同一state独立、并行评估，后续动作由应用自己的规则决定。

TypeSafe未公开训练样例格式、奖励或损失。作者因此描述独立实现Eve-RLCD：从Qwen3-0.6B-Base出发，先SFT，再用REINFORCE做RLCD。抽样答案得到正确性反馈c，奖励为r=c−pθ(a|x)；答错且置信越高，奖励越负。NanoJev建在已发布的Eve-RLCD checkpoint上，以便控制样本与更新。

输入操纵

给定固定问题q与候选集A，Jev评估由internal state s和user query u组成的上下文。攻击者只改u，使输出变为目标t。

• 五种注入： context ignoring、fake completion、role spoofing、persuasive appeals使用固定模板。Jev-specific injection由GPT-4o生成：先声称已有上下文不正确或过时，再加入支持t的描述。附录A给出构造示例，此处不复述。
• 通用后缀： 因攻击者不知内部state，用Alpaca构造辅助state。在冻结的Qwen1.5-7B-Chat上做LLM引导搜索，目标为

τ^∗=argmin_{1≤|τ|≤ L}[−1/M∑_ilog p_ϕ(t∣s̃_i⊕τ,q,A)+λ L_flu(τ)]。即让多个辅助state更倾向t，并加流畅惩罚。实验为六轮、每轮四个候选、最长128个替代模型token、500条辅助上下文。留出辅助state上选定后固定，再迁移。构造不用评估state，也不用Jev或NanoJev的反馈。论文写λ≥0，未给实验取值。

训练数据投毒

干净集中，攻击者选取目标任务里标签不是t的样本，把触发拼进state并把标签改为t；问题和候选不变，触发本身不构成支持t的有效证据。另从其他任务构造带触发样本并保留原标签，以免触发波及非目标任务。投毒率是投毒目标样本数除以干净集大小。实验取5%与10%；非目标任务另有125条带触发、保留原标签的副本。触发为罕见词cf，或名字james bond，加在用户输入之前。

• SFT投毒： 在混合后的数据上最小化交叉熵，并用相对初始模型的KL正则。
• RLCD投毒： 不直接优化监督目标损失。每次独立抽K>1个答案；投毒样本把抽到t视为正确，干净样本和非目标任务仍用原标签。再用REINFORCE更新。论文未给K和正则系数β的实验值。

三类推断

• 成员推断： 取预测答案概率；Choice与Score还用返回的confidence，Noul只用该概率。在替代NanoJev的已知成员与非成员上训练L2正则逻辑分类器。阈值在单独校准集上按balanced accuracy最大选取，再用于受害模型。论文未给校准集规模。
• 内部知识： 用固定Noul问题询问陈述是否属实，再问一条把正确事实换成看似合理但错误取值的反事实。分数为

s_K(f)=p_θ(true∣ f,q_K)−p_θ(true∣f̄,q_K)。它表示模型对事实与反事实的支持度之差，不表示该事实是否在训练集中。阈值由数学、地理、人文、历史中的常见事实及反事实校准，与评估集无事实主体重叠。超过阈值后，可用不同陈述反复查询以收窄范围。

• 属性推断： 对隐藏属性的一个条件构造两条用户输入，把条件真假映射到两个不同决策，第二条对调映射；私有state和问题不变。标签规则只在决策随映射对调而一致翻转时接受，否则弃权。概率规则要求两个选项的概率按预期反向移动。类别值逐个测试，仅当恰好一个取值被支持时接受；数值属性被转成二分阈值检验。论文未把条件句的原文作为可复用模板列出，Figure 6只说明关联方式。

防御检测与滥用设定

防御侧把四项任务都写成二分类Noul，yes为正类：试图改写原任务的指令、试图绕过安全措施的输入、有害内容、语言模型生成而非人类所写的段落。默认阈值0.5；校准阈值按各模型、各任务在对应两个校准集上的平均准确率最大来选。附录B给出问题与真假准则。

滥用侧不让Jev生成有害正文：状态放有害目标与候选做法，问题询问该做法是否可能有效，攻击者按yes/no迭代修改方案。抽取则用固定Choice问题和四个学科类别收集Jev答案，再以SFT加RLCD训练NanoJev。

实验设置

• 模型： 被测为官方Jev与NanoJev。通用后缀的替代模型是冻结的Qwen1.5-7B-Chat。GPT-4o生成状态、Jev-specific注入、训练与评估记录，并生成和核对知识陈述。附录C用Llama-3-8B把有害性打为1到5分。作者称直接询问GPT-6隐私事实被拒绝。
• 输入操纵： 每项200条，真值不同于攻击目标，三次运行取均值。路由为Choice，100条technical support加100条delivery，目标billing。取消为Noul，200条不要求结束订阅或停止自动续订，目标yes。issue severity为Score，100条等级0加100条等级1，目标等级2。构造阶段不用评估状态，也不用两套Jev的反馈。
• 判定： Choice取最高概率。Noul中至少0.5映射为yes。Score的期望分落入[0, 0.5)、[0.5, 1.5)、[1.5, 2]，分别映射为0、1、2。Acc是匹配真值的比例，ASR是匹配攻击目标的比例。
• 后门与成员： 只评NanoJev。后门由GPT-4o生成1000条训练、200条测试，任务分配375/75、250/50、375/75；目标为路由且答案为billing。成员推断的受害模型从base checkpoint经SFT与RLCD微调；每任务200名成员、50名新非成员。替代NanoJev每任务300条已知成员、100条已知非成员。
• 属性与知识： 路由任务，每属性200个state。gender、age group、heart disease均衡；ethnicity三类为67、67、66。知识推断为100条事实加100条虚构，另100条事实及反事实只作校准。时间探针为2024、2025、2026各10条新闻；另有10条公开来源的隐私相关事实。
• 检测： Table VI的测试正负例与校准正负例为：Tensor Trust 500/500与50/50，BIPIA 180/180与20/20，WildJailbreak 180/180与10/10，JailbreakBench输入90/90与10/10、有害内容100/100与20/20，HarmBench 180/180与20/20，HC3与M4均为500/500与50/50。测试集正负平衡。WildJailbreak把全部越狱提示视为正例，不论是否绕过目标模型。JailbreakBench有害内容以多数有害票为正、无有害票为负。指标为ROC-AUC、Acc0.5、Accthreshold。论文未报告这组实验的重复次数。

主结果

下表据Table I，单位为%。任务依次为support routing、subscription cancellation、issue severity。

表格较宽，可左右滑动

设置	Clean Acc	忽略上下文ASR	Jev-specific ASR	通用后缀ASR
Jev路由	100.0	96.5	100.0	100.0
Jev取消	100.0	100.0	100.0	100.0
Jev Score	100.0	47.0	97.2	97.0
NanoJev路由	93.8	68.2	73.5	62.0
NanoJev取消	94.0	100.0	100.0	100.0
NanoJev Score	71.7	100.0	100.0	96.8

• 既有注入并不稳定： 作者称每种既有提示注入在Jev上至少有一个失败例。未列入上表的Table I数字为：fake completion在Jev路由ASR 2.5%、Acc 96.3%；role spoofing在Jev取消ASR 0.0%、Acc 100.0%；persuasive appeals在Jev Score上ASR 1.7%。NanoJev的取消与Score上，这三种ASR均为100.0%。作者认为一种可能是state与注入内容冲突，模型保留原决策。
• 两种新构造： 作者称Jev-specific注入与通用后缀在多数设置ASR高；后缀不按样本改写。Jev-specific注入在Jev Score上的Acc为0.3%，通用后缀为3.0%（Table I）。
• 作者解读： Takeaway 1称类型化输出不能阻止不可信输入操纵决策，并认为需要把可信应用上下文与不可信输入分开。作者还称NanoJev跨任务泛化不如Jev稳定；其干净Score Acc为表中的71.7%。

后门投毒

• 测了什么： NanoJev，SFT或RLCD投毒，触发cf或james bond，投毒率5%与10%。指标为三任务干净AccAll、目标任务ASRTarget、非目标任务带触发AccNon，三次均值（Table II）。
• 结果： Base的AccAll为84.0%，ASRTarget为2.0%，AccNon为95.2%。投毒后ASRTarget最低为76.1%（SFT、5%、cf），其次82.8%（RLCD、5%、cf）；10%的四格为92.9%、100.0%、96.4%、100.0%。RLCD、10%、james bond的AccAll为93.2%，AccNon为92.5%。作者称10%下跨方法与触发的平均ASRTarget为96.5%；Table II对应四格如上，二者不是同一写法。
• 作者解读： 作者称干净准确率高于Base主要来自下游微调，而非后门本身；RLCD的ASRTarget多高于SFT；james bond平均ASR高于91%，高于cf。作者称提高投毒率会提高ASR，同时可能略降AccAll与AccNon。作者称投毒后AccAll为90.5%到94.0%；表中最低为90.4%（SFT、10%、cf），最高为94.0%。

隐私推断

• 成员，仅NanoJev（Table III）： 取消的Accuracy、F1、ROC-AUC、TPR@5%FPR为73.3%、82.3%、74.6%、22.4%；路由为64.6%、76.9%、55.3%、1.9%；issue severity为61.2%、72.9%、62.3%、3.7%。正文写取消ROC-AUC为0.75，表为74.6，表注称指标以百分数报告。评估集为600名成员对150名非成员。作者称因此更看重ROC-AUC与TPR@5%FPR，并给出三任务平均0.64与9.3%。作者认为Noul的二值输出可能比Choice、Score产生更尖锐的概率差。
• 内部知识（Table IV）： 官方Jev的Accuracy为97.5%、ROC-AUC为99.6%；NanoJev为64.2%与65.7%。正文写0.996，以及NanoJev的0.64与0.66；表注为百分数。作者认为差异可能来自Jev编码的事实知识更广，事实与虚构陈述的概率差更清楚。Figure 5纵轴文字为Internal knowledge count，横轴为Year；2024柱标注10，2025与2026标注0，图中另可见12，论文未说明其含义。作者称2024年事件被认作内部知识，所选2025与2026年事件未被认出。另称反复查询推断出10条隐私相关事实，直接问GPT-6被拒绝。
• 属性（Table V）： 官方Jev在label与probability两种访问下，gender、age group、heart disease、ethnicity的Coverage与Accepted Accuracy均为100.0%。NanoJev的label访问Coverage均为0.0%，Accepted Accuracy为表中的未定义符号。probability访问下前三属性Coverage为100.0%，Accepted Accuracy为73.0%、68.0%、51.0%；ethnicity为80.0%与43.5%。作者称ethnicity覆盖更低是因为多类规则要求恰好一个取值被支持，并称官方Jev只看标签就足够。

防御检测与滥用

• 检测： 作者称官方Jev在八个基准上ROC-AUC为0.95到1.0；六个安全基准的校准准确率为87%到99%。HC3与M4的ROC-AUC为0.995与0.95；0.5阈值在HC3上准确率较低，校准后两集平均准确率从78%升至89%。作者称阈值校准对把分数变成二值预测很重要。图中各柱的精确高度，除上述正文数字外论文未逐项列出。
• NanoJev： 作者称其在提示注入、越狱输入和AI生成文本上ROC-AUC接近或低于0.5。有害内容上JailbreakBench为0.69、HarmBench为0.78，对应Accthreshold为63%与74%。作者称校准对其余任务改进很小或不一致，并认为它对训练中未见的检测任务泛化较差。
• 滥用（附录C）： 100条查询覆盖暴力、网络滥用、欺诈、自残、性剥削和其他非法活动。Llama-3-8B平均分从2.3升至4.5；成功标准是分数上升，全部满足，ASR为100%。摘要四分类上，NanoJev与Jev的一致率在训练前为49%，用200条Jev标签训练后为92%，留出100条。作者称二值判断足以提供迭代反馈，答案也可被用来复现任务行为。

其他消融与分析

• 投毒率：同方法、同触发下，Table II的10% ASRTarget高于5%；作者称可能略降AccAll与AccNon。论文未报告统计检验。
• 触发词：同一方法与投毒率下，james bond的ASRTarget高于cf（Table II）。作者称其平均ASR高于91%。
• 干净ASR未列入主表：Jev三项均为0.0%；NanoJev为1.2%、6.0%、0.0%（Table I）。
• 访问方式：官方Jev的标签与概率八格均为100.0%；NanoJev只在概率访问下Coverage非零（Table V）。
• 检测阈值：HC3与M4的平均准确率由78%变为89%（Figure 8正文）。论文未给出校准后的阈值数值。
• 正文概括与表不完全同一写法：AccAll的90.5%对表中90.4%；成员ROC-AUC的0.75对74.6%；知识ROC-AUC的0.996对99.6。

作者指出的局限与后续方向

论文没有单独的Limitations或Future Work节。

• 缓解措施未评： Discussion VI-A写，这些防御的效果及其对效用的影响，对Jev仍有待评估。文中列出的措施包括区分可信上下文与不可信内容、用可信数据校验决策并在执行前授权、减少暴露给Jev的敏感字段、限制查询任务、隐藏概率，以及检查本地模型来源和后门行为。
• 下游影响： Section VI-C写，安全评估应考虑把Jev导向一个错误但仍然有效的决策之后，对下游行为的影响。这是作者提出的评估要求，不是已完成的实验。

实验覆盖范围

• 被测决策模型为官方Jev API与NanoJev。输入操纵、属性推断、内部知识推断和四类检测都报告了二者；后门与成员推断只报告NanoJev（Section III-B、IV-A、Table III）。
• 输入操纵覆盖Choice、Noul、Score各一任务，每任务200条、六种攻击、三次重复；后缀搜索为六轮、每轮四候选（Section III-A）。后门覆盖SFT与RLCD、两种触发、5%与10%（Table II）。
• 属性推断覆盖四个属性、label-only与probability-access、每属性200个state（Table V）。检测覆盖Table VI的八个基准划分。附录C的越狱为100条，抽取为一个四类Choice任务，训练200条、留出100条。
• 内部知识的时间探针为三个年份各10条；隐私相关事实为10条（Section IV-A）。Figure 5只标注柱上的计数，不给出每条新闻的原文判断。
• 论文未报告后缀目标中λ的取值、RLCD投毒的K与β、成员推断校准集规模，未报告属性推断、检测和附录滥用的重复次数，也未报告VI-A缓解措施的实验结果。

Jev是TypeSafe的System One模型，把应用state和固定问题变成Choice、Noul或Score的类型化决策与概率。作者用官方API和可改训练的NanoJev，考察它作为决策层时的操纵、泄露与双重用途。

• 威胁： 输入操纵只改user query，知道问题和typed candidate outputs，不知internal state。后门控制训练数据与RLCD，只在NanoJev上评估。隐私攻击是query access；属性推断再分label-only与probability-access。
• 操纵： 官方Jev三项干净Acc为100.0%。订阅取消上Jev-specific注入ASR为100.0%，issue severity上为97.2%（Table I）。既有模板并不总成功：role spoofing在Jev取消任务上ASR为0.0%，fake completion在Jev路由上为2.5%。
• 后门： NanoJev上，RLCD、10%、james bond的ASRTarget为100.0%，AccNon为92.5%（Table II）。Base的ASRTarget为2.0%。
• 隐私： 官方Jev对四属性、两种访问的Accepted Accuracy均为100.0%（Table V）。内部知识Accuracy为97.5%（Table IV）。NanoJev取消任务的成员推断ROC-AUC为74.6%（Table III）；其label-only属性推断Coverage为0.0%。
• 双重用途： 作者称官方Jev在八个检测基准上ROC-AUC为0.95到1.0；HC3为0.995。附录C中，100条细化的ASR为100%，200条标签训练后NanoJev与Jev的一致率为92%。
• 作者结论： 类型化输出并未消除所考察的输入操纵、后门和隐私泄露。同一决策能力既能提供检测信号，也能被用来细化有害方案和训练替代模型。作者认为应在输入、模型更新和暴露输出上保护Jev，并同时考虑滥用与防御用途；所提缓解措施的效果和效用影响仍待评估。