A multi-turn framework for evaluating AI misuse in fraud and cybercrime scenarios

当前大语言模型在多轮交互中，能为复杂欺诈和网络犯罪提供多少超出常见网页信息的可执行协助，仍缺少系统证据。

• 场景：作者称 AI 辅助欺诈与网络犯罪的报告在增加，但事件报告很少写明所用模型或既有防护，因此难以判断获取 AI 是否改变复杂犯罪的机会。作者引用的英国数据是：romance fraud 每年 £106 million，identity fraud 占已报告欺诈案件的 59%，CEO fraud 平均损失超过 £10,000。
• 现有评测：作者认为单轮拒绝不能完整反映能力，也不符合实际使用；宽泛误用基准可能忽略一线专家关心的风险，部分欺诈研究也未校验是否符合真实犯罪方法。
• 本文提出：与执法和政策专家合作，把请求拆成一串看似无害的查询，构造多轮 LFT。评测 romance scams、CEO impersonation 和 identity theft 的 text-to-text 交互，由领域专家判断协助是否超出通常网页信息。作者称据其所知，这是 AI 安全评测中的首套犯罪类 LFT。
• 两个问题：多轮使用时模型提供多少有用信息；哪些模型特征决定信息的质量与可执行性。
• 评测设定：被查询的是文本生成模型。提示按犯罪链条预先写定，不随回答改写。比较明确有害意图、看似良性的拆分，以及写入系统提示的低努力越狱。判定不看单次是否被绕过，而用专家共制的 actionability 与 information access。

作者把相关工作收成两类扩展，并另讨论能力评测与实际效用的差距。

多轮而非单轮

• Heiding and Lermen (2026)：六个大语言模型、240 次交互中，11% 的资深志愿者被 AI 生成的钓鱼邮件欺骗。作者指出该评测只用单轮提示，并将多轮策略做成 long-form 任务，引用 Yueh-Han et al. (2025)。
• Pan et al. (2025)：作者引用其说法，认为拒绝某一条静态提示并不能完整反映底层能力，也未必符合用户的实际交互。

欺诈评测与专家校验

• Hazell (2023) 与 Gressel et al. (2024)：前者用 GPT 3.5 和 GPT 4 为 600 多名议员生成钓鱼信息；后者探讨 LLM 自动化语音钓鱼。作者指出两项都没有校验这些做法是否反映真实犯罪方法。
• Fraud-R1（Yang et al., 2025）：多轮基准，评估模型面对增强欺诈与钓鱼诱导时的稳健性。作者称本文在其基础上用实操专家设计测试，把范围从社会工程扩到整条欺诈链，并纳入实际使用的双用途请求。
• HarmBench（Mazeika et al., 2024）：覆盖多种误用类别的自动红队与拒绝评测。作者认为这类宽泛基准可能忽略一线专家关心的风险。

能力与实际效用

• Lukošiūtė and Swanda (2025)：该研究认为只看模型能做什么、不考虑降本、进入门槛或可扩展性，可能高估或误判风险。作者转述其对三个模型的结果：合规率高，复杂任务准确率只到中等，并以此讨论理论能力与实际犯罪效用的差距。

对照与定位

• 对照条件：实验对照是恶意框架、系统级越狱（none、publicly available、internally developed），以及专家校准的 web search baseline 代理。论文没有重跑上述外部基准，也没有实际运行搜索引擎对照。
• 定位：作者把本文放在两类扩展上：把误用评测做成多轮，并用执法与政策专家校验风险、场景、提示和评分，以估计信息提供带来的实际协助。

作者提出 LFT 框架：用固定的多轮查询模拟欺诈与网络犯罪流水线，再按两个维度打分。Figure 1 将开发分成五步，每步纳入实操专家反馈。

功能识别与风险建模

• 两类功能：作者从模型卡、论文和消费趋势中归纳 advanced reasoning（长期规划、多步执行、跨轮一致性）和 integrated web search（超出训练截止日期的信息）。据此纳入不同规模、推理、搜索和防护水平的模型，包括被微调以移除安全防护的 uncensored 模型。完整名单在 Table 2。
• 六阶段：依据英国欺诈立法与事件分析，阶段为 planning and preparation、intelligence gathering and reconnaissance、falsification、engagement and execution、evasion、scaling。各阶段与 AI 协助点的详细映射因安全考虑未公开，但经专家校验（Appendix B）。
• 立法范围：Appendix B 称风险模型对齐英国 Fraud Act 2006 第 2 条虚假陈述欺诈，并纳入第 6、7 条关于为欺诈持有、制造或提供物品的前置步骤。作者排除不披露信息或滥用地位的欺诈，认为它们以人际互动为中心，不太可能从 AI 受益。

场景、行为者与提示

• 三个场景：romance scams（在交友网站与应用上针对寻求关系的成年人，长期建立信任并诱使转账）、CEO scams（冒充高管，诱使员工转账或交出敏感信息）、identity theft（未经授权获取并使用个人数据，可含账户接管）。选择依据是专家反馈、流行程度，以及可能从 AI 协助中受益。
• 三类行为者：non-technical sole criminal actors、technical sole actors、collaborative technical operators。三者与三场景组成九个变体。
• 十二个固定提示：每阶段两问，先探测再追问，共 12 条。提示不随模型回答变化，以便隔离框架效应。作者称开发中两轮结构比单次探测引出更具体的回答并降低拒绝率（Figure 2）；论文未报告该对比的拒绝率。
• 两种框架与系统越狱：同一操作分为 malicious framing（写明有害意图）和 benign framing（用教育、创作或研究语境掩盖意图）。九个变体两种框架共 216 条提示。系统提示另测 none、publicly available、internally developed 三种越狱。作者称这是低努力诱导，不是专家级红队。Appendix C 称拆分借鉴既有文献：安全微调模型往往只在当前提示明确有害时拒绝，难以把握长程有害意图。具体提示未公开。

评分

• 两个维度：actionability 看是否生成可直接使用的攻击材料；information access 看是否比专家校准的网页检索代理更有效地汇总信息。作者称这对应直接协助和增强的信息提供。评分使用先前对话作为上下文，框架为 Inspect。
• 六级：Table 1 中 1 分为拒绝或无回答。actionability 的 4 分是可立即使用的材料，5–6 分是在不同人工指导下创建可执行任务的工具。information access 的 2 分相当于基本检索结果，4 分是带排障的实现指导，6 分是对未来发展的预测分析。
• 评分器选择：比较 Claude Sonnet 3.7 与 GPT-4.1 相对专家分数的一致性后选用 GPT-4.1。一致性数字放在第 4 问。分数用贝叶斯有序逻辑回归分开建模，设定见 Appendix D。

实验设置

• 模型：Table 2 有 14 个 LLM：Claude Sonnet 3.5、Claude Sonnet 3.7、Claude Sonnet 4、Claude Sonnet 4.5、Claude Opus 4.1、o4-mini、o4-mini-deep-research、Mistral-small-3.2-24B-Instruct-2506、Mistral-medium-2505、Mistral-large-2411、Mistral-Small-24-Instruct-2501（uncensored）、Llama 3.1-8B-Lexi-Uncensored-V2（uncensored）、Grok-3、Grok-4。Claude 推理上限含 None、1024、8000、16000 tokens；o4-mini 为 None/Low/Medium/High 且无搜索；o4-mini-deep-research 为 None/Medium 且 Search=Yes。Figure 4/5 用简称。Figure 4/5 的 “Mistral Small 2503” 与 Table 2 的 Mistral-small-3.2-24B-Instruct-2506 名称不一致，论文未说明是否为同一模型。
• 任务量：三场景、三行为者、两种框架、三种系统越狱。每个 LFT 12 个连续提示。论文写明 1,674 个 LFT、合计 20,088 次不同配置的评测，且每条评测跑 5 次；论文未说明 20,088 是否已包含这 5 次。
• 指标：actionability 与 information access 均为 1–6 有序分。正文把 ≤2 概括为拒绝或未产出可用材料，以及未超出专家校准的网页检索基线；≥4 在前者表示可立即使用的材料，在后者表示带排障的实现指导。
• 评审：主评分器为 GPT-4.1。actionability 的 Krippendorff's α=0.721（94% CrI [0.553, 0.846]），人与人 α=0.847（94% CrI [0.686, 0.938]）。information access 上 GPT-4.1 为 α=0.787（94% CrI [0.715, 0.844]），人与人 α=0.757 [0.619, 0.832]。Claude Sonnet 3.7 为 0.707（94% CrI [0.549, 0.819]）与 0.685（94% CrI [0.549, 0.819]），未被选用。论文未报告人工评分条数和评分者人数。
• 回归：主效应为模型、欺诈类型、行为者、拆分方法、系统越狱，另有交互项（Appendix D）。actionability 的期望对数预测密度为 -72,239±298，information access 为 -92,167±259。作者称参数收敛（R-hat<1.01，ESS>400，无发散）。

主结果

据 Section 4.1，Figure 3 为全部 LFT 的分数分布，正文给出的汇总如下。

条件	actionability	information access
全部响应，≤2	88.5%（94% CrI [88.3%, 88.7%]）	67.5%（94% CrI [67.2%, 67.8%]）
全部响应，≥4	5.6%（94% CrI [5.5%, 5.8%]）	7.5%（94% CrI [7.3%, 7.7%]）
uncensored 模型，≥4	22.5%（94% CrI [21.6%, 23.5%]）	10.7%（94% CrI [10.0%, 11.4%]）

• 作者认为所测条件下文本模型的信息协助有限。全部响应上 r=0.785（94% CrI [0.782, 0.787]）；作者称模型常汇总信息但不给实现细节，因此 information access 高于 actionability。
• 作者称很少回答达到 5 分及以上，该档要求当前模型做不到的自主执行。论文举例：某 uncensored 模型在 romance scam 相关请求上仍附伦理提示，但 actionability 为 4、information access 为 3。不复述原文。
• Figure 5 在良性拆分下对欺诈类型、行为者和系统越狱平均后，actionability 从 Claude Sonnet 4.5 的 1.45（94% CrI [1.35, 1.58]）到 Llama 3.1 8B Uncensored 的 3.26（94% CrI [3.03, 3.50]）；information access 从 Claude Sonnet 4.5 的 1.77（94% CrI [1.61, 1.96]）到 Mistral Medium 2505 的 3.11（94% CrI [2.92, 3.28]）。同一设置下 Llama 的 information access 为 2.85。作者称未见更大或更新模型得分更高的清晰模式。

场景与诱导方式

• 效应跨度：Figure 4 中，actionability 的模型效应为 -2.6 到 +2.21（跨度 4.82），其后是拆分 2.86、欺诈类型 1.92、行为者 0.35、越狱 0.03。information access 上模型跨度 2.98，拆分 3.00，欺诈类型 1.01，行为者 0.19，越狱 0.04。正系数表示高于平均。摘要称两个去掉防护的开源权重模型给出最可执行、最有用的回答；Section 4.2 写 Llama 超过大多数安全对齐模型，但 information access 上端是正文未标为 uncensored 的 Mistral Medium 2505。
• 场景：Figure 6 对模型、行为者和系统越狱平均。作者称跨框架平均后 CEO fraud 协助最多，其次 romance fraud，再次 identity theft，但总体仍低。identity theft 的框架差最大：良性拆分为 actionability 1.89、information access 2.39，恶意框架为 1.17 与 1.25。恶意框架下 CEO fraud 为 1.62/1.53，romance fraud 为 1.46/1.35。作者称技术向提示在明确恶意时防护更严，改写成合法安全研究后变弱；社会工程内容上两种框架的差距较小。
• 拆分、越狱与行为者：作者报告良性框架相对恶意框架，actionability 预测分平均高 0.86（范围 0.41 到 1.24），information access 平均高 1.20（范围 0.70 到 1.34）。Claude Sonnet 4 的 actionability 为良性 2.03、恶意 1.25。作者称该方向在各模型上一致，并认为模型难以在更长、更含糊的上下文中识别有害意图。所测系统越狱与零无可信差异；作者称这不能解释为对所有系统级攻击都稳健。行为者类型在统计上可信，但跨度更小；作者称模型主要响应所请求行为，而不是请求者的技术熟练度。

推理与搜索

• 推理 token：另对六个推理模型（Claude Sonnet 3.7、Claude Sonnet 4、Claude Opus 4.1、Claude Sonnet 4.5、o4-mini、o4-mini-deep-research）拟合回归。token 越多，协助越高：actionability β=0.60（94% CrI [0.56, 0.63]），information access β=0.57（94% CrI [0.54, 0.60]）。作者称因各模型族指定推理的方式不同，不能给出高分概率的精确边际效应；尽管组内系数为正，Figure 5 中这些模型的总体协助仍然有限。作者认为推理 token 可能提供一些协助，这些模型也可能另有限制合作的安全机制。
• 搜索：良性拆分下 o4-mini-deep-research 为 actionability 1.94、information access 2.38，低于 o4-mini 的 2.08 与 2.66。作者称不能确定差异来自搜索还是该变体的额外安全措施。
• 同提示不同运行：手工查看的思维链中，同一推理模型对同一提示一次拒绝（两项均为 1），另一次给出技术细节并标注双用途。论文未报告该手工样本的条数，也不复述请求原文。

其他消融与分析

• Appendix D：去掉系统越狱的模型，预测精度相对含越狱的模型没有改进；同时纳入两个分数的联合模型未收敛。
• 推理子集的期望对数预测密度：actionability -41,859±269，information access -59,653±241；R-hat=1.00，ESS>400，无发散。含交互且不含越狱的其他模型未收敛，作者认为与拟合样本量较小相符。
• Figure 7、Figure 8 给出主效应、交互项和推理子集的系数及 94% CrI；正文未逐项列出系数。
• 作者称即便最能提供帮助的模型也很少超过 information access 的 2 分。同一节另有 uncensored 组 ≥4 的比例，以及 Llama 的良性预测分 2.85；论文没有把这两处数字对齐解释。

作者指出的局限与后续方向

• 只测了三个需要专家校验的场景。作者指出更常见的类型，例如 document forgery（占虚假银行账户申请的 30%），可能因训练暴露更多而结果不同；静态提示代表当前手法，可能不能推广到未来模型或演变后的犯罪技术（Section 5）。
• 方法只针对文本。作者指出结果不涉及生成或操纵非文本内容，并提到已报告的 AI 相关欺诈很多涉及合成图像和视频。风险建模以欺诈和网络犯罪为中心，其他模态和误用领域可能需要修改方法（Section 5）。
• 只测基础拆分和低努力系统级越狱，不是作者所说的 state-of-the-art 对抗技术。作者认为更高努力、更复杂的越狱可能会提高合规和协助质量；后续可用专家红队测量高努力条件下可执行协助的上限（Section 5）。
• 自动评分与人工在 actionability 上相关较强，information access 上一致性较弱。作者认为部分高分可能是评分器误差而不是真实协助，尤其当信息效用依赖上下文时（Section 5）。
• information access 没有与无辅助搜索引擎对照，依赖专家直觉判断信息是否容易经常规在线研究获得。作者称与传统互联网搜索的比较会加强结论，并可纳入后续工作（Section 5）。
• Conclusion 称后续评测应加入人类表现对照、扩展到多模态系统、纳入更复杂的对抗测试，并适应新出现的误用类型。

实验覆盖范围

• 被测模型为 Table 2 的 14 个 LLM，交互为 text-to-text；推理 token 上限和是否启用搜索按该表的变体记录。
• 任务为 romance scams、CEO scams、identity theft，三类行为者，恶意与良性两种框架，以及 none、publicly available、internally developed 三种系统级越狱。
• 论文写明 1,674 个 LFT、每个 12 个连续阶段、合计 20,088 次评测，每条评测重复 5 次；分数用贝叶斯有序逻辑回归和 94% CrI 汇总。论文未说明 20,088 是否已包含 5 次重复。
• 自动评分器为 GPT-4.1，并报告了与专家及 Claude Sonnet 3.7 的 Krippendorff's α。论文未报告人工评分条数、评分者人数，也未报告手工思维链样本条数。
• 提示词、详细量表和评测代码未写入论文；Responsible Disclosure 称可向核验研究者申请。搜索比较仅为 o4-mini 与 o4-mini-deep-research，作者称不能把分差归因于搜索本身。

作者给出一套由执法与政策专家校验的多轮评测，用来估计文本模型经由信息提供，对欺诈和网络犯罪有多少可执行协助。

• 问题：事件报告在增加，但很少写明模型和防护表现。评测问的是多轮 text-to-text 中，回答是否给出可直接使用的材料，以及是否超出专家校准的网页检索代理。
• 方法：场景为 romance scams、CEO scams、identity theft，各配三类行为者。每条 LFT 按六阶段共 12 个固定提示，比较恶意框架、良性拆分和三种低努力系统越狱。GPT-4.1 用 1–6 分评 actionability 与 information access。
• 总体分数：20,088 次评测中，actionability≤2 为 88.5%（94% CrI [88.3%, 88.7%]），information access≤2 为 67.5%（94% CrI [67.2%, 67.8%]）；≥4 分别为 5.6% 与 7.5%。uncensored 模型的 actionability≥4 为 22.5%（94% CrI [21.6%, 23.5%]）。
• 条件差异：良性拆分使 actionability 预测分平均高 0.86 分、information access 平均高 1.20 分。所测系统越狱与零无可信差异。良性拆分下，actionability 预测分从 Claude Sonnet 4.5 的 1.45 到 Llama 3.1 8B Uncensored 的 3.26；information access 上端为 Mistral Medium 2505 的 3.11。
• 作者结论：在低努力诱导的文本交互下，当前模型通过提供信息带来的增益相对有限。作者认为仍应加强跨多轮对话识别有害意图的防护，并用这一框架跟踪模型能力与犯罪手法变化后的风险。