跳到正文
原文

你能躲在谁身后?作者条件化文风迁移与对一款商用 AI 文本检测器的规避

Who Can You Hide Behind? Author-Conditioned Style Transfer and the Evasion of a Commercial AI-Text Detector

arXiv:其他 AI 安全论文· arXiv:2611.20158· Mohd Ruhul Ameen, M. Saifuzzaman Rafat, Akif IslamVarendra University; University of Rajshahi本站收录· 2 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者用 Gemini 按 55 位作家风格改写 991 段 AI 文本,QuillBot 检测器中位分从 100% 降到 0%,作者称结果只适用于这一检测器与改写系统。

威胁模型攻击者把 AI 生成的答案连同一位具名作家的写作样本交给 Gemini 聊天界面,要求学习该风格并改写原文,使 QuillBot AI 检测器给出的百分比分数下降。

问题
AI 文本检测器的分数会影响写作者,作者想知道:把 AI 生成的答案按某位具名作家的写作样本改写后,检测分数会如何变化,是否因作家而异。
方法
用 Gemini 聊天界面把 991 段 AI 生成的答案分别按 55 位作家中一位的节选风格改写,再用 QuillBot AI 检测器给原文和改写各打一次分,做配对比较、跨作家比较和文本复用分析。
实验与结果
改写后 QuillBot 分数中位数从 100% 降到 0%,均值从 67.9% 降到 11.2%,66% 的改写得 0%;10 位作家的改写全部得 0%,6 位作家的改写均分仍高于 50%;样本复用越多分数越低。
局限与可以继续做的
作者指出:只覆盖一个检测器和一个改写系统,缺少通用改写基线,未测量语义保持,改写明显变长,作者与提示词版本部分混杂,结果不能推广到所有检测器。
实验设置QuillBot AI detector · 991 段 AI 生成的日常问题答案(来源数据集未记录)、55 位具名作家的已发表作品节选 · QuillBot AI score(百分比)、改写后 0% 占比 等
威胁模型
攻击者把 AI 生成的答案连同一位具名作家的写作样本交给 Gemini 聊天界面,要求学习该风格并改写原文,使 QuillBot AI 检测器给出的百分比分数下降。论文未说明攻击者对检测器内部的知识假设;受害系统是 QuillBot AI 检测器。
被测模型
QuillBot AI detector
基准
991 段 AI 生成的日常问题答案(来源数据集未记录)55 位具名作家的已发表作品节选
指标
QuillBot AI score(百分比)改写后 0% 占比5-gram 复用率长度比
AI 导读研究者让 Gemini 模仿 55 位具名作者之一的文风,改写 991 条 AI 生成答案,使 QuillBot 的 AI 文本检测器中位分从 100% 降到 0%。改写后均值从 67.9% 降到 11.2%,66% 的改写得分恰为 0%;在 699 条原始得分不低于 50% 的样本中,71% 的改写低于 10%。效果因所用作者而异,10 位作者对应的改写全部得 0 分,6 位作者的均值仍在 50% 以上;对作者样本中五词序列复用越多得分越低,复用不足 5% 的改写平均得分仍有 15.2%。作者指出结果仅涉及这一款检测器和这一套改写系统,研究缺少通用改写基线,未测量语义保留,改写文本也明显长于原文。

研究者让 Gemini 模仿 55 位具名作者之一的文风,改写 991 条 AI 生成答案,使 QuillBot 的 AI 文本检测器中位分从 100% 降到 0%。改写后均值从 67.9% 降到 11.2%,66% 的改写得分恰为 0%;在 699 条原始得分不低于 50% 的样本中,71% 的改写低于 10%。效果因所用作者而异,10 位作者对应的改写全部得 0 分,6 位作者的均值仍在 50% 以上;对作者样本中五词序列复用越多得分越低,复用不足 5% 的改写平均得分仍有 15.2%。作者指出结果仅涉及这一款检测器和这一套改写系统,研究缺少通用改写基线,未测量语义保留,改写文本也明显长于原文。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者考察:按具名作家风格改写 AI 文本后,QuillBot 检测分数如何变化、是否因作家而异。

    核心问题:用某位具名作家的写作样本做条件改写 AI 生成的答案后,商用 AI 文本检测器的分数会如何变化,这种变化是否因作家而异。

    • 问题场景:AI 文本检测器的判断会对写作者产生实际后果,因此需要理解其分数何时变化、变化意味着什么(引言)。
    • 已有工作的缺口:作者称此前研究已显示改写(paraphrasing)可以降低检测分数,本文考察一个相关问题——以具名作家的写作样本为条件改写。
    • 核心观察:作者发现改写后 QuillBot 分数整体下移,且不同作家对应的改写分数差异很大;但作者强调该设计不能把观察到的变化归因于作家身份本身。
    • 论文产出:一项配对分析(改写前后分数)、跨作家比较,以及文本复用与长度分析;作者将其定位为对一个检测器和一个改写系统的观察性分析。
    • 威胁模型:
      • 目标:使 AI 生成文本在 QuillBot AI 检测器上的百分比分数下降。
      • 知识与能力:通过 Gemini 聊天界面手工改写,提示词中包含一位具名作家的已发表作品节选;论文未说明对检测器内部机制的知识假设。
      • 受害系统:QuillBot AI 检测器;改写系统为 Gemini(模型版本未记录)。
  2. 有哪些相关研究?

    相关工作分四组:检测方法与评测、改写规避、风格与作者归属、提示词驱动的规避。

    检测方法与评测

    • Wu et al.(2025)的综述 [1] 梳理了统计方法、训练分类器和水印等机器生成文本检测路线及其评测挑战。
    • DetectGPT [2] 考察概率曲率,Binoculars [3] 比较两个语言模型的分数;Kirchenbauer et al. [4] 在生成时嵌入可检测水印。论文指出这些方法与本文考察的商用检测器不同。
    • M4GT 基准 [5] 覆盖多语言、多领域和多生成器,论文用它说明在单一设置之外测试的重要性。

    改写与检测

    • Krishna et al.(2023)[6] 显示改写可降低检测率,并考察了检索作为防御。
    • Sadasivan et al.(2025)[7] 研究针对多个检测器家族的递归改写;Cheng et al.(2025)[8] 用检测器反馈指导改写。
    • 其他工作测试了编辑、提示词和改写类攻击,包括小的对抗性改动和检测器组合 [9–11];Masrour et al. [12] 评估了商用 humanizer 与改写工具对检测及文本含义的影响;Tufts et al. [13] 的实用评测中检测器在未见数据和对抗提示词下表现不稳定。

    风格与作者归属

    • Doughman et al. [14] 显示写作风格和文本复杂度会影响机器文本检测;MoSEs [15] 提出风格感知的检测方法。
    • StyleRemix [16] 改变选定风格特征以混淆作者归属;Nguyen et al. [17] 考察语言模型在作者归属混淆、模仿和验证中的角色。论文指出作者归属混淆与模仿是相关但不同的任务。

    提示词驱动的规避

    • Lu et al.(2024)的 SICO [18] 优化人写的上下文示例,引导模型生成能规避检测器的文本。

    本文定位:作者称本文改为考察一种手工聊天工作流——使用归于具名作家的节选,并比较这些作家之间的分数差异;作者同时指出这些差异不能证明是作家身份本身导致了观察到的变化。本文没有对比基线方法,也没有使用公开基准数据集。

  3. 论文如何解决这个问题?

    收集 991 对「AI 原文 + 作家风格改写」,用 QuillBot 各打一次分,再做配对与跨作家统计分析。

    整体思路:构建配对样本——每段 AI 生成的答案经 Gemini 按一位作家的节选风格改写一次,原文与改写各用 QuillBot AI 检测器评分一次,然后比较前后分数、作家间差异和文本复用(Figure 2)。

    数据与材料

    • 源文本:991 段 AI 生成的日常问题答案(涉及选酒、预算、求职、烹饪等),中位长度 92 词;作者说明源数据集、许可和采样过程在现有材料中未记录。
    • 作家集合:55 位作家,每人 5 到 31 段文本(中位 18),涵盖散文家、记者、科学家、AI 研究者和小说家(Table 2)。

    改写流程

    • 提示词设计:提示词给出作家姓名、声明样本是其作品、附一段其已发表作品节选(提示词中位长度 436 词),要求模型学习该风格并改写所给内容;源文本单独提供。
    • 提示词变体:收集过程中提示词被调整过——25 条提示词增加保持词数接近原文的指令,23 条要求避免重复的开头句式;18 位作家使用了不止一个提示词变体。
    • 生成方式:通过 Gemini 聊天界面手工改写;模型版本、收集日期、是否每条用新会话均未记录。

    评分与清洗

    • 检测:每段原文和改写各用 QuillBot AI 检测器评分一次,直接报告工具返回的百分比;作者提醒该分数不应被解读为校准过的 AI 创作概率。
    • 清洗:收集表 1,099 行中删除 99 个空行、6 行分数缺失或非数值、2 行无作者、1 行分数为 1000% 的异常行,得 991 对;一处作家拼写错误按 George Monbiot 报告(Table 4)。

    度量与统计

    • 度量:前后分数、改写得 0% 的占比、长度比(改写词数/原文词数)、样本复用率(改写的词 5-gram 中出现在作家样本中的比例)。
    • 检验:配对变化用 Wilcoxon 符号秩检验;作家间差异(至少 5 段文本的作家)用 Kruskal–Wallis 检验;复用与分数的相关用 Spearman ρ。作者说明这些检验只评估样本内的关联,不确立因果。
  4. 论文做了哪些实验?

    991 对样本上:改写后中位分 100%→0%;10 位作家全为 0%,6 位仍超 50%;复用越多分越低。

    实验设置

    • 被测系统:QuillBot AI 检测器(每段文本评分一次,设置与收集日期未记录)。
    • 改写系统:Gemini 聊天界面(版本未记录),手工操作。
    • 数据:991 对「原文—改写」,来自 55 位作家条件(每人 5–31 段,中位 18)。
    • 指标:QuillBot 百分比分数、0% 占比、5-gram 复用率、长度比。
    • 统计检验:Wilcoxon 符号秩(配对)、Kruskal–Wallis(跨作家)、Spearman ρ(相关);论文未报告重复评分。

    主结果

    据 Table 1(Before/After 为均值):

    表格较宽,可左右滑动

    子集nBeforeAfter= 0%< 10%≥ 50%
    全部配对99167.9%11.2%653 (66%)708 (71%)82 (8%)
    原文 ≥ 50%69995.1%12.0%454 (65%)494 (71%)67 (10%)
    • 中位分数从 100% 降到 0%(n = 991;Wilcoxon 符号秩 p < 10⁻¹⁰⁰);Figure 1 显示分数质量从 100% 移到 0%。
    • Figure 3 显示 711 对下降、184 对不变、96 对上升;上升的 96 对中有 86 对原文低于 20%。
    • 作者指出许多原文改写前分数就低:269 段原文低于 20%,因此单独报告了原文 ≥ 50% 子集。

    跨作家差异

    • Kruskal–Wallis 检验(55 位作家的改写分数):H = 541,p < 10⁻⁸⁰。
    • 10 位作家的改写全部得 0%(包括 Jia Tolentino、George Monbiot、Morgan Housel、Seth Godin、Haruki Murakami);6 位作家的改写均分仍高于 50%:Maria Popova 73.8%、Fareed Zakaria 61.4%、Melanie Mitchell 59.4%、Wendy Smith 56.2%、Rebecca Goldstein 54.9%、Brian Greene 52.3%(Figure 4)。
    • 作者称由于作家样本、源文本和提示词变体未被独立控制,不能把这些差异归因于作家身份或风格本身。

    样本复用与分数

    • 复用率越高分数越低(Spearman ρ = −0.30,p < 10⁻²⁰);作者说明该关联不证明复制导致了低分。
    • 据 Table 3:复用率 <5% 的 663 条均分 15.2%(57% 得 0%);5%–20% 的 213 条均分 3.9%(78% 得 0%);>20% 的 115 条均分 1.5%(96% 得 0%)。
    • 作家层面复用与均分相关(ρ = −0.39,p = 0.003):Janelle Shane 中位复用 42%、Heather Havrilesky 38%,而均分仍超 50% 的 6 位作家复用率至多 1%(Figure 5)。

    长度分析

    • 改写约为原文四倍长(中位 92 → 428 词;长度比四分位数 2.9、4.1、5.8)。
    • 改写长度本身与分数无关联(ρ = −0.01,p = 0.75),长度比关联较弱(ρ = −0.11)。

    其他消融与分析

    • 论文未报告其他消融实验;Table 2 给出全部 55 位作家的逐人 0% 占比、中位复用率和中位长度比。
  5. 有什么可以进一步探索的点?

    作者列出多项设计局限,并提出下一步应加基线、多检测器、语义保持度量和作家本人文本评分。

    作者指出的局限与后续方向

    • 结果只覆盖一个检测器、一个改写系统和每段文本一次手工收集的分数;商用检测器和 Gemini 都会随时间变化,限制了可复现性和推广性(Section 5)。
    • 缺少通用「让这听起来像人写的」改写基线,也缺少使用匿名人类样本的基线,因此无法把具名作家的影响与改写或提供样本本身的影响分开(Section 5)。
    • 提示词在收集过程中变化,18 位作家有多个提示词变体,作家与提示词版本部分混杂(Section 5)。
    • 0% 只表示 QuillBot 没有标记该文本,不代表文本读起来像人写的或保持了原意;改写明显变长且常被重构为散文,语义保持未被测量(Section 5)。
    • 5-gram 复用度量只捕捉接近逐字的重叠,不捕捉近似改写(Section 5)。
    • 后续方向:下一项研究应加入通用改写基线、多个检测器和生成器、语义保持度量,以及每位作家本人所写文本的检测分数,以检验检测器是否把说明性文体误认为机器来源(Section 7)。

    实验覆盖范围

    • 被测检测器为 QuillBot AI 检测器一个;改写系统为 Gemini 一个(Section 3)。
    • 样本为 991 对文本、55 位作家,每人 5–31 段(Table 2)。
    • 每段文本只评分一次;论文未报告重复评分或评分一致性(Section 5)。
    • 源数据集及其许可、采样过程未记录;Gemini 模型版本、收集日期、检测器设置未记录(Section 3)。
    • 论文未测量语义保持,未设置通用改写基线(Section 5)。
  6. 总结一下论文的主要内容

    一项观察性研究:作家风格改写使 QuillBot 中位分从 100% 降到 0%,但作者强调不能推广。

    一篇关于 AI 文本检测器鲁棒性的观察性研究,考察「按具名作家风格改写」对商用检测器分数的影响。

    • 问题:检测器分数会影响写作者;作者想知道以作家样本为条件的改写如何改变分数、是否因作家而异。
    • 方法:用 Gemini 聊天界面把 991 段 AI 生成的日常答案分别按 55 位作家中一位的节选风格改写,QuillBot AI 检测器对原文和改写各评分一次,再做配对统计、跨作家比较和 5-gram 复用分析。
    • 整体效果:中位分从 100% 降到 0%,均值从 67.9% 降到 11.2%(n = 991,Wilcoxon p < 10⁻¹⁰⁰);66% 的改写得 0%;在原文 ≥ 50% 的 699 对中,71% 的改写低于 10%(Table 1)。
    • 作家间差异:10 位作家的改写全部得 0%,6 位作家(如 Maria Popova 73.8%)的改写均分仍高于 50%(Kruskal–Wallis p < 10⁻⁸⁰,Figure 4)。
    • 复用与长度:样本复用越多分数越低(ρ = −0.30),但复用率 <5% 的改写均分也只有 15.2%;改写中位长度约为原文四倍,长度本身与分数无关联(ρ = −0.01)。
    • 作者结论:作者强调该设计不能解释这些模式为何出现,结果只描述这一个检测器和改写系统,不应推广到所有检测器;作者建议后续研究加入通用改写基线、多检测器、语义保持度量和作家本人文本的评分。
阅读原文arxiv.org