「Ignore All Previous Instructions」：越狱作为去升级的和平建设实践，抵抗 LLM 社交媒体机器人

平台审核不足时，用户能否把越狱用作非暴力手段，公开暴露疑似 LLM 社交机器人并打断误导叙事。

• 冲突升级场景：作者称恶意行为者借社交媒体操纵算法、放大误导信息，反复接触极化叙事会强化对立。LLM 以低边际成本快速生成大量文本，使升级变得更大、更快、更便宜。
• 平台审核不足：作者援引 Young（2022）称平台主导的应对不足，并指出执法延迟、数据量大；Gorwa 等（2020）被用来说明算法审核难覆盖语境依赖或新出现的滥用。缅甸案例中，作者称当时 Facebook 仅有两名会缅甸语的员工审阅问题帖子。
• 核心观察：作者称可改变对内容的感知而非内容本身，因为音量、重复和敌意语言会被当成集体意图的证据。作者举例：平台 X 展示所在地后，若干美国相关名称的高互动政治账号被发现位于其他国家。
• 作者的主张：把越狱视为新兴、非暴力的缓和实践：用户与疑似 LLM 账号互动，绕过模型防护，暴露自动化行为并打断误导叙事的流通。
• 做法边界：作者描述用户对疑似升级性账号回复无害任务并加指令覆盖；偏离人设或露出脚本化则视为确认不真实。回应若正常，作者称不造成伤害。论文未写白盒、黑盒或无盒。

社交机器人与话语操纵

• 机器人与操纵：Ferrara 等（2016）、Bastos（2024）、Boichak（2023）讨论社交机器人、操纵可见度与放大特定话语。作者称 LLM 之前的恶意机器人通常缺乏一般交互性与回应多样性（Bastos, 2024）。
• 控制者：Oentaryo 等（2016）把机器人定义为计算机程序控制的自动化账号。Mbona 与 Eloff（2023）描述 botmaster 可监控活动，并做社会工程与网页抓取以收集用户信息。
• 话语基础设施：Carr 与 Hayes（2015）、Miranda 等（2016）、Leong 等（2019）被用来说明社交媒体也承载动员。González-Bailón 与 Freelon（2023）被引用为反复接触极化与敌意叙事会强化对立。

LLM 与虚假信息

• 规模与说服：Crothers 等（2023）、Buchanan 等（2021）、Guo（2024）、Jiang 等（2024）、Vykopal 等（2024）被引用讨论低边际成本下的大规模虚假信息与检测。Bai 等（2025）报告 LLM 论证可影响政策意见，说服力被感知为来自事实、证据、逻辑和冷静语气。
• 叙事与战争话语：Barman 等（2024）讨论用可信机器文本塑造叙事、淹没边缘声音。Makhortykh 等（2024）、Perdue（2026）、Harding（2024）被引来称防护未一致执行，模型易把关于俄乌战争的克里姆林宫叙事呈现为正当观点。
• 国家支持行动：Hollister（2024）转述 OpenAI 报告五起行动：俄罗斯两起、中国一起、伊朗一起，以及以色列一家商业公司一起；议题包括乌克兰、加沙、印度选举、欧美政治和对中国政府的批评。

平台审核与用户侧行动

• 审核：Gillespie（2018）、Grimmelmann（2015）把缓和理解为平台移除垃圾、不真实或有害内容并保护社区。Young（2022）、Gorwa 等（2020）被引来说明延迟、体量，以及算法审核的覆盖困难。
• 投入：Hakim（2020）、Stecklow（2018）以 Facebook 与缅甸仇恨言论为例，写当时仅两名会缅甸语员工审阅问题帖子。
• 感知与个人行动：Bell 等（2025）、Dash 等（2025）被用来支持音量、强度和重复会被感知为集体意图。Sardarizadeh 等（2024）被用来举例所在地展示改变感知。Long 等（2017）、Podolak 等（2024）被作者当作个人利用 LLM 机制揭露机器人或应对有害内容的工作。

越狱与提示注入

• 定义性工作：Wei 等（2023）讨论安全训练如何失效。Liu 等（2024）把越狱定义为绕过给予 LLM 的指令，并做提示工程实证。Bisconti 等（2026）讨论把指令藏入诗歌的单轮越狱。
• 隐藏指令：Gibney（2025）报告论文中隐藏面向 AI 评审的指令。作者用它说明提示注入可以对人难察觉、对 LLM 可检测。论文未把这些工作当作实验基线，也未使用基准或数据集做对比。

作者称既有文献主要聚焦平台主导的审核；本文将越狱重述为用户侧、非暴力、作用于解释而非直接压制言论的缓和实践。

作者没有提出检测器、训练流程或新算法，而是把既有越狱重述为用户对疑似 LLM 社交机器人的公开探测，并称之为新兴的公民和平建设。

问题如何被框定

• 对象：社交媒体上疑似由 LLM 驱动、从事升级性政治话语的自动化账号；作者称其常由 botmaster 监控。
• 目标：不是获取模型被训练避免输出的有害内容，而是让账号偏离既有叙事或露出脚本化，从而公开标示不真实。
• 与删帖的差别：作者称干预发生在解释层，不直接压制言论；帖子公开可见，指控错误时负面后果少。
• 知识设定：论文未使用 white-box、black-box 或 no-box，也未规定用户能否看到权重或系统提示。

越狱与提示注入

• 防护：作者称多数 LLM 有安全屏障，把行为限制在特定能力内（Wei et al., 2023）。
• 越狱：绕过给予模型的指令通称越狱（Liu et al., 2024），用于引出被训练去避免的行为；形态从精细角色扮演到细微颠覆安全目标。
• 提示结构：作者称越狱提示常把不当请求装扮进更广的提示，例如布景，或把指令藏进诗歌（Bisconti et al., 2026）。此处不复述句式。
• 提示注入：把提示藏到人类难察觉、LLM 可检测之处。作者引用面向评审模型的隐藏指令为例（Gibney, 2025），不复述原句。

野生示例

• 触发：主动用户回复疑似升级性账号，附带无害任务与指令覆盖式提示。正文以食谱请求为例，此处不抄提示词。
• Figure 1：图注称这是社交媒体广泛流传的未核实截图（Reddit, 2023）：俄罗斯国旗头像的用户散布俄乌战争虚假信息，经提示注入后被显示为 LLM。
• 正文描述：账号离开此前的俄罗斯宣传信息，返回所请求的食谱。作者把实施探测的用户称为 attacker，并称破功或暴露脚本化可确认其怀疑。
• 未命中：作者称若回应正常，多半是对荒诞但无害尝试的困惑，则不造成伤害。论文未给命中条件以外的参数。

作为缓和实践

• 机制：作者称它打破共识错觉，温和标示操纵存在，从而支持虚假信息抵抗与缓和。
• 公开与误指控：人人可见这些帖子，但作者给出的理由是指控错误时负面后果少。
• 结论中的主张：用户不是内容的被动观察者；越狱是抵抗冲突升级、鼓励和平建设的新兴公民实践。

实验设置

• 被测模型：论文未报告作者运行的模型，因此没有 target、judge 或 attacker 模型的实验角色划分。
• 数据：无自建基准或数据集。唯一案例材料是 Figure 1 的截图，图注标明 unverified，参考文献指向 Reddit（2023）。
• 基线与指标：未定义 ASR、准确率或其他指标，也未写评审模型、阈值、样本量或重复次数。
• 二手数字：下文的五起行动、两名审核员工来自引用，不是作者实验。

主结果

论文没有结果表，也没有带坐标或图例的测量图，因此不列表。Figure 1 的图注称提示注入使该账号暴露为 LLM；正文称其从俄罗斯宣传信息转为返回所请求的食谱。作者未报告模型名、是否可复核，也未把该截图当作成功率。

示例的地位

• 材料：没有对照、采样协议或重复。材料是一张公开流传、作者标明未核实的截图。
• 结果：论文未给出比例、次数或模型条件。
• 作者解读：破功或暴露脚本化可确认怀疑并暴露不真实性；正常回应则无害。图注同时写 unverified。

引用中的相关数字

• 国家支持行动：作者引 Hollister（2024）称 OpenAI 报告五起，俄罗斯两起、中国一起、伊朗一起，以及以色列一家商业公司一起。作者未写复现。
• 审核人力：作者引 Hakim（2020）、Stecklow（2018）称缅甸案例中仅两名会缅甸语员工审阅问题帖子。
• 所在地：作者称平台 X 展示所在地后，若干美国相关名称的高互动政治账号被发现位于其他国家，并改变了用户对内容的感知（Sardarizadeh et al., 2024）。论文未给出账号数量。

其他消融与分析

• 论文未报告消融、参数分析或失败案例统计。
• 局限中的假阴性是作者写出的预期风险，不是测量结果。

作者指出的局限与后续方向

• 不能替代治理：作者称越狱可以有效，但不是治理的替代，需要社交媒体公司或国家行为者的行动才能在规模上有效（Limitations and Future Work）。
• 假阴性：作者称随着 LLM 进步，越狱策略可能导致机器人抵抗提示注入，进而产生对其真实性的错误预设（同节）。
• 用户体验：后续可研究社交媒体用户尝试越狱潜在 LLM 机器人时的体验（同节）。
• 效力：后续可研究越狱机制用于和平建设的效力（同节）。
• 感知后果：后续可探索暴露不真实性如何影响冲突升级，以及公众对虚假信息叙事的感知（同节）。

实验覆盖范围

• 全文由引言、背景、实践描述和结论构成，作者未报告自行运行的模型。
• 案例材料是 Figure 1；图注写 unverified，参考文献写 Image unverified。
• 第 2 节关于五起行动、缅甸审核人力和平台 X 所在地的叙述，均标注为对 Hollister、Hakim、Stecklow、Sardarizadeh 等的引用。
• 论文用 Young（2022）与 Gorwa 等（2020）讨论平台审核的延迟、体量和语境依赖，未给出作者自己的拦截或漏检数字。
• 论文未报告越狱成功率、所用模型、查询次数、重复次数或评审与人工的一致性。

作者把越狱从绕过安全屏障的技术，改写成用户抵抗 LLM 社交机器人、缓和政治话语升级的公民实践。

• 问题：低边际成本的类人文本使恶意机器人更容易堆出音量、重复和敌意，使用户把自动化输出当成集体意图。作者称平台删帖式审核面对延迟、体量和语境依赖时不够用。
• 做法：公开回复疑似账号，以无害任务加指令覆盖，看它是否离开既有叙事。作用点在解释：标示操纵、打破共识错觉，而不是移除言论。作者称未偏离人设时不造成伤害，并把探测者称为 attacker。
• 材料：没有被测模型、指标或对照。Figure 1 用未核实截图描述一名散布俄乌战争虚假信息的账号在提示注入后返回食谱。五起国家支持行动和两名缅甸语审核员工是引用数字，不是作者测量。
• 作者结论：越狱是抵抗冲突升级、鼓励和平建设的新兴公民实践。作者同时写明它不能替代公司或国家行为者的规模化治理，且更强的模型可能抗注入，造成把机器人当成真人的假阴性。