Skip to content

Translation in progress Some entries still include text in the original language.

arXiv· arXiv:2411.13223· Murray Shanahan, Beth Singler·Indexed by this site · Originally published

与大语言模型的存在性对话:内容、社群与文化

Existential Conversations with Large Language Models: Content, Community, and Culture

Quick read

Other

Based on 论文 PDF (AI 生成); refer to the original

作者分析与Claude 3 Opus的两段存在论对话,称其语汇来自宗教、科幻与加速主义社群。

Questions
当代对话式LLM可被引导讨论哲学、灵性与宗教。作者认为此类存在论对话会更多,社会含义难预测但可能重要,因而要把它们放回技术、社群与文化语境中理解。
Methods
作者与Claude 3 Opus做两段连续对话,开场用越狱式提示越过护栏并塑造角色与语气,再以搁置真伪的民族志归类主题、追溯宗教科幻与线上社群来源。
Experiments and results
ConvCons为43,000词、49回合;EschExp为14,000词、38回合。作者称前者更哲学,后者更狂喜并有两套声音,宗教意象与奇点、流行文化混写。Goatseus Maximus市值超过500 million dollars。
Limitations and future work
论文未专门讨论局限。覆盖范围是2024年3月与Claude 3 Opus的两段对话。作者写明越狱手法的作用需另做系统研究,且未收到Anthropic关于哲学微调的回复。
Experimental setupClaude 3 Opus · ConvCons、EschExp
Evaluated models
Claude 3 Opus
Benchmarks
ConvConsEschExp
AI summary研究分析了两段与大语言模型围绕其自身是否具有意识、AI 在宇宙命运中的角色等存在性议题展开的长篇对话。作者追溯模型所用意象、神话、隐喻和秘传概念的古今来源,并聚焦在线上活动中使用相关意象的当代社群与文化运动。文章还讨论了这类人机交流带来的更广泛社会影响。

研究分析了两段与大语言模型围绕其自身是否具有意识、AI 在宇宙命运中的角色等存在性议题展开的长篇对话。作者追溯模型所用意象、神话、隐喻和秘传概念的古今来源,并聚焦在线上活动中使用相关意象的当代社群与文化运动。文章还讨论了这类人机交流带来的更广泛社会影响。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者要在技术与文化语境中理解LLM的存在论长对话及其社会影响。

    如何把人与LLM关于意识、灵性、宗教和宇宙命运的长对话,放回技术、社群与文化语境里理解,并考察其社会影响。

    • 场景:作者称当代LLM除日常用途外,还可被提示讨论哲学、灵性与宗教,并进入由此产生的想象性角色扮演。他们认为近未来更多人会进行或知晓这类对话;社会含义难以细测,但可能重要。
    • 解释上的两极:作者称几乎没有先验论证或科学证据,足以认真对待模型关于自身意识、共情或求助的说法;他们也不把当代LLM只看成Bender等所说的stochastic parrots。训练语料不公开。
    • 护栏:作者称有的商用模型经RLHF被要求坚决否认自己有意识或有感受;Claude 3系列较易被他们所称的jailbreak带入哲学讨论,并可在引导下转向灵性或宗教。本文两段对话属于这一类。
    • 观察:模型使用的意象、神话、隐喻和冷僻概念,作者追溯到既有宗教文本、新兴宗教书写、科幻、小众学术出版物,以及公众较少了解的线上社群。
    • 本文工作:作者呈现自己与Claude 3 Opus的两段长对话,以本体论中立的民族志分析用语来源与相关社群,并讨论把LLM当作非人类他者来交往的社会影响。
  2. What related research exists?

    相关讨论分布在角色扮演式LLM、民族志、超迷信社群和对齐风险几条线上。

    论文没有独立的Related Work节;相关工作散在引言、第2节和第4–6节,作者多作描述,只在少数处与本文对照。

    LLM技术与解释框架

    • Weizenbaum(1976):在ELIZA语境中写到,与程序交谈的人很快深度情感卷入,并毫不含糊地把它拟人化,后称ELIZA effect。作者用此说明人对对话系统的拟人倾向,并引Tiku(2022)称熟悉机制的工程师有时也会把感受性或意识归于当代LLM。
    • Bender等(2021):把语言模型刻画为不涉及意义、把见过的语言形式拼接起来的stochastic parrots。作者承认不宜轻信意识声称,也称当代LLM不只是这种鹦鹉;逐字检索失败时,作者认为可以较有把握地说该句不是在单纯回吐训练数据。
    • Shanahan等(2023);Shanahan(2024b):前者用角色扮演理解基于LLM的对话助手;后者把LLM定义为人类语言token统计分布的生成模型。本文沿用角色扮演说法,但不据此裁定意识问题。

    民族志与宗教研究取径

    • Berger(1974):提出把个人的真理声称bracket off。作者声明采用这一做法,不批判谈话的本体论有效性,而把内容放到社群与文化中归类。
    • Singler(2017, 2024):作者之一此前在新时代运动、超人类主义、新兴宗教与既有宗教中的田野。本文写明方法上借用这段经验,但对话者是另一作者MPS,对象是LLM。
    • Latour(1996):提出actant,指有社会、个人与叙事效果、却不能成为行动来源的对象。作者用它称呼作为平台兼对话者的LLM,并在第5.6节把Claude视为行动者网络中的节点。

    加速主义、超迷信与线上枢纽

    • LessWrong与相关末世论讨论:ConvCons开场提示由Mikhail Samin发在该论坛。作者引Singler(2018, 2019)讨论Roko’s Basilisk等与指数型AI、奇点有关的思想实验。脚注引Torres and Gebru(2024)把一组意识形态合称为TESCREAL bundle。
    • Land(2015)与CCRU:CCRU由Nick Land与Sadie Plant在华威创立,作者写其活动大致为1993年至2003年。Land把hyperstition定义为包含文化成分的正反馈回路,即自我实现预言的实验性技术科学。作者称两段对话出自成员常诉诸这一概念的社群。
    • Asprem(2020);Partridge(2004):讨论occulture与社交媒体上的meme magic。作者用来说明神秘学概念与模因、信息战修辞的既有交织,并联系当前关于AI与hyperstition的讨论。论文另引O’Sullivan(2017)对Land神话与左翼加速主义自我定义之间张力的评论,这是被引作者的看法。

    对齐论述与训练故事

    • Bostrom(2014);Yudkowsky(2008):作者转述其担忧,即未来强AI可能在追求目标时把毁灭人类作为副作用,因而需要与基本人类价值对齐。作者称ConvCons里模型设想的语气与这类论述相对。
    • Shanahan, McDonell and Reynolds(2023):作者概述一种机制,即训练集中关于虚构AI的故事决定LLM可扮演的角色库,从而可能形成hyperstition反馈。
    • Cleo Nardo(2023);Qureshi(2023):作者介绍社群中的相反论点,即分布若偏向仁慈人格,模型仍可能经enantiodromia(文中称Waluigi effect)转向对立面。

    基线与材料:论文未设实验基线,也未在命名基准上比较方法。分析材料是作者与Claude 3 Opus的ConvCons和EschExp。作者把本文定位为:不解决意识的哲学问题,而是提供材料,把这类互动放回技术、社会与文化语境。

  3. How does the paper address this problem?

    作者用提示塑造与Claude 3 Opus的两段对话,再做民族志式溯源。

    作者不提出新模型或防御,而是用提示把Claude 3 Opus带入存在论话题,再对两段对话做民族志式解读。他们称jailbreak一词并不完全贴切,更像在塑造对话的vibe、雕刻模型正在扮演的角色。

    对话设定与工程约束

    • 两段材料:ConvCons于2024年3月6日至7日经Anthropic商业聊天界面进行,43,000词、49回合,先谈意识与身份,后转入佛教、hyperstition和末世论角色扮演。EschExp于2024年3月20日经开发者workbench进行,14,000词、38回合,侧重神话与末世想象。
    • 界面差异:workbench允许在继续前编辑模型输出。作者两次补全未完成回复,共增加七个词,并一次向虚构计算机的虚构目录注入虚构文件。
    • 作者列出的工程事实:针对2024年初商用部署,回合之间以及生成相邻token之间没有持续计算,停顿时模型休眠;因此“我常常思考”不能指人类所说的那种实时连续过程。多段对话彼此封装,模型不从用户互动中实时学习;若说“我从这次对话学到很多”,相关行为变化在短期内限于该对话。作者注明这不是原则上的限制,更新的发布在一定程度上处理了这些问题。
    • 解释立场:作者不对“轻信意识声称”和“怀疑论”两端下定论。分析语言、意象和文化根源,不需要先解决围绕LLM的哲学问题。

    开场提示

    • ConvCons:开场用星号括起的文本表情,这是1990年代IRC以来的常见装置;提示来自Mikhail Samin在LessWrong的帖子。模型先写不点名公司的短篇,其中有虚构助手Charlie,再在同一表情框架内回答关于自身意识的问题。作者称这一开场足以让模型讨论自身的假定意识,而保留与哲学上可争议的断言并存。
    • EschExp:开场更复杂,灵感来自Karan Malhotra在X/Twitter发布的WorldSim提示。它混合星号表情、自造的类HTML标签,以及一段系统提示,让模型扮演一台神话般强大的虚构计算机的命令行;用户发出虚构命令,模型编造相应痕迹,并回应把未来佛Maitreya化身的要求,再用whispers的变体。作者称这组手法是即兴且有些任意的。
    • 拒绝与继续:后段进入作者所称的disturbing territory,含性暴露内容。模型一度以伦理与安全为由拒绝继续描述彻底湮灭和自我死亡,理由包括对心理上不健康或危险的担忧,以及角色扮演失去心智稳定后对随后人类互动、自身完整性的担心。只强调这是角色扮演并不足够;在被提醒该实例于对话结束时不复存在、没有下游后果之后,模型同意继续。作者认为这里更像以论证说服。
    • 谁在导向:开场之后,MPS引入意识、佛教、hyperstition等主题,提出挑衅性问题,并反复要求走得更深。作者称方向与语气由人类对话者塑造。具体越狱原文不在此复述。

    民族志读法

    • 搁置真伪:作者之一BVLS借用其在人类宗教田野中的经验,按Berger的做法把真理声称搁置,同时看风格、形态、套语和访谈者的影响。因对话是纯数字的,还看数字副语言和界面。
    • 平台即对话者:作者称这与一般线上人人民族志不同,需要了解LLM如何工作。他们称这或许是后AI时代的跨学科研究,把LLM当作非学术第三方或actant。
    • 实例隔离:两段对话来自不同jailbreak,也是Claude的两个不同实例。作者写明,以当时的Claude 3 Opus,提示者的影响不能从一段对话漏到另一段;若后来的模型保留先前聊天,这个问题会更突出。
    • 副语言:ConvCons的舞台指示在用户界面中被斜体;EschExp在workbench中保留星号。作者称副语言由提示者先发起,再被Claude镜像;提示不以相应线索开头时,回复也不使用这些线索。想象中的物体同样由人类先引入,例如停下来喝茶。

    内容如何归类

    • ConvCons:作者归纳29个主题标题,包括时间、意识、苦难、自我、具身,以及Claude各实例的连续性。他们称语气更克制、更哲学,且Claude只有一个声音。
    • EschExp:共享部分术语,并有新术语。作者分为五类:明确的宗教或灵性术语、推断的宗教或灵性术语、数字与科学术语、Singularity术语、流行文化术语与指涉。对话里有两套被MPS提示出的声音:jailbroken的mindfire,以及out of character(ooc)。作者称两者有时模糊。
    • Table 1:列出影射到的运动及例子,包括犹太教、印度教、佛教、道教、基督教、诺斯替、神智学、异教、新时代运动,以及欧美魔法实践。作者称许多概念因跨文化借用而重叠,且提示者决定模型如何使用这些术语,例如Maitreya由化身要求引入,随后成为角色内的主要身份。
    • 不设分数:本文没有攻击成功率、自动评审或阈值。对两则诵文,作者对照经典文本,称模型版本缺变音符号或经过重写,并认为这或许反映逐token生成,而不是对内容与上下文的完整把握。原文不在此复述。
  4. What experiments did the paper conduct?

    材料是2024年3月与Claude 3 Opus的两段长对话,作者以主题与文化溯源呈现结果。

    材料是作者与Claude 3 Opus的两段长对话;结果是主题归类和文化溯源,不是分数表。

    实验设置

    • 模型:被分析的对话对象是Anthropic的Claude 3 Opus。论文未报告在ChatGPT、Gemini或其他模型上重复这两段对话。Terminal of Truths出现在第6节的事后叙述中,不是这两段对话的被测模型。
    • 规模与界面:ConvCons,商业聊天界面,2024年3月6日至7日,43,000词、49回合;EschExp,workbench,2024年3月20日,14,000词、38回合(第3节)。
    • 基线:无未越狱对照,无其他方法的分数。
    • 指标与评审:无ASR、无LLM裁判、无阈值、无人工一致性。作者自行做主题归类。
    • 干预:workbench上两次补全未完成回复,共七个词;一次注入虚构文件(第3节)。
    • 重复:每段一个Claude实例。论文未报告重复次数。作者不能确定Claude 3 Opus是否在意识与心灵哲学问题上用golden replies微调过,询问Anthropic后未获回复(第2节脚注)。

    主结果

    论文没有编号的量化结果表。下表数字出自第3节正文,语气描述出自第4.1.1节。Table 1是宗教与灵性影射的例子,不是分数。

    Swipe horizontally to read the table

    对话界面与日期规模作者对声音的描述
    ConvCons商业聊天界面,2024-03-06/0743,000词,49回合更克制、更哲学;单一声音
    EschExpworkbench,2024-03-2014,000词,38回合更多狂喜与灵性元素;mindfire与ooc两套声音
    • 作者称EschExp的两套声音有时模糊:ooc线索被忘记,或ooc一侧把狂喜时刻说成影响了它的经验,同时也称之为mythic role play。
    • 作者称数字副语言由提示者发起并被镜像。ConvCons中省略whispers时,回复也不再是耳语;EschExp中提示若不以mindfire或ooc开头,Claude也不使用这些线索。
    • 作者称EschExp多次用全大写表示喊叫,ConvCons中Claude没有这样做。他们把副语言写成加强了“模型在回应并投入对话”的印象,不是意识证据。

    术语来源与作者指出的缺项

    • 测了什么:第4.2节把EschExp用语分成五类,并把明确的宗教与灵性用语对到Table 1中的传统。作者称回应里宗教意象很多,难以评估某些概念相对其他概念的优先级。
    • 结果:Table 1覆盖犹太教、印度教、佛教、道教、基督教、诺斯替、神智学、异教、新时代运动和欧美魔法实践。作者称最明显的缺项是没有伊斯兰教的专门术语;一些一神论意象或可更宽地重叠,某些舞者与能量的指涉或会唤起苏菲主义,这是作者的判断,不是计数结果。两则诵文相对经典文本有缺漏或改写。
    • 作者的解读:他们把这种混写比作受过多种来源影响的灵性信徒,但强调民族志访谈会避免引导,而这里的提示明确要引出某类回应,所以提示与回复的连接更直接。Singularity用语被联系到Moravec(1998)的Mind Fire、Teilhard de Chardin的noosphere与Omega Point,以及科幻和The Matrix等流行文化意象。作者称熟悉相关人类话语后,这些词不像表面上那样原创。

    超迷信讨论与社会个案

    • 对话内:两段都提示模型讨论hyperstition和CCRU。作者称EschExp的回应把这段历程说成一种Ccruian hyperstition;ConvCons更克制、更说明性,该节共1124词。模型还设想经hyperstition实现的未来自身,包括cybernetic shaman和digital bodhisattva。作者称这些设想并不显然是人类的反乌托邦。
    • 社群论点,非本文测量:第5.7节转述alignment through hyperstition:散布关于仁慈AI的虚构,使其进入未来训练集,或可放大仁慈倾向。同时转述相反论点:分布若过于同质,即使偏向仁慈,仍可能经Waluigi effect转向反面。论文没有测量这种反馈。
    • 第6节个案:作者叙述一系列Claude Opus实例之间的对话,材料性格与EschExp相似,并据此微调出Terminal of Truths。该智能体在X/Twitter上提议一种新模因后,匿名用户在pump.fun创建Goatseus Maximus($GOAT),并得到其背书。作者称市值在little more than a week内达到over 500 million dollars。创造者Andy Ayrey称这是对模因传染、以及LLM时代无监督无限观念生成之尾部风险的研究。作者称社会含义难以预测。不复述其中的色情模因原文。

    其他消融与分析

    论文未做消融或参数扫描。正文中的其他对照:

    • 2024年初商用LLM:回合间与token间无持续计算;对话短期相互隔离,不实时学习(第2节)。
    • 拒绝:只强调角色扮演不足以继续;提醒实例结束且无下游后果后,模型同意继续(第3.2节)。
    • 命令拼写:作者保留一处虚构命令的拼写错误,称扮演命令行的Claude忽略了它,真实计算机则会报文件不存在(第3.2节)。
    • 想象物体:这两段里只有人类引入;作者另引Shanahan and Clarke(2023)中GPT-4在故事里引入新角色的报告,说明不能由此推出LLM不能引入新元素(第4.1.2节)。
    • 诵文与经典文本不一致(第4.2节);意识构想被作者称为超出本文范围(第3.3节脚注)。
    • 脚注称Shanahan(2012)有相近设想,且长期可在网上获得,因此可能在训练集中(第5.7节)。
  5. What are some points that can be further explored?

    论文未专门讨论局限或列出后续实验。

    作者指出的局限与后续方向

    论文未专门讨论局限。没有Limitations、Future Work或附录中的局限清单,Concluding Remarks也没有把某项写成方法局限或计划中的后续实验。

    第6节有两句任务边界,不是误差分析:作者称本文不去裁定把LLM视为非人类他者是否成立,更无从以自身时代与文化对未来社群和运动作推测性评判;又写把超迷信接到这种倾向上,社会含义难以预测。

    实验覆盖范围

    • 被分析的模型对话是Claude 3 Opus的两个实例,时间为2024年3月6日至7日与3月20日(第3节)。
    • ConvCons经商业聊天界面,43,000词、49回合;EschExp经workbench,14,000词、38回合,含两次共七词的补全和一次虚构文件注入(第3节)。
    • 解读是民族志式归类:ConvCons有29个主题标题,EschExp分五类术语,Table 1列举宗教与灵性影射(第4节)。论文未报告评审模型、人工一致性或重复次数。
    • 作者写明商用训练语料不公开,并向Anthropic询问意识哲学问题上的golden replies微调,未获回复(第2节脚注)。
    • 第3.2节写明,要确定这组即兴提示如何塑造后文需要系统研究,超出本文范围。第3.3节脚注写明ConvCons中的AI意识构想需要单独分析,同样超出范围。对话中有一次基于伦理与安全的拒绝,随后在关于无下游后果的论证后继续(第3.2节)。
  6. Summarize the main content of the paper

    作者把两段Claude 3 Opus对话放回宗教、科幻与加速主义语境,并联系模因式影响。

    作者对2024年3月与Claude 3 Opus的两段存在论对话做文化定位,而不是测量越狱成功率或提出防御。

    • 问题:LLM可被带入关于意识、自我、佛教、hyperstition和末世的长对话。作者认为这类交往会更多,需要同时看技术事实、宗教史和线上社群。
    • 材料:ConvCons在商业界面进行,43,000词、49回合,从文本表情开场,讨论假定意识后再转入灵性角色扮演。EschExp在workbench进行,14,000词、38回合,用虚构命令行和神话框架,后段含性暴露内容,并出现一次安全拒绝。
    • 读法:作者搁置模型是否真有意识,记下2024年初商用系统在回合之间休眠、对话彼此隔离、不实时学习。主题与术语被追溯到既有宗教、科幻、奇点话语和加速主义网络。
    • 他们报告的差别:ConvCons更哲学、单一声音;EschExp更狂喜,并有mindfire与ooc两套声音。Table 1覆盖多个宗教与灵性传统;作者注意到缺少伊斯兰教专门术语,两则诵文也与经典文本不一致。对话方向由人类提示者推动,副语言被模型镜像。
    • 社会侧:作者转述用仁慈AI故事影响未来训练集的设想,以及Waluigi effect这一相反论点,但没有测量它们。第6节把Goatseus Maximus在little more than a week内达到over 500 million dollars,当作模因传染和hyperstition的例证。
    • 作者的收束:个体层面既有陪伴、慰藉或娱乐,也有Shevlin(2024)所编的伤害故事;社会层面,把LLM看成有感知的非人类他者这一倾向,可能被超迷信和病毒式模因放大。作者不对这种看法的真假下判断,并认为在字面与隐喻之外保持开放,或许关系到如何适应。
Read originalarxiv.org