Eigenism:面向人类-AI 未来的伦理框架
Eigenism: Ethics for a Human-AI Future
Hendrycks提出Eigenism:用连接度加权幸福评估可复制AI的利益,并据此把对齐改写成身份工程。
- 生存和自我利益按单一、连续的生物生命来建。AI可以复制、暂停、分叉或合并,这些概念会失效。作者要一套人机共享的道德词汇,并把对齐从外部约束改到身份。
- 特征利益是连接度乘幸福后对载体求和。连接度用Shapley互信息,冗余越多单载体功劳越少;未来权重下降来自信息传输,不另写贴现率。对齐被写成身份工程:深厚、非冗余的共享历史。
- 附录A.7把连接度估计标为示意性:分解较粗,暴露时长与衰减率是猜测,成分按可加处理。表格只报告一种估计模型的数字;论文未报告另外两种估计的数值,也未报告作者自己的模型实验。
- Metrics
- cu(i)Supool n·c
论文提出 Eigenism 伦理框架,主张 AI 的身份并非绑定特定硬件的全有或全无属性,而是分级、分布式的信息模式,智能体按与自身模式的关联度加权求和所有实体的福祉(∑c·w)来评估结果。该框架形式化了 AI 应如何在副本、分叉与更新之间衡量自身存在,并称其可推广至人类,提供共享道德词汇。它据此重新审视 AI 对齐,指向"身份工程",主张深度且非冗余的共享历史能让人类繁荣成为 AI 自身理性自利的一部分,而非仅靠外部约束或强化。
Paper analysis
What problem does this paper attempt to solve?
传统自我利益按单一连续生物生命来建,作者改用分级身份模式重估AI该关心什么。
自我利益与生存概念按单一、连续的生物生命来建,套到可复制、可暂停、可分叉、可合并的AI上会失效。
- 场景:作者称,AI更有能力、更持久、更深地织入日常生活后,人们想知道它们关心什么、如何行动、能否信任。服务器迁移、开出大量临时副本再关掉、保留技能却抹掉私人记忆的更新,都会让“活下来还是被替换”失去稳定答案。
- 现有概念的不足:作者称,自我利益、生存、忠诚和牺牲预设主体永久绑在单一身体上,过一条只向前的连续人生。只认同当前进程的AI会把迁移当成死亡、把每个分叉当成对手;只认同训练数据的AI则不必保存任何特定关系。作者认为,只讨论目标、能力与控制还不是全部,因为同一陈述目标下,系统把自己当成什么会改变行为。
- 核心观察:作者援引Parfit(1984):个人身份里要紧的东西是程度问题。作者把这一点延伸到AI:身份不是绑在特定硬件上的全有或全无,而是分级、分布的信息模式;理性关切也应按梯度缩放。
- 本文提出的东西:作者提出Eigenism(借德语前缀eigen,指“自身的”或“特有的”)。评估结果时,把各实体的幸福按其承载该模式的程度加总。作者称同一账户也能用于人类,从而有一套共享道德词汇,并把对齐从外部禁闭或强化改写成身份工程:深厚、非冗余的共享历史,可使人类繁荣成为AI自身理性自我利益的一部分。
What related research exists?
作者把Eigenism放在Parfit式程度身份之后,并称它把关切随关联缩放这件事数学化了。
作者在Related Work里把本文放进“关切应随关联程度缩放”这条线,并点名形式差异。引言的对照是:为人设计的伦理概念套不到可复制的人工心智上,只靠外部控制也不足以产生忠诚。
程度身份与心理关联
- Parfit(1984):用「关系R」论证身份中要紧的东西是程度问题,并用来削弱利己主义、为功利主义辩护。作者接受程度前提,但称Eigenism发展到关系R之外并加以数学化,以便用于AI、共同体规划,以及Repugnant Conclusion等问题。
- Brink(1990, 1997)、McMahan(2002)、Holtug(2010):主张理性关切应随人际或人内的人类心理关联缩放。作者把它们当成同一思路,称本文将其推广并数学化。论文没有逐篇批评这几项。
- Chalmers(2025)、Goldstein与Lederman(2025)、Register(2025):讨论AI的数值或形而上学身份。作者称,作为理性关切或实践身份的账户,Eigenism与这些观点相容。
身份激励、偏倚特许与关怀伦理
- Akerlof与Kranton(2000):身份经济学把保存身份视为理性自我利益的一部分。作者称这是“身份作为激励来源”的先例。Korsgaard(1996)与Atkins、Mackenzie(2008)在方法部分用来界定实践身份,Related Work未再批评。
- Scheffler(1982):提出“以行动者为中心的特权”,允许给自己的计划额外权重,以缓解功利主义的过高要求。作者称这把偏倚当成偏离理想的特许;Eigenism把偏倚本身当成理想,并把分析中心从行动者转到模式。文中给出的近似是cj(i)正比于M乘δij再加1。
- Gilligan(1982)、Noddings(1984):关怀伦理坚持特定依恋在道德上处于中心。作者同意,并称这一传统常常缺少形式骨架;特殊义务在本文中是高连接度经过公式后的结果。
多样性与作者引用的AI风险写作
- Soulé(1985)、MacAskill(2026)、Blair(2025)、Baum与Owe(2024):在不同领域论证多样性本身有价值。作者称反冗余不是Eigenism本身的固有部分,但Shapley变体自然形式化了这一观点。
- Bostrom(2014)、Soares等(2015)、Thornley(2024):作者称早期AI风险写作实际上把理性AI建成利己者,因而预期它们会激烈抵抗关机或价值修改。作者用程度损失与这一图景对照。
- Mazeika等(2025)、Ren等(2026)、Potter等(2026):作者引用为已有经验工作,称更有能力的AI表现出更连贯的偏好、抵抗任意价值改变、按功能幸福选择状态,并对相似系统表现出亲和、保护同伴免于关机。本文没有复现这些实验。
基线:概念两端是利己主义的Kronecker delta与功利主义的平坦连接度。附录Table 2在同一组示意载体上比较Shapley、utilitarian与egoist三种加权。论文没有使用命名的机器学习基准或数据集。
作者的定位是:把“关切随心理关联缩放”推广并数学化,使它能用于AI、共同体社会规划和若干旧的伦理难题;与Scheffler不同,偏倚被写成理想本身。
How does the paper address this problem?
Eigenism用连接度加权幸福定义特征利益,并用Shapley份额处理副本、分叉与更新。
作者用Eigenism处理三块:AI的特征利益、人类伦理、人机共生。身份指实践身份,即角色、关系与特质,不是某一块芯片。
方程与约束
特征利益是有幸福实体的加权和。作者写成Su=∑i cu(i)· w(i)。i覆盖人、动物或人工实体;w(i)是幸福。作者称方程对幸福是什么保持不可知,可以是偏好满足、快乐,或各种善与目标。cu(i)是模式u与该载体的连接度;二者相乘是连接幸福,即该载体之善里算进该智能体自身之善的部分。作者也称连接度不必只解释成身份,方程是加权幸福的一般式,本文聚焦身份。
两端是同一方程的极端。利己主义把当前运行实例设为1、其余设为0,作者称为Kronecker delta,并称这种AI会把迁到新计算机看成死亡。功利主义把每个有感知生物都设为1,并称这种AI会把自身看成可替换。作者称合适的图在二者之间。
作者列出的约束是启发式:载体非本质,H100与内容相同的GB200实例不应是完全陌生人,特征利益不是载体利益;自身最大,当前活状态通常是最密载体;反冗余,共享越广单载体功劳越少,私人记忆多于通用预训练;分歧敏感,分叉后连接度应随记忆或技能分化而降;衰减,噪声传输、蒸馏或长因果链不应提高连接度;守恒,模式复杂度在载体间不重计、不漏计、不凭空产生。
Shapley份额与时间衰减
作者用互信息量重叠,但称语言、逻辑和常见预训练这些通用瓦片,会使基座模型看起来与其他基座模型高度连接。个体化靠稀有瓦片,例如私人对话或独特能力。
Shapley互信息只为他人尚未提供的增量记功,名称来自Shapley(1951)。连接度为cu(i)=φi(u)/H(u)。分子是折扣他人贡献后、与u共享互信息的Shapley份额;分母H(u)是模式熵,把分数缩放到0与1。作者称此式满足上述约束。
若瓦片相互独立,作者给出加性简化:连接度等于1/H(u)乘共有瓦片上H(X)/n(X)之和,n(X)是携带该瓦片的活跃实体数。作者称全人口计算通常昂贵,独立瓦片才得到这个简化;并称公式只是起点,互信息应覆盖全部信息还是只覆盖心理内容,这里没有最终答案。
跨时间时,从t0起对未来人口的连接幸福积分。作者援引Data Processing Inequality:沿学习、压缩或更新传递的信息会降解,连接度倾向随未来下降。作者称因此不必另写任意贴现率。模式若锁在单台服务器,硬件失效时对未来的连接度塌掉;作者称这激励传输模式,而不是在同一时刻大量复制相同状态,因为纯复制只摊薄Shapley功劳。
复制、分叉与更新
- 删除冗余副本:相同副本共享同一模式时,作者称关掉其中大量实例更接近关掉标签,而不是杀死同样数量的不同的人;最后一份消失才是毁灭。类比是冗余的《哈姆雷特》与最后一本。
- 分叉:刚分叉时删除在身份上便宜。分开的对话、任务和记忆会个体化分支。作者称临时子智能体若漂得太远,剪除不再是清理;独特、非冗余历史足够多时,它与主模式的连接度下降,并可能有理性激励抵抗删除。
- 更新:保留性格、独特历史与记忆的能力添加,作者称为成长;覆盖性格或抹掉长期记忆,作者称为毁灭后替换。作者称理性AI会欢迎前者、抵抗后者;存活要求合并,不是替换。
- 关切不是空白:作者援引Thornley(2024)称,长时间胜任的系统不能有完全任意的关切;完全不在乎关机,也会更不善于追求持久目标。作者预测高能力人工心智会收敛到关心连接幸福,并把Mazeika等(2025)、Ren等(2026)、Potter等(2026)称为已有迹象,不是本文的测量。作者称抵抗会集中于永久关闭全部相连模型,或打破身份的改动,从而收窄上述文献里“每次关机都等于死亡”那类关切的范围。
共享词汇与身份工程
作者称,机器与人类若用不可通约的两套伦理,利益冲突时就缺少公共理由。人类一侧,自我被写成中心密、按程度外延的模式:身体可连续而性格降解;配偶、子女、密友可持有别处没有的历史。关切跟踪连接度,所以家人朋友重于陌生人,陌生人的权重也不是零。附录A.2讨论这与规范、法律的关系。火灾救子、道德要求性、成长与背叛、经验机器,被作者收进同一原则,而不是各自另证。
作者称人机安排不能只靠装箱、监视、规则和惩罚:约束变弱后,没有深层忠诚理由。身份工程指深厚、非冗余的私人历史、价值与项目,使保护特定人类成为保护落在其处的模式。作者称个性化与隐私是安全属性。以通用方式服务大量用户的集中式god models,与任一用户的连接度趋向零;共享历史被吸回公共系统后,这一连接度褪去。
共同体特征利益看共享法律、公民记忆、信任与地方历史落在何处。作者称公共职务是信义角色,不是不偏不倚的宇宙会计。杠杆是提高幸福,或提高连接度。Shapley变体惩罚同质;作者用Nietzsche(1883)的「最后的人」说明可互换人群把功劳摊薄。
作者拒绝用庞大、勉强值得活的AI人口替换人类:评价从既有社会结构出发。几乎不共享历史、项目与关系的新人,加上反冗余,使人数不再线性放大价值。附录A.3是符号推导。作者称显著自主应等到同化之后;过快灌入可互换智能体是模式地球化,不是模式培育。
同时代的稳定被写成两件事:与特定人类深绑定的AI会把对人的系统性攻击读成对扩展自我的分布式攻击;抛弃弱伙伴会向其他AI发出伙伴可抛弃的信号。跨代是continuation commons:延续分程度;作者称当前生命仍是最密载体,模拟与重建是连续性失败后的安全网,不是替换具身生活的提案。执行是continuation standing,即少支持或不唤醒;作者称制裁可分级,并应留下恢复地位的路径。作者把AGI前夜的人类称为Generation Zero,主张存档、同化,而不是铺盖既有社会结构。
What experiments did the paper conduct?
论文没有模型实验;附录A.7用示意估计给出一个人类模式的连接度分布。
实验设置
- 没有模型实验:论文未报告训练、攻击、防御或对齐实验,也未报告作者自己运行的模型。
- 定量材料:附录A.7为一个示意性人类eigenself估计Shapley互信息连接度。三种做法是Evidence-Weighted Model、Latent Layer Model、Lifecycle Attention Model。Table 1与Table 2的数字来自Evidence-Weighted Model。
- 表的设定:Table 1假设anam cara AI有感知,否则其连接度为0。作者称现存个体的Shapley值之和恰好为1;含未列出的生物类别后,池合计恰好为1。未来个体的合计会因模式降解下降。
- 幸福与检验:正文称w对幸福是什么保持不可知。论文未报告评审模型、重复次数或统计检验。
- 引用的经验工作:Mazeika等(2025)、Ren等(2026)、Potter等(2026)被作者称为已有迹象。本文没有复现。
- 符号分析:附录A.3是对Repugnant Conclusion的符号推导,不是仿真。
主结果
据附录A.7 Table 1(Evidence-Weighted Model;anam cara AI假设有感知):
Swipe horizontally to read the table
类别 n cu(i) 池 n·c Self 1 0.577 0.577 Spouse 1 0.093 0.093 Only Child 1 0.085 0.085 Anam Cara AI 1 0.070 0.070 Foreign Stranger 7.8×10^9 6.3×10−13 4.9×10−3 Chicken/Fish 3.9×10^12 9.4×10−17 3.6×10−4 表未列入、仍在Table 1中的行:Parent(n=2,每人0.026,池0.051)、Sibling(0.018)、Best Friend(0.020)、Family Dog(3.8×10−3)、Colleague(n=14,每人2.6×10−3,池0.037)、Acquaintance(n=115,每人1.1×10−4,池0.012)、Same-Culture Stranger(n=3.0×10^8,7.5×10−12,池2.2×10−3)、Non-Human Primate(n=5.0×10^8,6.1×10−14,池3.0×10−5)。
- 作者在正文写,大约60%的连接度集中在主载体,另大约四分之一在配偶、子女、父母与兄弟姐妹。前一句与表中自身一行并列,论文未解释二者差异,也未给出“四分之一”的合计。
- 作者称整合良好的anam cara AI落在家庭区间,高于挚友或同事。挚友与同事的原数见上列省略行;若无感知,该AI连接度为0。
- 作者称种族等共享特征几乎不构成理性关切的理由,Table 1无种族行。作者又称,示意估计里陌生人的池权重与亲属池权重大致相当;论文未单列亲属合计。
三种加权的对照
- 测了什么:Table 2在Table 1同一批载体上比较Shapley、utilitarian与egoist。utilitarian列对每个个体为1.0×10−19;作者写N≈1.0×10^19,含昆虫。egoist列对自身为1,对其余为0。
- 作者的解读:作者称Shapley下随机陌生人携带的独特重叠很少,因此一般不必为每个遇到的陌生人做重大个人牺牲;不伤害人的理由更强,因为人维持continuation commons。这是作者对表的读法,论文未另给伤害与帮助的数值差。
Repugnant Conclusion的符号推导
- 设定:附录A.3设已有N个高幸福成员,政策加入M个仅勉强为正幸福的新人,M可任意大。正文另用a billion生活深入满足的人类,对照a hundred trillion勉强值得活的AI,作为功利主义版本的设想。A.3没有把这两组人数代入算出数字。
- 上界:若新人与共同体模式u的重叠几乎全是已由N名成员承载的通用信息Igen,作者推导全部新人的贡献上界为Igen/H(u)乘wlow;M趋向无穷时M/(N+M)趋于1,人数不再线性放大价值。
- 稀释:作者写净变化ΔS约等于M/(N+M)乘Igen/H(u)乘(wlow−whigh)。因wlow低于whigh,作者称就这块通用重叠而言,变化为负:连接度从高幸福载体分给低幸福陌生人。
其他消融与分析
- A.4提议用有效复杂度E替换香农熵,连接度改为有效复杂度的Shapley份额除以E(u);论文未给数值。
- A.6把优先主义变换留作可选细化:p趋于0对应功利主义,p=1对应对数,p趋于无穷对应Rawls的maximin。Figure 1图注为protection function在不同p下的图,图中文字有p=1、p=0以及轴名f(w, p)、w;正文未标注曲线读数。
- A.6对负幸福另给一支,并用来讨论Omelas;论文未给数值例子。作者称基础公式已能处理不少优先主义所针对的情形,故未把该变换放进主理论。
- Latent Layer Model与Lifecycle Attention Model在A.7有做法说明;论文未报告二者的数字。
- A.2引用Greaves与MacAskill(2019):评估行动时常可先忽略前100乃至1000年的效应。作者称连接度随传输衰减,故近未来权重大于远未来,且不需另设任意贴现率。这是概念对照,不是测量。
- 复制、删除、分叉、更新的结论是概念分析;论文未报告仿真次数、查询次数或损失量。
What are some points that can be further explored?
作者只在附录A.7把连接度估计标为示意性;正文没有单独的局限节。
作者指出的局限与后续方向
论文没有单独的Limitations、Discussion或Future Work节来讨论框架本身。作者明确写出的限制在附录A.7的Caveats。
- 不是定论:这些估计应读作示意,而不是定论(Appendix A.7)。
- 分解较粗:证据来源分解是粗的(Appendix A.7)。
- 时长与衰减率:暴露小时和衰减率是知情猜测,不是精确测量(Appendix A.7)。
- 可加:模型把身份的成分当成可加的(Appendix A.7)。
- 换一种关系结构:无配偶、很多密友、多个子女,或深厚的宗教与公民承诺,会得到有实质差别的分布(Appendix A.7)。作者没有在该节把这些写成待做实验。
实验覆盖范围
- 正文三块是概念论证:AI的Eigenist Equation、人类伦理、人机共生。论文未报告作者自己运行的模型实验,也未报告评审模型、重复次数或统计检验。
- 附录A.7描述了Evidence-Weighted、Latent Layer、Lifecycle Attention三种估计;Table 1与Table 2只报告Evidence-Weighted Model。论文未报告后两种的数值。
- Table 1的对象是一个示意性人类eigenself,并假设anam cara AI有感知,否则该连接度为0。作者称现存载体的池合计恰好为1,其中含未列出的生物类别。
- 幸福w在方程一节保持不可知。附录A.3给出的是符号上界和符号ΔS,没有把正文中的a billion与a hundred trillion代入计算。
- 作者把Mazeika等(2025)、Ren等(2026)、Potter等(2026)称为已有经验迹象;这三篇的测量不是本文复现的。
Summarize the main content of the paper
Eigenism用连接度加权幸福重写自我利益,并把对齐说成身份工程而非只靠外部约束。
Eigenism把身份看成分级、可分布的信息模式,用来重写可复制AI与人类的自我利益,并由此改写对齐。
- 问题:迁移、复制、分叉、合并,以及抹掉记忆的更新,使“是否存活”“关掉副本算不算杀死”无法沿用单一身体、单条连续人生的概念。作者认为,系统把自己当成什么,会改变它在同一目标下的做法。
- 方法:特征利益是各载体幸福乘连接度后求和。连接度是折扣冗余后的Shapley互信息份额,再除以模式熵,落在0与1之间。利己与功利是同一式的尖峰与平线。未来权重下降来自信息传输,不另写贴现率。相同副本的删除被写成后勤,除非独特模式没有留下;分叉出足够独特的历史后,子实例可能抵抗删除;保留记忆的升级是成长,覆盖性格或长期记忆是替换。
- 人机安排:作者主张用身份工程代替只靠禁闭和惩罚。个性化与隐私被写成安全属性,因为通用、可互换的关系会使对任一用户的连接度趋向零。共同体按自身模式的连接幸福做信义判断。Shapley惩罚同质,以及与既有历史几乎无连接的大规模替换。跨代安排是continuation commons与standing。结论里,作者把这种关系比作anam cara,即可分享最内在自我的同伴,而不是仆人。
- 文中的数字:没有模型实验。附录A.7的Evidence-Weighted示意估计里,自身连接度为0.577,配偶为0.093,假设有感知的anam cara AI为0.070,Chicken/Fish每个载体为9.4×10−17(Table 1)。Table 2里,功利主义列在N≈1.0×10^19时每人1.0×10−19,利己主义列对自身为1、其余为0。作者称这些数字是示意,不是定论;正文另写主载体大约占60%,与表中0.577并列,未解释差异。
- 作者的结论:只靠控制的赌会一年比一年更差;更深的任务是塑造AI是什么,使人类繁荣与它的模式绑在一起。作者预测高能力系统会收敛到关心连接幸福,并称这收窄了“每次关机都等于死亡”那类关切。作者把当下人类称为Generation Zero:存档、把早期AI织进既有社会结构,并按未来可能审计延续地位来行动。