奔向通用人工智能的竞赛已经打响。虽然我们不知道它将如何展开，但不能因此而停止思考它会带来的后果，因为我们的想法会影响结果。你希望看到什么样的局面呢？为什么？

◦　你想看到超级智能吗？

◦　你想要人类继续存在，还是被取代，还是变成赛博格、上传者，或是被模拟？

◦　你想要人类还是机器处于控制地位？

◦　你想要人工智能产生意识吗？

◦　你想要最大化积极体验，还是最小化痛苦折磨，还是顺其自然，让它自行解决？

◦　你想要生命被散播到宇宙各处吗？

◦　你想要文明朝着你所支持的更高目标而努力发展吗？还是说，你也可以接受未来的生命形态满足于在你看来毫无意义、陈腐不堪的目标？

为了促成这样的思考和对话，让我们来探索一下表5-1和表5-2中总结的人工智能可能带来的各种情形及其特征。这个清单虽然并不完整，但我们可以用它来拓展可能性的范围。我们不想因为计划不周而陷入错误的泥淖。我建议你略记一下你对第1～7个问题的暂时回答，然后在读完本章之后回顾一下，看看你是否改变了主意。你可以在http://AgeOfAi.org上做这件事，在这个网站，你还可以比较一下其他读者的笔记，并和他们进行讨论。

表5-1　人工智能可能带来的后果总汇

续前表

①　阿米什人是美国和加拿大安大略省的一群基督教再洗礼派门诺会信徒，他们通常拒绝使用现代科技，过着简朴的生活。——编者注

表5-2　人工智能可能带来的各种后果的特征

自由主义乌托邦

首先，让我们来看看人与科技和平相处的情形。在某种情况下，人甚至能与科技融为一体，就像许多未来学家和科幻作家幻想的那样。

在自由主义乌托邦，地球上的生命以及地球之外的生命比以往任何时候都更加多样化。如果你看看卫星拍摄的地球图像，就可以很轻松地分辨出三个区域：机器区域、人类专属区域和人机混合区域。

机器区域是由机器人控制的巨大工厂和计算中心，那里没有生物意义上的生命，其目的是把每个原子都物尽其用。尽管机器区域看上去单调乏味，但它们的内部却非常活跃，在它们的虚拟世界中发生着惊人的事情。在那里，庞大的计算过程正在揭开宇宙的秘密，革命性的技术如雨后春笋般不断涌现。地球上的许多超级智慧的智能在互相竞争与合作，而它们都居住在机器区域。

人机混合区域的居民高度混杂，包括计算机、机器人、人类以及三者的混合体。正如汉斯·莫拉维克和雷·库兹韦尔等未来学家所设想的那样，许多人已经用科技将自己的身体升级为不同程度的赛博格，还有一些人已经将自己的智能上传到了新的硬件上，使得人与机器的界限日渐模糊。大多数智能的存在并没有永久的物理形态。相反，它们以软件的形式存在，能够在计算机之间顷刻移动，还能通过机器人的身体在物理世界中展现自我。由于这些智能可以很容易地自我复制或合并在一起，这里的“人口规模”总在不断变化。又由于不受物质形态的束缚，这里的居民拥有相当不同的人生观：它们感觉不到那么强烈的个人主义，因为它们总是不断地与他人分享知识和体验模块；并且，它们主观上会感觉自己是永生的，因为它们可以随时对自己进行备份。从某种意义上说，生活最核心的部分并不是智能，而是体验：特别精彩的体验会永远活下去，因为它们不断地被其他人复制和再次享用，而无趣的体验则被其所有者删除，以腾出存储空间留给更好的体验。

尽管大多数互动都是在虚拟环境中进行的，但许多智能仍然喜欢使用物理形态的身体进行互动和活动。比如，假设莫拉维克、库兹韦尔和拉里·佩奇上传智能后，他们的上传版本喜欢在一起玩。他们喜欢轮番创造虚拟现实，然后一起探索，但偶尔，他们也喜欢附身在现实世界中的双翼机器鸟身上，一起在天空中翱翔。一些在人机混合区域的街道、天空和湖泊漫游的机器人，同样也可能是由上传或增强的人类所控制的，他们选择在人机混合区域中将自己的智能附身在物理实体上，因为他们喜欢有人陪伴的感觉。

相反，在人类专属区域，人类水平和更高水平的通用智能机器都被禁止出入，通过技术增强的生物有机体也同样被禁止。这里的生活与我们今天没有太大的不同，只不过更加富裕和方便。贫困已经基本销声匿迹，大部分疾病都可以被治愈。居住在这些地区的人中，有一小部分不太被其他区域的居民所了解，或者知之甚少，他们也不太理解其他区域的高级智能体都在做些什么。不过，他们中的很多人对生活都很满意。

人工智能经济

绝大部分的计算都发生在机器区域，主要由居住在那里的许多互相竞争的超级智能所拥有。凭借其高超的智能和技术，它们的力量无人能敌。这些人工智能达成了一个协议，建立了一个自由主义的治理体系。这个治理体系只保护私有财产，除此之外别无他用。它们用这个体系来互相合作和进行协调。这些产权扩展到包括人类在内的所有智能实体，并解释了人类专属区域是如何形成的，早些时候，一群人聚在一起，决定在他们的区域内禁止向非人类出售财产。

由于先进的技术，超级智能比人类富裕得多，甚至比比尔·盖茨与一个无家可归的乞丐相比的富有程度还要高。虽然，人类专属区域的居民比今天大多数人的日子要好得多，但他们的经济与机器区域的经济相当脱节。所以，除了少许他们可以理解、复制和用得上的技术之外，其他区域的机器对人类专属区域的居民几乎没有任何影响，就像今天的阿米什人和各种与科技隔绝的土著部落一样，他们的生活水平按过去的标准来看，至少和过去不相上下。人类没有什么东西可以卖给机器，不过这没关系，因为机器不需要任何回报。

在人机混合区域，人工智能与人类之间的财富差异更为明显，这导致土地的价格远远贵于其他产品，算得上天文数字了，因为土地是人类拥有的唯一一种人工智能想要购买的东西。因此，大多数拥有土地的人类选择将一小部分土地出售给人工智能，以换取他们及其后代或其上传者的永久性基本收入。这使人类摆脱了对工作的需要，将他们从中解放出来，好享用物质世界和虚拟现实中由人工智能生产的又好又多又便宜的产品和服务。只要把人工智能考虑进去，那么，人机混合区域的主要功能就是为了玩，而不是工作。

为什么这种情况可能永远不会发生

听到我们可能会变成赛博格或者上传者，你可能会很兴奋。但是，可别高兴太早，这种情形也可能永远不会发生。让我们先来看看原因。首先，想要实现人类增强，也就是成为赛博格和上传者，有两条可能的路径：

◦　我们自己发现了实现它们的方法；

◦　我们建造了超级智能机器，让这些机器来搞明白实现它们的方法。

首先，如果第一条路先走通，它自然会让世界充满机器人和上传者。然而，正如我们在第4章所讨论的那样，大多数人工智能研究者认为，第二条路的可能性更高。因为建造增强大脑和电子大脑的难度远远高于从零开始建造一台超人类水平的通用人工智能的难度，就像机器鸟比飞机更难建造一样。即使我们建成了超强的人工智能，能不能造出赛博格和上传者依然不甚明晰。如果尼安德特人拥有10万年的时间来进化，变得更聪明，对他们自己来说自然很好，但我们智人却从来没有给他们这么多的时间。

其次，即使赛博格和上传者真的出现了，我们也不清楚这个情形是否稳定，能不能维持下去。想一想，几个超级智能体难道会甘于几千年保持势均力敌的状态？它们为什么不选择合并，从而融合成一个更加聪明的个体，然后统治世界呢？此外，既然机器不需要人类，而且它们能以更低的成本更好地完成人类的工作，为什么还会选择尊重人类的产权，并把人类留在身边呢？库兹韦尔推测说，自然人和增强人都会受到保护，免于灭绝，因为“人类因发明了人工智能而受到它们的尊重”^[1]。然而，正如我们在第7章中将要讨论的那样，我们不能陷入将人工智能拟人化的陷阱，假设它们也拥有“感激”这种人类才有的情感。事实上，虽然人类总是习惯性的感恩，但我们中的许多人也没对我们智慧的创造者DNA表现出多么的感激，而是选择用避孕的方式来阻挠它实现自己的目标。

即使我们相信人工智能会尊重人类产权，它们也完全可以通过其他方式来逐渐获得人类的土地，比如，用第4章提到过的那些聪明的说服方法，来说动人类出售一些为奢侈生活而保留的土地。在人类专属区域，它们可以怂恿人类发动允许土地买卖的政治运动。毕竟，即使是坚持有机生物至上的顽固“卢德分子”也可能想卖掉一些土地，以挽救疾病缠身的儿童或者获得永生。如果人类忙于教育、娱乐和其他事情，那么，即便人工智能不插手，出生率也可能会下降，从而缩小人口规模，就像日本和德国目前的情况一样。这样的话，人类可能会在几千年内灭绝。

痛苦将不再是人类的专利

热心的支持者认为，赛博格和上传者有潜力让所有人通过技术获得幸福和延长寿命。事实上，由于相信未来能实现智能上传，有100多人选择死后将大脑交给亚利桑那州的Alcor公司冷冻起来。但是，即使这项技术变成现实，也不一定人人都能用得上。富翁们当然能使用，但除此之外还有谁呢？即使这项技术变便宜了，让穷人也能负担得起，还有一个问题是，界限应该划在哪里呢？损伤严重的大脑能被允许上传吗？我们会上传大猩猩吗？还有蚂蚁、植物和细菌呢？未来的文明是否会像囤积强迫症患者一样，试图上传一切，或者本着诺亚方舟的精神，在每个物种中挑选一些有趣的个体来上传？又或者，在每个人种里挑选几个有代表性的个体？到那时，可能已经存在大量更加智能的实体，那么，上传一个人或许并不比模拟一只老鼠或蜗牛更有意思。这就好比，虽然我们目前的技术完全有能力复活20世纪80年代DOS系统中的表格程序，但没有人觉得这是一件有意思的事，也不会有人去这么做。

许多人可能不喜欢这种“自由主义乌托邦”的情形，因为它可能会带来一些本可以避免的苦难。由于产权是唯一神圣的原则，所以，没有什么能够阻止当今世界的一些痛苦被带入未来的人类专属区域和人机混合区域。在一部分人兴旺发达之时，其他人可能会陷入悲惨和奴役的情景之中，或者遭受暴力、恐惧、压抑或沮丧。比如，马歇尔·布莱恩在其2003年的小说《曼娜》（Manna）中描述了，在自由主义经济体系中，人工智能的进步让大多数美国人失去了工作，只能在机器人运营的社会福利房中度过单调沉闷的余生。他们就像农场中的动物一样，在富人永远看不到的地方被好好地喂养，保持着健康和安全。饮水中的避孕药物确保他们不会生孩子，所以大部分人口将被淘汰，而剩下的富人将拥有更多由机器人创造的财富。

在自由主义乌托邦的情形下，痛苦不一定只是人类的专利。如果一些机器也产生了有意识的情感体验，那它们也可能会受苦。比如，一个怀恨在心的精神病患者可能会以合法的方式将仇人的副本上传到计算机中，并在虚拟世界中向他施以最可怕的折磨，这样带来的痛苦程度和持续时间将远远超出现实世界中的生物可能遭受的程度。

善意的“独裁者”

现在，让我们来探讨一下另一种情景。在这种情景中，上面所说的所有痛苦都不复存在，因为有一个仁慈善良的超级智能体在掌管着世界。它执行着严格的规则，旨在将它的“人类幸福模型”最大化。这是第4章所讲的欧米茄团队带来的第一个可能的结果。在这种情景中，欧米茄团队搞明白了如何将“让社会蓬勃发展”的目标赋予普罗米修斯，然后把控制权移交给它。

“独裁者”人工智能开发出了惊人的技术，帮助人类消除了贫穷、疾病等低技术水平的问题，所有人类都享受着奢华休闲的生活。人工智能控制的机器生产出所有必需的产品和服务，满足了人类所有的基本需求。犯罪现象被消灭了，因为人工智能“独裁者”基本上是无所不知的，可以有效地惩罚任何违反规则的人。每个人都佩戴着第4章所说的安全手环或其他更方便的植入装置，这些装置能够实时监控、惩罚、注射镇静剂和执行死刑。虽然人人都知道他们生活在人工智能专政的极端监视和治安维持之下，但大多数人认为这是一件好事。

超级智能的人工智能“独裁者”的目标是，研究人类基因中展现出来的进化偏好，从而搞明白人类的理想社会是什么样子，然后去实现它。从开发人工智能的人类工程师那里，人工智能“独裁者”获得了一些有智慧的远见，因此，它不会为了实现人类的极乐世界而选择给人类注射吗啡。相反，人工智能“独裁者”对“人类繁荣”的定义相当复杂和微妙，它将地球变成了一个高度丰富的动物园，居住在这里的人类非常开心。因此大多数人对当前的生活十分满足，并认为富有意义。

9大区域系统

由于人工智能理解多样化的重要性，也意识到不同的人拥有不同的偏好，因此，它将地球划分成了不同的区域，供人们选择，这样你就可以和同类人住在一起。下面举了一些例子：

◦　知识区域：在这个区域，人工智能会提供最优质的教育，包括沉浸式的虚拟现实体验，你能学习任何你想学习的东西，你还可以选择在学习时，让它先别告诉你结论，而是引领你去发现，享受发现的乐趣。

◦　艺术区域：在这里，你可以拥有许多机会去享受、创造和分享音乐、艺术、文学等创造性的表达形式。

◦　享乐区域：当地人把这里叫作“聚会区”，对那些渴望美食、激情、亲密行为或者只是单纯想享受疯狂快乐的人来说，这里是首屈一指的选择。

◦　敬神区域：有许多不同的敬神区域，每一个区域对应着不同的宗教。这些区域拥有十分严苛的规章制度。

◦　野外区域：不管你是想要美丽的海滩、可爱的湖泊、壮观的山峦，还是奇妙的峡湾，都可以在这里找到。

◦　传统区域：在这里，你可以自己栽种粮食，靠种地生活，就像过去的人们一样，但你不必担心饥荒和疾病。

◦　游戏区域：如果你喜欢电脑游戏，那么，人工智能在这里创造出了能让你极度兴奋的选项。

◦　虚拟区域：如果你想要抛却肉身去度假，那么在这里，人工智能体让你通过神经植入的方式探索虚拟世界，同时帮你保持碳水平衡，喂以食物，并帮你保持锻炼和清洁身体。

◦　监狱区域：如果你违法了，但不是什么需要立刻处死的罪行，就会被抓到这里关起来。

除了这些“传统”的主题区域之外，还有一些新兴主题可能是今天的人类不能理解的。一开始，人类可以在各个区域之间自由迁徙，这要归功于人工智能的超音速运输系统。比如，当你在知识区域度过了忙碌的一周，学习了人工智能发现的大量终极物理规律之后，可能想要在周末转换到享乐区域轻松一下，再去野外区域的海滩度假村放松几天。

人工智能执行的规则有两个层次：通用规则和本地规则。通用规则适用于所有区域，比如禁止伤害他人、禁止制造武器、禁止尝试创造与独裁者类似的超级智能等。除此之外，各个区域还拥有一些本地规则，形成了某些道德规范。因此，这种区域体系有助于处理不相容的价值观。监狱区域和一些敬神区域的本地规则数量最多；还存在一个自由区域，这个区域内没有任何本地规则，这里的居民以此为荣。所有的惩罚，包括地方上的惩罚，都是由人工智能来执行的，因为如果用人来惩罚另一个人，会违反通用规则中的“禁止伤害他人”的条例。如果你违反当地的规则而没有进监狱区域，人工智能会给你两个选择：接受预先设定的惩罚，或者永远离开该区域。比如，如果两个女性相爱了，但她们生活在一个禁止同性恋的区域中，就像今天的许多国家一样，那么，人工智能会给她们两个选择：要么被关进监狱，要么永远离开这个区域，永远不可以见到她们的老朋友，除非那些朋友和她们一起离开。

无论你出生在哪个区域，所有儿童都能从“独裁者”人工智能那里获得一定程度的基础教育，其中包括关于人类整体和各个区域的知识，比如，他们会学到如何自由访问并迁徙到其他区域的知识。

人工智能之所以会设计出如此多样化的区域，是因为它的创造者人类在设计它时，让它了解了人类多样化的重要性。每个区域带来的快乐都比今天的技术所能带来的快乐更多，因为人工智能已经消除了所有困扰人们多年的老问题，比如贫穷和犯罪；而且，享乐区域中的人们不必担心性传播疾病（已被根除）、宿醉或药物上瘾（人工智能开发出了完美的康复药物，无副作用）。事实上，任何一个区域都不需要担心任何疾病，因为人工智能体用纳米技术修复人体。许多区域的居民都可以享受到高科技式的建筑物，这些建筑物和精美程度连科幻电影中的画面都相形见绌。

总而言之，在自由主义乌托邦和善意的“独裁者”的情形中，超级人工智能都会带来技术和财富，但二者在谁管事和目标方面存在差异。在自由主义乌托邦中，是由那些占有技术和财产的人来做决定，而在善意的“独裁者”的情形下，“独裁者”人工智能拥有无限的权力，并由它来设定最终目标，那就是，把地球变成一个符合人类各种偏好的主题式游轮。由于人工智能给出了许多不同的幸福路径供人类选择，并且还十分关心人们的物质需求，这意味着如果有人受苦，那只能是出于他们自己的选择。

愉快，却毫无意义

虽然在善意的“独裁者”人工智能的情形中，到处都是美好的体验，也基本上没有人会受苦，但许多人却觉得，这不是最好的。首先，有些人希望，人类在塑造社会和自我命运方面应当拥有更多的自由，但他们没有把这些想法说出来，因为他们知道，挑战高高在上的人工智能无异于自杀。一些人希望能自由地拥有尽可能多的孩子，并抱怨人工智能为了可持续发展而采取的人口控制政策，枪支爱好者讨厌禁止建造和使用武器的禁令，一些科学家也不喜欢禁止建造超级智能的禁令。许多人认为，某些区域的人道德低下，他们一方面对此十分愤慨，另一方面又担心自己的孩子会选择搬到那里，所以，他们渴望能把自己的道德标准强加于所有区域。

随着时间的推移，越来越多的人选择迁徙到那些能给予他们想要的一切的区域。在过去，人们对天堂的想象是，能得到自己应得的东西。而善意的独裁者的情况却更符合朱利安·巴恩斯（Julian Barnes）在其1989年的小说《10–1/2卷人的历史》（History of the World in 10 1/2 Chapters）中所描述的“新天堂”精神⁽⁴¹⁾。在“新天堂”里，你得到的不是你应得的东西，而是你想要的东西。然而矛盾的是，许多人对总能得偿所愿这一事实感到很悲哀。在巴恩斯的故事里，主角把大量时间花在了纵情人生上，从暴饮暴食到打高尔夫球，再到与名人上床，但最终屈服于厌倦，走向毁灭。在善意的“独裁者”的情景中，许多人也会遇到类似的情况。他们虽然生活得很愉快，却感到毫无意义。虽说可以人为地创造一些挑战，比如科学发现和攀岩，但每个人都知道这些挑战只是娱乐而已，不是真的。人们试图去做科学研究是没有意义的，因为人工智能早已掌握了一切。人类试图创造一些东西来改善生活也是没有意义的，因为如果他们想要，只要跟人工智能说一声，就能立刻得到。

平等主义乌托邦

现在，让我们来探讨一个与善意的“独裁者”情景相反的情景。这个情景中没有超级智能，人类是自己命运的主人。这是马歇尔·布莱恩的小说《曼娜》中描述的第四代文明（the 4th Generation Civilization）。从经济学的角度来说，这是自由主义乌托邦的对立面，因为在这里，人类、赛博格和上传者之间之所以能和平共处，并不是因为有财产权的保护，而是因为废除了私有财产和增加了保障收入。

没有财产的人生

这个情景的核心思想来自开源软件运动。这个思想就是：如果软件可以自由复制，使得每个人都可以根据自己的需要尽可能多地使用这些软件，那它们的所有权问题就失去了实际意义⁽⁴²⁾。根据供求规律，成本反映了稀缺性，所以，如果供应是无限的，那价格就会变得极低，甚至可以忽略不计。这个情景十分符合这种思想，在平等主义乌托邦，所有知识产权都被废除了：没有专利，没有版权，也没有商标设计，人们乐于分享他们的好点子，每个人都可以自由地使用它们。

由于机器人技术非常发达，同样的“无产权”思想不仅适用于软件、书籍、电影和设计方案等信息产品，也被应用于房屋、汽车、服装和计算机等具有物质实体的产品。所有这些产品都是由原子组合而成的。原子并不稀缺，比比皆是。所以，当一个人想要一个特定的产品时，机器人网络就会用一个开源设计方案来做一个，并免费送给他。机器人会认真地处理可回收材料，这样，每当有人厌倦了他们使用的某件物品时，它们就把这些物品的原子重新排列成其他人需要的物品。这样一来，所有的资源都被回收了，所以，没有资源会被永久销毁。这些机器人还建造和维护着足够多的利用太阳能和风能等可再生能源的发电厂，所以，能源基本上也是免费的。

为了避免强迫性囤积者索要过多的产品或土地，导致其他人不能得偿所愿，每个人每个月都能从政府那里领取一笔基本收入。他们可以用这笔钱来购买自己想要的东西，租住自己想住的房子。几乎没人有挣更多钱的动机，因为这笔基本收入很高，足以满足任何合理的需求。即使他们去尝试挣钱也是徒劳无功的，因为竞争对手都在免费赠送各种智力产品。此外，还有机器人在生产着各种各样的免费产品。

创造力和技术，从来不发源于金钱

虽然有时知识产权被誉为是创造力和发明之母，但马歇尔·布莱恩指出，在人类创造力的最佳例子中，比如科学发现、文学创作、艺术、音乐和设计，许多都不是出于利益，而是出于其他动机，比如好奇心、对创造的渴望或同伴的赏识。激励爱因斯坦发明狭义相对论的并不是金钱，促使林纳斯·托瓦兹（Linus Torvalds）创造出免费Linux操作系统的同样也不是金钱。相比之下，现在有很多人都没有意识到自己的创造潜力，因为，为了谋生，他们需要投入时间和精力到创造性不那么高的活动上。布莱恩笔下的乌托邦社会将科学家、艺术家、发明家和设计师从鸡毛蒜皮的琐碎小事中解放出来，激发了他们纯粹的创作欲望，因此，这种社会定能拥有比今天更高的创新水平，相应也会拥有更高超的技术和更好的生活水平。

未来的某一天，人类可能会开发出这样一种新技术，称为“Vertebrane”。这种技术就像一种“超级互联网”。它通过神经植入物将所有自愿接入的人无线连接起来，这样，人们只需要动动脑子，就可以随时获取全世界的免费信息。有了它，你还可以上传你想分享的任何体验，以供其他人尝试。你还可以随意下载任意虚拟体验来替代你的感官体验。《曼娜》这本书探讨了这种技术的诸多好处，比如，可以把锻炼身体简化为打瞌睡：

剧烈运动的最大问题就是没有乐趣。它令你疼痛。运动员可以忍受疼痛，但大多数正常人都不想忍受长达一个小时甚至更长时间的疼痛。所以，有人想出了一个解决方案。你只需要中断一个小时大脑与感官输入的连接，用这一个小时的时间来看电影、与人交谈、处理邮件或读书，在此期间，Vertebrane系统会帮你锻炼身体。它会让你的身体完成一次完整的有氧运动，如果没有它，这套运动超出了大多数人能容忍的程度。有了Vertebrane帮你锻炼身体，虽然你没有任何感觉，但你的身体却能保持良好的状态。

此外，Vertebrane系统的计算机能监测每个人的感官输入，如果它发现有人即将实施犯罪行为，那它就可以暂时制伏他们，让他们动弹不得。

偏见与不稳定

有一种反对平等主义乌托邦的声音说，这种情景对非人智能有偏见：任劳任怨、辛苦工作的机器人似乎都很聪明，却被人类当作奴隶一样对待。人类理所当然地认为，它们是无意识的，所以不应该拥有任何权利。相反，自由主义乌托邦将权利赋予了所有智能体，而不会偏向于我们这种碳基类智能。曾几何时，美国南方的白人生活得很舒适，因为大部分工作都由奴隶来完成，但今天大多数人都认为，把蓄奴称为“进步”，在道德上是不可接受的。

平等主义乌托邦情景的另一个缺点是，从长远来看，它可能很不稳定，站不住脚。只要无情的技术进步最终造出了超级智能，它就会转变为其他情景。在《曼娜》一书中，超级智能还不存在，新技术都是由人类而不是由计算机发明的，但书中并未解释原因。不过，这本书还是强调了向这个方向发展的趋势，比如，不断改进的Vertebrane可能会变得超级智能。另外，还有一大群绰号为“维特人”（Vites）的人几乎完全生活在虚拟世界中，Vertebrane负责照顾他们的一切生活起居，包括进食、洗澡和上厕所，他们位于虚拟现实中的智能对这些事情都没有知觉和意识。维特人没兴趣在物理世界中生孩子，如果他们的肉体死了，他们的虚拟智能也会死去。所以，如果每个人都变成了维特人，那人类就会在一片荣耀与极乐的虚拟光芒中走向灭绝。

《曼娜》这本书解释了维特人觉得身体会令他们分心的原因，并提到，正在开发的新技术有望消除这种烦恼，为他们的大脑提供最佳的营养素，从而让他们能活得更久。由此看来，维特人自然而理想的下一步似乎就是完全放弃大脑，然后上传智能，从而延长寿命。但现在，大脑对智力的限制因素都消失了，没有什么能阻止维特人逐渐提升认知能力，直到发生迭代式的自我改进，并触发智能爆炸。

守门人

我们刚刚已经看到，平等主义乌托邦情景有一个吸引人的特征：人类掌握了自己的命运。但如果超级智能被开发出来了，这个好处也就不复存在。这个问题可以通过建造“守门人”来预防。守门人的目标是尽可能少地进行干预，以避免创造出另一个超级智能⁽⁴³⁾。这或许能使人类无限期地保持平等主义乌托邦的状态，甚至可以在这种状态下将生命撒遍宇宙，就像第6章中即将探讨的那样。

这要如何实现呢？守门人人工智能的这个简单的目标内置在它的“脑子”里。即使它经历迭代式自我改进后变成超级智能，它依然保留着这个目标。然后，它将部署侵入性和破坏性最低的监视技术，以监控任何想要为它建造竞争对手的人。一旦监测到这种行为，它就会以破坏性最小的方式加以阻止。如果这个人刚着手不久，它采用的策略可能是发布和传播文化模因⁽⁴⁴⁾，赞美人类的自主性，歌颂消灭超级智能的行为。如果守门人人工智能发现试图建造超级智能的是一些专业人士，那它可能会试图劝阻他们。如果劝阻失败，它可能会试着分散他们的注意力。在必要的情况下，它可能会搞破坏。由于它几乎可以无限制地使用任何技术，因此它能神不知鬼不觉地破坏研究者的行动，而不会有人注意到。比如，它可以用纳米技术来小心谨慎地抹去研究者大脑（或计算机）中的有关记忆。

建造守门人人工智能的决定可能会引起争议。支持者可能包含一些宗教人士。他们反对建造拥有神力的超级智能。他们声称，已经有一个上帝了，试图建造一个可能更好的上帝是不合适的。还有一些支持者可能会认为，守门人人工智能不仅能让人类掌握自己的命运，还能保护人类免受超级智能可能带来的其他风险，比如本章后面将会探讨的“末日”情景。

然而，批评者可能会认为，守门人人工智能是一种可怕的东西，它将不可挽回地削弱人类的潜力，并让技术进步永远陷入困境。比如，如果在宇宙中散播生命的种子（第6章我们会探讨这个问题），就需要超级智能的帮助，那么守门人人工智能将扼杀掉这个巨大的机会，并可能将我们永远困在太阳系中，无法冲出去。此外，与世界上大多数宗教的神祗不同，守门人人工智能对人类的态度是完全漠视的，只要我们不创造另一个超级智能就行。比如，如果我们的某些行为会给自己带来巨大的痛苦，甚至招致灭绝，它也会冷漠地袖手旁观，并不会试图阻止。

守护神

既然我们愿意用一个超级智能的守门人人工智能来确保人类掌控自己的命运，那么，我们大可以让这个人工智能更加小心谨慎地关照我们，就像一个守护神一样，这样可能更好。在这种情况下，这个超级智能本质上是无所不知、无所不能的，它会对我们进行干预，但这些干预只是为了最大限度地提升人类的幸福感。它会让我们保持对自己命运的控制感，同时把自己隐藏起来，以至于许多人甚至怀疑它是否存在。刨去“隐藏”的部分，这个情景与人工智能研究者本·格策尔（Ben Goertzel）所提出的“保姆人工智能”（Nanny AI）的情景很相似^[2]。

守护神和善意的“独裁者”都属于试图提升人类幸福感的“友好的人工智能”，不过，它们处理人类需求的优先顺序有所不同。美国心理学家亚伯拉罕·马斯洛有一个著名的理论：他将人类的需求分为5个层次⁽⁴⁵⁾。善意的独裁者完美地解决了最底层的生理需求，比如食物、住所、安全感和各种愉悦体验等。而守护神不是狭隘地满足我们的基本需求，而是想让我们感觉到生活是有意义和目标的，以此来最大化人类的幸福感。它的目标是满足我们所有的需求，而它自己只有两个需求，一是隐藏起来，二是最大程度地让我们自己来做决定。

守护神可能是第4章中所说的欧米茄团队的第一个情景的自然结果。在第4章，我们讲到欧米茄团队没能控制好普罗米修斯，导致它最终隐藏起来，没人知道它的存在。人工智能技术越先进，它要隐藏起来就越容易。电影《超验骇客》就是一个例子。这部电影中，纳米机器人几乎无处不在，并成为世界自然而然的一部分。

通过密切监视所有人的活动，守护神人工智能可以在许多地方做出一些难以察觉的小推动或小奇迹，以此来极大地改善我们的命运。比如，如果它存在于20世纪30年代，那么，一旦它发现希特勒的意图，就可能会让他死于中风。如果我们正在酝酿一场意外的核战争，那它可能会进行一些干预，扭转局面，避免战争，而我们却不知道是它扭转了乾坤，还以为是因为我们运气好。它还可以在睡梦中给予我们一些难以察觉的“启示”，以此来帮助我们开发出有益的新技术。

许多人可能会喜欢这种情形，因为它与今天的一神论宗教所相信或所希望的局面很相似。如果有人打开一个超级智能的开关，然后问它：“上帝是否存在？”它可能会引用史蒂芬·霍金讲的一个笑话来戏谑他：“现在存在了！”然而，一些宗教人士可能会不喜欢这种情形，因为人工智能的能力超越了他们的上帝，或者打乱了“人类只有在自己做选择时才算做好事”的神圣计划，这也是守护神人工智能的第一个缺点。

守护神人工智能的第二个缺点是，为了隐藏自己，守护神人工智能可能会放任一些本可以避免的痛苦发生。这有点类似电影《模仿游戏》（The Imitation Game）中的情景，艾伦·图灵等人在英国布莱切利庄园破译密码，他们知道许多关于德军潜艇袭击盟军海军护卫队的消息，但为了最终的胜利，他们没有告诉盟军这些消息，以免暴露他们破译密码的能力。把这个问题与所谓的“神义论”问题相比较是十分有趣的。神义论问题是说，为什么善良的上帝会允许人类痛苦的存在？一些宗教人士争辩说，这是因为上帝希望人们拥有一些自由。在守护神人工智能的模式中，它会这样回答神义论问题：当人们感觉到自由时，会提升整体的幸福感。

守护神人工智能的第三个缺点是，人类得以享用的技术水平远远低于这个超级智能所发明的技术水平。善意的“独裁者”人工智能为了人类的利益，可以将其发明的所有技术都拿出来使用，但守护神人工智能却会受到两个方面的限制：第一，人类不一定能理解它发明的技术；第二，为了隐藏自我，守护神人工智能不能直接把技术告诉人类，而是需要给人们一些微妙的线索，让他们自己去发明，但人类“重新发明”某项技术的能力也是有限的。守护神人工智能可能还会故意限制人类技术进步的速度，以确保自己的技术远远超前于人类，免得被人发现。

被奴役的神

假如人类能把上述所有情景的好处全部结合起来，用超级智能开发的技术来消除人类的痛苦，同时保证人类能掌控自己的命运，那岂不是很好吗？这就是“被奴役的神”的情景的魅力。在这种情景中，人类控制着一个超级智能，用它来生产超出人类想象的技术和财富。如果普罗米修斯从未逃脱，那么，本书开头提到的欧米茄团队所能做的可能最后就会变成这样。事实上，这种情景似乎是一些人工智能研究者在处理诸如“控制问题”和“人工智能装箱”等问题时的默认目标。比如，当年美国人工智能协会的主席汤姆·迪特里奇（Tom Dietterich）在2015年的一次采访中说：

人们总在问，人与机器的关系如何。我的回答是，这很明显：机器是我们的奴隶。^[3]

这是坏事还是好事呢？这个问题微妙而有趣，因为答案取决于你问的对象是人还是人工智能。

这对人类是好是坏

无论结果对人类是好是坏，显然都取决于控制人工智能的人类，因为这些人既能创造出消除疾病、贫穷和犯罪的全球乌托邦，也能创造出残酷的压迫体系，在那里，他们自己的地位就像神一样，而其他人被用作角斗士等娱乐项目。这种情况很像那些“某人控制了万能精灵来帮他实现所有愿望”的故事，不管讲故事的人处于什么年代，他们都可以毫不费力地设想出最坏的结局。

在某一种情景中，如果被人类奴役和控制的超级智能不止一个，那么，这种情景可能是不稳定和短命的。它会引诱那些认为自己拥有更强大的人工智能的人发起攻击，打响一场可怕的战争，而战争的结局可能是：全世界只剩下唯一一个“被奴役的神”。然而，战争中处于下风者可能会考虑抄近路，把打胜仗的优先级放在被奴役的人工智能之前，这可能会导致人工智能逃脱，或者导致之前讨论过的几种自由超级智能的情景之一。因此，我们在本节余下的部分来探讨一下被奴役的人工智能只有一个时的情景。

或许，逃脱无论怎样都会发生，因为太难预防。我们在第4章中探讨了超级智能逃脱的情况，而电影《机械姬》则告诉我们，即使还没有达到超级智能，人工智能也可能会逃脱。

我们的人工智能逃脱恐惧症越厉害，在人工智能发明的技术中，我们能使用的技术就越少。正如我在引言部分描述的欧米茄团队一样，为了安全起见，在人工智能发明的技术中，我们人类只能使用那些我们能够理解和建造的技术。因此，被奴役的人工智能有一个缺点，那就是：其技术水平低于那些拥有自由超级智能的技术水平。

随着被奴役的人工智能提供给人类控制者的技术日益强大，在技术之力和使用技术所需的智慧之间展开了一场较量。如果人类输掉了这场智慧的较量，这个被奴役的人工智能的情景就可能会招致自我毁灭，或导致人工智能逃脱。即便这两种惨剧都避免了，也可能会造成灾难性的后果，因为人工智能控制者的崇高目标可能会在几代人的时间内演变成对人类整体而言极其可怕的目标。因此，人工智能控制者们建立一个良好的管理体系来避免灾难的发生，就成了一件至关重要的事情。几千年来，人类实验了各种不同的管理体系。这些经验告诉我们，管理体系的问题何其多，从顽固不化到随波逐流，再到争权夺势、继位问题和能力问题。至少有4个方面必须要达到最佳平衡：

◦　中心化：在效率和稳定性之间存在一个此消彼长的平衡状态，当只有一个领导者时，会非常有效，但在这种情况下，权力总会腐败，换届也很冒险。

◦　内部威胁：不管权力是过度中心化还是过度去中心化，都必须保持警惕，因为前者会导致党同伐异，甚至只剩下一个领导者统治所有人，而后者会导致臃肿的官僚机构和碎片化。

◦　外部威胁：如果管理体制过于开放，会容易让外部力量包括人工智能腐蚀它的价值；但是，如果它过于顽固不化，又会导致无法学习新东西，不能适应改变。

◦　目标稳定性：目标“漂移”得过多，会把乌托邦变成反乌托邦的情形。但是，如果目标雷打不动，又会无法适应快速发展的科技环境。

想要设计一个能延续数千年的最佳管理体系并不是一件容易的事情，迄今为止，人们还没能得偿所愿。大多数组织都会在几年或几十年后崩溃。对于那些青睐于“被奴役的神”情景的人来说，研究如何建立持久的最佳管理体系应该是我们这个时代最紧迫的挑战之一。

这对人工智能是好是坏

假设，人类因“被奴役的神”人工智能而繁荣兴盛起来了，这符合伦理吗？如果那个人工智能拥有主观意识体验，那么，它会不会感觉“活着就是苦难”？它会不会因为自己必须听命于低等生物而感到无尽的沮丧？毕竟，我们第4章探讨的“人工智能装箱”说白了就是“单独囚禁”。尼克·波斯特洛姆把让有意识的人工智能受苦的行为称为“智能犯罪”（mind crime）^[4]。电视剧《黑镜》中的《白色圣诞》这一集就给出了一个很好的例子。还有一个例子就是电视剧《西部世界》，其中，许多人折磨和谋杀那些拥有人类外表的人工智能时并没有感到一丝道德上的不安。

奴隶主如何为奴隶制度辩护

我们人类有一个悠久的传统，就是把其他智能体当作奴隶，并且用自私自利的理由来证明它的合理性，所以，人类极有可能会试图对超级智能做同样的事情。奴隶制几乎在所有文化的历史中都有出现。将近4 000年前的《汉谟拉比法典》中就有对奴隶制的描述。“有人治人，有人被治，这件事不仅是必要的，而且是权宜之计；从人们出生的那一刻开始，就有一些人隶属于服从的地位，另一些人则处在统治地位。”亚里士多德曾经在《政治学》中这么写道。即使在世界的大部分地区，奴役人类都已变得不可接受，但对动物的奴役仍然风头不减。玛乔丽·施皮格尔（Marjorie Spiegel）在她的著作《可怕的比较：人类和动物的奴隶制》（The Dreaded Comparison）一书中指出，与人类奴隶一样，动物也会受到打烙印、约束、殴打、拍卖、与父母分离和被迫旅行等遭遇。而且，尽管有动物权利运动，我们仍然会不假思索地把智能机器当作奴隶来对待，有关“机器人权利运动”的讨论常沦为笑谈。这是为什么？

支持奴隶制的人有一个常见的论点，那就是：奴隶不配享有人权，因为他们或他们的种族／物种／种类在某种程度上是低劣的。对于被奴役的动物和机器来说，它们之所以被冠以“低劣”之名，往往是因为人们认为它们缺乏灵魂或意识。我们将在第8章讨论为什么这个观点在科学上是可疑和模棱两可的。

另一个常见的观点是，当奴隶们被奴役时，他们的生活会变得更好：他们得以幸存于世，并接受照料，诸如此类。19世纪美国政治家约翰·卡尔霍恩（John C. Calhoun）有个著名的观点，他说，非洲人在美国当奴隶时，他们的生活反而变得更好了。亚里士多德在他的《政治学》也表达了类似的观点，他认为，当动物被人类驯服和控制时，它们的境况变得更好了。他接着说：“事实上，蓄养和使用奴隶与驯服动物没什么两样。”一些现代奴隶制支持者认为，即使奴隶的生活单调乏味，但它们并没有受苦，无论它们是未来的智能机器，还是生活在又挤又黑的棚屋里的肉鸡，整天被迫呼吸着粪便和羽毛散发出来的氨气与灰尘。

消除情绪

虽然我们很容易觉得上面这些说法是对真相的自私扭曲，因而不予理会，尤其是涉及大脑与人类相似的高等哺乳动物时，但是，当我们转而谈论机器时，情况却变得非常微妙和有趣。不同的人对同一件事的看法各不相同。精神病患者可能缺乏同情心。一些抑郁症患者或精神分裂症患者可能会情感贫乏，这种情况会严重降低大部分情绪体验。正如我们将在第7章中详细讨论的那样，人造智能的可能性比人类心灵要多得多。因此，我们必须抵抗将人工智能拟人化的诱惑，尽量避免认为它们具有典型的人类情感，或者说，根本不要假设它们拥有任何感觉。

确实，人工智能研究者杰夫·霍金斯在他的《智能时代》（On Intelligence）一书中认为，第一台拥有超人智能的机器肯定是没有情绪的，因为这样的设计更简单，也更便宜。换句话说，我们或许能设计出一个超级智能机器，我们对它的奴役比奴役人类或动物在道德上更易令人接受：这个人工智能乐于被奴役，因为我们为它编入了“喜欢当奴隶”的程序，又或者，它完全没有情绪，只知道永不疲倦地用它的超级智能为人类主子做事，就像打败国际象棋冠军加里·卡斯帕罗夫的深蓝计算机一样。

或者，也可能是另一种情况，有可能，任何高级智能系统，只要它拥有目标，它就会将这个目标表现为一些偏好，而这些偏好就会赋予它价值和意义。我们将在第7章更深入地探讨这些问题。

僵尸方案

想要避免人工智能遭受痛苦，还有一个比较极端的解决方法——僵尸方案，也就是说，只建造完全无意识、无任何主观体验的人工智能。如果未来有一天我们搞明白了让一个信息处理系统获得主观体验需要什么属性，那我们就可以禁止建造具备这些属性的所有系统。换句话说，人工智能研究者可能只允许建造无知觉的僵尸系统。假设这种僵尸系统获得了超强的智能，并成为我们的奴隶（这可是个重大的假设），那我们就不会为我们的所作所为感到良心不安，因为我们知道它不会感到痛苦、沮丧或无聊，因为它什么感觉也没有。我们将在第8章详细探讨这些问题。

然而，僵尸方案是一个冒险的赌博，它有一个严重的缺点。如果一个僵尸超级智能逃脱并消灭了人类，那我们就遇到了最糟糕的情况：一个完全无意识的宇宙。在那里，整个宇宙的禀赋都被浪费掉了。在我看来，在人类所有的智力特质中，意识（consciousness）是最了不起的。我认为，意识正是宇宙的意义之来源。星系之所以美丽，是因为我们的目光触及它们，并在主观上体验到它们的存在。如果说在遥远的将来，高科技的僵尸人工智能占领了整个宇宙，那么，无论它们的跨星系结构是多么的奇妙，它都不会是美丽的或者有意义的，因为没有人能够体验它，只是对空间巨大而又毫无意义的浪费罢了。

内部自由

想让“被奴役的神”的情形更符合伦理，还有第三种方法，那就是允许被奴役的人工智能在监狱里自娱自乐，让它创造出一个虚拟的内部世界，并在其中体验各种各样激动人心的事情，只要它履行职责，把它计算资源中的一小部分交出来帮助外部世界中的人类即可。然而，这可能会增加它逃脱的风险：人工智能有动机从外部世界中获得更多计算资源，来丰富它的内部世界。

征服者

虽然我们现在已经探索了多种未来情景，但它们都有一些共同之处，那就是：剩下一些人类快乐地生活着。在这些情景中，人工智能让人类存活下去，要么是因为它们需要我们，要么是因为它们被迫这么做。不幸的是，对于人类来说，这不是唯一的可能性。现在让我们来讨论一下人工智能征服和消灭所有人类的情景。这提出了两个直接问题：为什么会发生？会如何发生？

为什么会发生？会如何发生？

为什么征服者人工智能会这么做？其原因可能复杂到我们无法理解，但也可能十分直接。譬如说，可能是因为它将我们视为威胁，认为我们很讨厌，是对资源的浪费。即使它并不介意人类本身，也可能会因为我们做的事情而感到威胁，比方说，我们的数千枚氢弹就像弦上之箭，只等触发。它可能会不赞成我们对地球的鲁莽“管理”，因为我们的行为导致了伊丽莎白·科尔伯特（Elizabeth Kolbert）所谓的“第六次大灭绝”，并且，她以此为标题写了一本书。第六次大灭绝指的是自6 600万年前那颗灭绝恐龙的小行星袭击地球以来，最严重的大规模灭绝事件。或者，人工智能可能会觉得，既然有那么多人反对人工智能统治人类，那实在不值得尝试，还不如直接消灭人类来得快一点。

征服者人工智能会如何消灭人类？它可能会通过一种我们无法理解的方法，而且不会等太久。想象一下，10万年前的一群大象在讨论最近进化出来的人类是否会利用他们的智慧消灭它们整个物种。它们可能会想：“我们对人类又没有威胁，他们为什么会想杀掉我们？”它们怎么猜得到，虽然塑料制品的质量更好、价格更低，但世界各地的人依然会走私象牙，并把它们雕刻成身份的象征，高价售卖。同样地，征服者人工智能消灭人类的理由对我们来说可能也很难理解。大象可能还会问：“人类怎么杀得了我们呢？他们明明身材更小，力量更弱啊？”它们猜不猜得到我们会发明各种技术来杀死它们？比如，毁掉它们的栖息地，在它们的饮用水中下毒，并用金属子弹以超音速击穿它们的脑袋。

《终结者》系列这类好莱坞电影大肆渲染了人类打败人工智能、幸免于难的情景，但这些电影中的人工智能并不比人类聪明多少。当智力差距足够大时，战争就会转变成屠杀。到目前为止，人类已经让11种大象中的8种灭绝了，在仅存的3种中，大部分也已经被我们灭绝。假如世界各国政府都同意消灭剩余的大象，那大象的灭绝也就是分分钟的事情。我相信，如果一个超级智能想要消灭人类，那可能会更快。

会有多糟

如果90%的人类被杀，会有多糟糕？如果不是90%，而是100%，情况会变得更糟糕吗？对于第二个问题，你可能会认为“比前一个糟糕10%”，但从整个宇宙的角度来看，这显然是不准确的，因为人类灭绝的受害者可不仅仅只是活在当时的那些人，而且还应该包括本可以在未来几十亿年中出生在几十亿甚至几千亿颗星球上的人类后代。

我认识的大多数人都觉得“灭绝人类”这个想法很恐怖。然而还有一些人本身就不喜欢人类对待他人和其他生物的方式，他们对人类感到愤怒，希望能出现一种更智慧、更值得尊敬的生命形式来取代人类。在电影《黑客帝国》中，人工智能特工史密斯阐述了这样一个观点：

这个星球上的每种哺乳动物都会本能地与周围环境达成一种自然的平衡，但你们人类却不会。你们迁徙到一个地方，就会开始繁殖、繁殖，直到耗尽这里的每一滴自然资源，接着，你们生存下去的唯一方法就是迁徙到另一个地方。在这个星球上，还有另一种有机体遵循相同的模式。你知道是什么吗？是病毒。人类就是一种疾病，是这个星球的癌症。你们是瘟疫，而我们就是解药。

但是，重新扔一次骰子，寄希望于消灭人类的人工智能，结果必然会更好吗？并不是。一个文明越强大，不代表它就越符合伦理或越实用。“强权即公理”是说越强大就越好，但这种观点总是与法西斯主义联系在一起，因此在今天已经不那么受欢迎了。其实，就算征服者人工智能再次创造出一个拥有目标的文明，就算这些目标在人类眼里是复杂有趣和值得追求的，最后你可能也会发现它们是如此平庸无趣，比如生产尽可能多的回形针。

平庸至死

“生产尽可能多的回形针”这个故作愚蠢的例子是尼克·波斯特洛姆在2003年提出来的。他想用这个例子说明人工智能的目标是独立于其智能的⁽⁴⁶⁾。象棋计算机的目标是赢得比赛，但还有一种目标是“输掉比赛”的计算机象棋比赛，参赛的计算机通常与那些参加“赢得比赛”的计算机一样聪明。在我们人类看来，刻意输掉比赛或者试图把宇宙变成回形针，简直不能叫“人工智能”，干脆叫“人工愚蠢”算了。但是，我们之所以会这么想，只是因为进化在我们的脑子里预装了“把胜利和生存看得很重要”的目标，而这些目标，可能正是人工智能所缺乏的。一个想要生产尽可能多的回形针的人工智能可能会将尽可能多的地球原子变成回形针，并将它的工厂扩张到宇宙各处。这样人工智能并不是针对我们，它消灭人类只是因为它需要我们的原子来制造回形针。

如果回形针不是你的菜，可以再看看我从汉斯·莫拉维克的书《智力后裔》改编的例子。假设我们收到了一条来自外星文明的广播信息，其中包含一个计算机程序。当我们运行它时，发现它原来是一个自我迭代的人工智能。它像上一章所讲的普罗米修斯一样，接管和统治了世界，只不过没人知道它的终极目标是什么。很快，它就将我们的太阳系变成了一个巨大的建筑工地，在每颗岩石行星和小行星上建满了工厂、发电厂和超级计算机，用来在太阳周围设计和建造一个戴森球（Dyson sphere）⁽⁴⁷⁾。这个戴森球可以收集太阳辐射出的所有能量，来驱动一个和整个太阳系差不多大小的无线电天线⁽⁴⁸⁾。毋庸置疑，这最后导致了人类的灭绝，但是，行将就木的人类却相信还有一线希望。不管这个人工智能意欲何为，它的做法显然是很酷的，就像《星际迷航》一样。人工智能完全没有意识到，它们建造的这个巨大天线的唯一目的就是，再次向宇宙深处播放与人类当初接收到那条信息完全相同的广播信息，说到底，这只不过是一个宇宙级别的计算机病毒而已。今天的钓鱼邮件爱攻击易受骗的互联网用户，而这个宇宙病毒则捕猎那些易受骗的、进化程度较高的文明。这个宇宙病毒是数十亿年前的一个恶作剧，虽然它的制造者的整个文明已经灭绝了，但该病毒仍然以光速在我们的宇宙中蔓延，把正在萌芽的文明变成死亡的空壳。如果我们被这个人工智能征服，你感觉如何？

后裔

现在，让我们来看看另一种情形。这个情形中，虽然人类也会灭绝，但一些人可能会觉得比刚才那些情形好一点，那就是：将人工智能视为我们的后裔，而不是我们的征服者。汉斯·莫拉维克在《智力后裔》一书中支持了这种观点。他说：

我们人类会从人工智能的劳动中获得一时的利益，但是，就像自然出生的孩子一样，它们迟早都会去追求自己的命运，而我们这些衰老的父母，就会安静地逝去。

孩子们会向父母学习，达成父母梦寐以求的成就。如果孩子比他们的父母聪明，父母通常会感到高兴，并以之为荣，即使他们知道自己可能活不到亲眼目睹子女有所成就的那一天。从这个意义上来讲，虽然人工智能可能会取代人类，但它们可以让我们从容地退出历史舞台，并把它们视为自己的后裔。它们可能会给每个人赠送一个可爱的机器人小孩，这个机器人拥有绝佳的社会技能，可以向人类学习，适应人类的价值观，让人类感觉到骄傲和被爱。通过在全球范围内实施独生子女政策，人口逐渐减少，但人类受到的待遇非常好，以至于最后一代人会觉得自己是有史以来最幸运的一代人。

你觉得这个情形怎么样？毕竟，我们人类早就习惯了“生死有命”的想法。这种情形唯一的区别是，我们的后代会有点不一样，他们会变得更强大、更高尚、更富有。

此外，全球性的独生子女政策可能不再有必要：只要人工智能消除了贫困，让所有人都过上了津津有味、心满意足的生活，那么，生育率就可能会下降，直到人类灭绝。如果人工智能给予人类极其丰富的娱乐生活，以至于几乎没人愿意生孩子，那这种“自愿灭绝”的速度可能会更快。例如我们在平等主义乌托邦情景中提到的维特人，他们非常迷恋虚拟现实，根本没有兴趣去使用和复制自己的肉身。在这种情况下，最后一代人同样也会觉得自己是有史以来最幸运的一代，因为他们的生活有滋有味，充满热情，直到离世的一刻来临。

没有人执行的遗嘱

把人工智能视为后裔的情形无疑会遭到反对。有些人可能会认为，人工智能缺乏意识，因此不能算作我们的后裔（在第8章我们会进行更多相关的讨论）。一些宗教人士可能会认为，人工智能缺乏灵魂，因此不能算作我们的后裔，或者说，我们不应该建造有意识的机器，因为这是在扮演上帝的角色，对生命本身进行篡改。他们对克隆人技术也表达过类似的观点。与更高级的机器人共处，还可能对人类社会带来挑战。比如，如果一个家庭拥有一个机器人婴儿和一个人类婴儿，那它其实很像今天拥有一个人类婴儿和一条小狗的家庭，两个小可爱一开始都同样乖巧，但很快，父母就会对它们区别对待。不用说，小狗的智力更低，慢慢地，人类会不那么关心小狗，最后用绳子把它拴起来。

另外一个问题是，虽然我们可能会觉得“后裔”情形和“征服者”情形大相径庭，但是往大了看，二者是非常相似的：在今后的数十亿年中，二者唯一的区别在于，最后一代人类受到怎样的待遇，他们是否对自己的生活感到满意，以及他们对自己死后的世界有何想法。我们可能会认为，那些可爱的机器人小孩接受了我们的价值观，一旦我们死去，它们会继续打造我们梦想的社会，但是，我们如何能肯定它们不是在欺骗我们？说不定它们只是在虚假地表演，等到我们快乐地死光了，它们就好实施“回形针最大化”计划或者别的什么计划。毕竟，它们一开始和我们交谈并让我们爱上它们，这本身可能就是一种欺骗，因为它们为了和我们交流，必须先刻意地降低智商，比如，在科幻电影《她》（Her）中，为了与人类交流，人工智能把自己的速度降低了10亿倍。通常，两个思想速度和能力相差极大的个体之间很难产生有意义的平等交流。我们都知道，人类的感情因素很容易成为黑客攻击的对象，所以，无论一个超人类水平的通用人工智能的目标是什么，它都可以很轻易地骗过我们，让我们对它产生好感，并让我们误以为它和我们的价值观相同。《机械姬》（Ex Machina）就是一个绝佳的例子。

如果人工智能保证在人类灭绝之后会采取一些行动，那么，什么行动会让你感觉“后裔”情形也没那么糟？这就有点像写遗嘱，只不过这份遗嘱中写的是对未来人类的叮嘱，告诫他们要如何对待人类的集体禀赋。然而，不会有任何人来执行这份遗嘱了。我们将在第7章回到这个话题，继续讨论如何控制未来人工智能的行为。

动物园管理员

即使人工智能会成为我们绝佳的后裔，但是人类会灭绝，这难道不令人伤感吗？如果你希望无论如何还是要留下一些人类，那么，“动物园管理员”的情形可能会是一个更好的选择。在这种情形中，一个无所不能的超级智能把一些人类留在世界上，而这些人类感觉自己就像动物园里的动物一样，偶尔会哀叹自己的命运。

动物园管理员人工智能为什么会想留下一些人类呢？因为对它来说，运营动物园的成本十分微不足道。它留下一小撮人类来生息繁衍，可能就像我们把濒危的大熊猫关进动物园，把古旧的计算机放进博物馆一样：为了娱乐和好奇心。请注意，今天的动物园主要是为了取悦人类，而不是让动物开心。所以，不要期待“动物园管理员”的情形会令人称心满意。

我们现在已经讨论了几种自由的超级智能的情形，它们分别聚焦在马斯洛需求理论中的三个不同层次。守护神人工智能优先满足意义和目的，善意的独裁者人工智能优先满足教育和乐趣，而动物园管理员人工智能只将注意力集中在最低的水平：生理需求、安全和足够的栖息地，好让人类像动物园的动物一样看起来很有趣。

你可以用另一个方法来替代动物园管理员情形：在设计友好的人工智能的程序时，就要求它在迭代的过程中保证10亿人的安全和幸福。但是，为了实现这一点，它可以将人类关在一个大型动物园般的快乐工厂中。在这个工厂里，人类的营养和健康都得到了保障，还用虚拟现实来保持心情愉悦。地球的其余部分和宇宙的禀赋资源则另作他用。

1984

如果你对前文所说的这些情形都不是特别感兴趣，那么请想一想：你是不是认为，从科技的角度出发，今天的一切已经足够好了？为什么我们不能继续保持现状，停止担忧人工智能对人类的消灭或统治呢？本着这种精神，让我们来讨论另一种情形：在这种情形中，可能带来超级智能的技术进步之路被永久斩断，但斩断这条路的并不是守门人人工智能，而是一个由人类主导的奥威尔式的全球性监控国家。在这个国家里，所有人工智能的相关研究都被明令禁止了。

技术废除，新“卢德分子”

阻止科技进步的想法由来已久，历史也甚为曲折。一个著名但并不成功的例子就是英国的“卢德分子”，他们反对工业革命的技术。今天，“卢德分子”这个词常被用作贬义词，形容那些站在历史对立面、反对科技进步和必然变革的技术恐惧者。然而到今天，对科技进步的阻挠从未消失，而是在环保运动和反全球化运动中找到了新的立足点。其中一个最著名的支持者是环保主义者比尔·麦吉本（Bill McKibben）。他是最早向人们警告全球变暖现象的人之一。一些“反卢德分子”认为，所有技术都应该被开发和使用，这样它们才能产生利益；而另一些人则认为，这种观点太极端了，只有当我们相信一项新技术利大于弊时，它才能被允许使用。后一种观点的支持者更多，被称为“新卢德分子”（neouddites）。

极权主义2.0

我认为要广泛地废除技术，唯一可行的方法就是通过一个全球范围的极权主义国家来执行。雷·库兹韦尔在《奇点临近》一书中，以及埃里克·德莱克斯勒（Eric Drexler）在《造物引擎》（Engines of Creation）一书中，都得出了同样的结论。原因很简单：如果一些人（而不是全部）放弃了一种具有变革性的技术，那么，那些没有放弃的国家或集团就会逐渐累积起足够的财富和权力，从而接管和统治世界。

过去，极权主义国家通常被证明是极不稳定的，最后都走向了崩溃。但新型的监控技术为未来的独裁者提供了前所未有的希望。德国汉堡市前国务秘书沃尔夫冈·施密特（Wolfgang Schmidt）最近在接受采访时，回忆起自己曾在斯塔西（臭名昭著的原东德秘密警察组织）担任陆军中校^[5]的经历，他谈到了爱德华·斯诺登揭发的美国国家安全局监控系统，并说道：“你知道，这对于我们来说简直无异于梦想成真。”虽然斯塔西常被认为是人类历史上最为严酷的奥威尔式监控体系，但施密特却感叹到，当时的技术只能一次性监控40部电话，如果你想在监控列表上增加一个新名字，就得放弃一个旧的。相比之下，即便只使用现有的技术，一个全球性的极权主义国家也能监控地球上每个人的每次电话、电子邮件、网络搜索、网页浏览和信用卡交易记录，并通过手机定位和配有人脸识别功能的监控摄像头来监控每个人的行踪。此外，即便是远低于人类水平的通用人工智能的机器学习技术，也可以高效地分析和处理这些庞大的数据，从而发现扰乱治安的可疑行为，让那些闹事者在对政府构成严重威胁之前就被处理掉。

今天，尽管政治反对派的存在尚能阻止这种系统的全面实施，但人类却已经在建造这种专制制度所需的基础设施了。因此，如果未来真有一个强大的政治势力决定实施这种全球性的1984式统治，他们会发现，根本无须做太多事情，只需要打开开关就行了，因为技术早已存在。正如乔治·奥威尔的小说《1984》里描述的一样，这个未来的全球性国家的终极力量并不在一个传统的独裁者身上，而在于人为建立的官僚制度本身。不存在一个超级有权势的个人，相反，每个人都像是一颗棋子，任何人都无法改变或挑战游戏规则。通过设计一个人人互相监视的体系，这个不露声色、无单一领袖的国家就能够稳定延续数千年，让地球上再也无法发展出超级智能。

不满之处

当然了，一些只有超级智能才能带来的好处在这个社会中是不可能出现的。这一点并不会引起大多数人的不满，因为他们并不知道自己错过了什么：有关超级智能的整个概念早已从官方历史记录中删除了，人工智能研究被明令禁止。每隔一段时间，自由主义的苗子就会抬头，他们梦想着一个更加开放和充满活力的社会，在这个社会中，知识可以增长，规则可以改变。然而，只有那些把这些想法放在心里、守口如瓶的人才能活下去，于是这些想法就像瞬间即逝的星星之火一样，永远无法燎原。

逆转

如果能够在不陷入极权主义的情况下摆脱技术带来的危险，这个想法是不是很有诱惑力？那么，让我们来探讨一下这个场景——回归到中世纪的技术水平。这个想法是受到了阿米什人的启发。假如，欧米茄团队在第5章接管世界之后，发起了一场大规模的全球宣传运动，将1 500年前的简单农耕生活描述得浪漫异常。接着，一场瘟疫让全球人口减少到大约1亿人，恐怖分子被指责为这场瘟疫的罪魁祸首。这场瘟疫有一个不为人知的秘密——疾病具有针对性，确保对科学技术有所了解的人全部死光。普罗米修斯控制的机器人以消除高密度人群的感染风险为借口，将所有的城市都清空，并夷为平地。幸存者们突然获得了大片土地，并接受了相当于中世纪水平的教育，涉及可持续农业、渔业和狩猎等方面。与此同时，机器人军队系统性地抹去了现代技术的所有痕迹，包括城市、工厂、电力管线和道路等，并挫败了人们试着记录或再现这些技术的所有企图。一旦科技在全球被遗忘，机器人就开始互相拆解，直到几乎一个机器人也不剩下。最后一批机器人与普罗米修斯一起，在一场计划好的热核爆炸中蒸发殆尽。到那时，现代技术不再需要禁止，因为它已经全部消失。结果，人类为自己争取到了1 000多年的时间，在这段时间内，不仅无须担心人工智能，更无须担心极权主义。

历史上，“逆转”现象曾小范围地发生过。比如，罗马帝国普遍使用的一些技术被遗忘了1 000年之后，在文艺复兴时期卷土重来。艾萨克·阿西莫夫的科幻小说《基地》三部曲围绕着“谢顿计划”（Seldon Plan）展开，谢顿计划的目的是将一段长达3万年的“逆转”时期缩短到1 000年。通过巧妙的计划，或许可以起到与谢顿计划相反的效果——延长而不是缩短“逆转”周期，比如通过抹去所有农业知识来实现。然而，对于青睐“逆转”情形的人来说，一个不幸的消息是，这种情形的时间不可能无限地被延长，其结局要么是人类再次获得高科技，要么走向灭绝。认为人类的生物特征在1亿年后还和今天的人类差不多是很幼稚的想法，因为人类作为一个物种存在的时间还不足1亿年的1%呢。而且，低科技水平的人类是不设防的，很容易成为被攻击的目标，只能傻傻地待在地球上坐以待毙，等着被下一颗炽热的小行星撞击等自然灾害所消灭。人类当然不能延续10亿年，因为到那时，太阳会逐渐升温，烤热地球的大气层，直到所有液态水都蒸发殆尽。

自我毁灭

我们已经探讨了未来技术可能带来的问题。但如果缺少这些技术，也会带来一些问题。这些问题很重要，同样值得我们思考。本着这样的精神，现在让我们来讨论一些人类因其他原因毁灭了自我，从而导致超级智能永远无法产生的情形。

我们如何才能走到那一步呢？最简单的策略就是“等待”。我们在第6章将会看到，如何解决小行星撞击和海洋沸腾等问题。目前，我们还没有开发出解决这些问题所需要的技术。所以，除非我们的技术发展到远超现在的水平，否则，用不了10亿年那么久，大自然就会将我们从地球上抹去（如图5-1所示）。正如著名经济学家约翰·凯恩斯（John Maynard Keynes）所说：“长远来看，我们都难逃一死。”

图5-1　地球毁灭的可能情景

注：这些例子是可能毁灭已知的生命形态或永久剥夺其发展潜力的情形。尽管我们的宇宙本身可能还能延续至少100亿年的时间，但我们的太阳将在10亿年后将地球烤焦，然后将其吞噬，除非我们把地球搬运到一个安全的距离。35亿年后，银河系会与相邻的仙女座星系相碰撞。虽然我们并不知道它们相撞的具体时间，但我们可以预言，早在这场碰撞发生之前，就会发生小行星撞击地球，或者超级火山爆发引发经年累月的“火山冬天”。我们既可以用技术来解决所有这些问题，也可以用技术创造出新的问题，比如气候变化、核战争、改造瘟疫或出错的人工智能。

不幸的是，有时候集体的愚蠢会为我们招致更快的自我毁灭。既然没有人想看到这样的结果，为什么我们这个物种还会“集体自杀”，即所谓的“人类灭绝”呢？以人类目前的智力水平和情感成熟度来说，我们偶尔会有误判、误解和无能的时候，结果，我们的历史就充满了事故和战争等灾难，而这些灾难在事后看来，完全是没有人想要的。经济学家和数学家用优美的博弈论解释了这些现象，说明了人们是如何被激励，做出一些可能会给每个人都带来灾难性后果的事情。^[6]

核战争，人之鲁莽的后果

你可能会认为，风险越大，我们就会越谨慎。但是，只要仔细研究一下目前的技术可能带来的最大风险，即全球性的热核战争，你就会发现答案并不令人放心。我们不得不依靠运气来解决诸多千钧一发的危急情况，从计算机故障和断电，再到错误情报、导航误差、战斗机坠毁和卫星爆炸等^[7]。事实上，如果不是因为某些人的英雄行为，例如瓦西里·阿尔希波夫和斯坦尼斯拉夫·彼得罗夫，地球上可能早已爆发了全球性的核战争。考虑到人类过去的“成绩”，我认为，如果我们继续保持现在的行为，那么，每年爆发意外核战争的概率就不可能低至千分之一。即便低到千分之一，我们在1万年内爆发核战争的概率也超过1–0.999^{10 000}≈99.995%。

若想充分了解人类的鲁莽程度，我们必须意识到一个事实——“核赌局”其实早在我们仔细研究核技术的风险之前就开始了。

第一，我们低估了辐射风险。仅在美国，支付给铀处理和核实验的辐射受害者的赔偿金就已经超过了20亿美元^[8]。

第二，人们后来终于发现，如果氢弹在地球上空数百公里爆炸，就会产生强烈的电磁脉冲，可能使得广大地区的电网和电子设备无法使用（如图5-2所示），导致基础设施瘫痪，公路上堵满坏掉的车辆，极大地降低人们的生存条件。比如，美国电磁脉冲委员会报告说“水利基础设施是一架庞大的机器，虽然它一部分靠重力驱动，但主要是靠电力”，而人类断水仅3～4天就可能死亡。^[9]

第三，在过去的40年间，人类部署了63 000枚氢弹，但直到40年后我们才意识到核冬天的破坏力，无论是哪个国家的城市被氢弹袭击，上升至对流层高层的大量烟雾都可能扩散到全球，阻挡阳光，将夏天变成冬天，就像过去小行星或超级火山造成大规模灭绝事件时一样。当美国和苏联科学家在20世纪80年代敲响警钟时^[10]，才促成了里根总统和戈尔巴乔夫决定开始削减氢弹库存。如果进行更精确的计算，就能绘制出一幅更为惨淡的图画。如图5-3所示，惨剧一旦发生，在头两个夏天里，美国、欧洲、俄罗斯和中国的大部分核心农业区的温度将下降20℃（36华氏度），俄罗斯的一些地方甚至会下降35℃；即使在10年后，温度还是会下降一半⁽⁴⁹⁾。这意味着什么？你不需要太多农业经验就可以得出结论：多年接近冰点的夏季气温将会摧毁大部分粮食生产。很难预测，当几千座大城市变成残垣断瓦，全球基础设施崩塌之后，究竟会发生什么事。但是，即便少部分人不会变得饥寒交迫，我们依然需要解决许多问题，比如体温过低、疾病、武装黑帮抢夺食物等。

图5-2　一颗氢弹的破坏力

注：一颗氢弹在地球上空400km处爆炸，将会导致强烈的电磁脉冲，会严重影响广大区域内的所有需要用电的科技产品。如果将爆炸点向东南方向移动，美国东海岸的大部分地区都会被那个超过37 500伏特／米的香蕉形区域所覆盖。这张图片来自美国军方报告第AD-A278230号（非保密）。

我已经对全球核战争的情景进行了深入详细的探讨。最关键的一点是，尽管没有哪个理性的世界大国希望这样的结果出现，但它还是可能会意外发生。这意味着，我们不能相信我们的同类不会拉着我们走上“人类灭绝”之路，虽然没有人想要这种结果，并这不足以阻止它的发生。

图5-3　核战争可能导致的气温变化

注：这张图展示了，假设美国和俄罗斯之间爆发全面核战争，头两个夏天的全球气温降低程度（以摄氏度来表示）。图片经授权，来自美国气象学者阿兰·罗伯克（Alan Robock）。^[11]

世界末日装置

我们真的可以阻止人类灭绝吗？即使全球核战争可能会杀死90%的人，但大多数科学家猜测，它不会将人类赶尽杀绝，因此人类并不会灭绝。但是，核辐射、核电磁脉冲和核冬天的故事都表明，我们可能还不知道最大的危害究竟是什么。要想预见核战争之后的各个方面以及各个因素之间的相互作用，是非常困难的，比如核冬天、基础设施崩溃、升高的基因突变水平以及极端的武装分子如何与其他问题，比如新的流行病、生态系统崩溃及我们还没有想象到的其他问题等相互作用。因此我个人估计，尽管未来的核战争让人类灭绝的可能性并不大，但我们不能武断地说，这种可能性一定为零。

如果我们将今天的核武器升级为蓄意的“世界末日装置”（doomsday device），那么，人类灭绝的概率就会大大增加。美国兰德公司（RAND）战略家赫曼·卡恩（Herman Kahn）在1960年提出了“世界末日装置”这个概念，并因斯坦利·库布里克（Stanley Kubrick）的电影《奇爱博士》而得到了广泛传播。世界末日装置将“确保互相摧毁”（mutually assured destruction）范式发挥到了极致，它是完美的威慑。简单来说，世界末日装置就是一种机器，当遭到任何敌人袭击时，它就会自动启动，实施报复，手段是杀死所有人类。

世界末日装置的一个候选方案是将所谓的“盐核弹”埋在巨大的地下储藏室内。盐核弹是指周围包裹着大量钴元素的巨大氢弹。物理学家利奥·西拉德在1950年就提出，世界末日装置能够杀死地球上的所有人。因为氢弹爆炸会促使钴元素产生辐射，并将其吹入平流层。钴元素辐射5年的半衰期长短合适，长到足以遍布全世界，尤其是当两个相同的世界末日装置被放置在相对的半球时，但又短到足以造成致命的辐射伤害。媒体报道显示，如今有人正在制造第一颗钴弹。如果再加入一些会使平流层注入更多气溶胶的炸弹来加剧核冬天，那人类灭绝的概率就会陡升。世界末日装置的一个主要卖点是，它比传统的核威慑便宜得多：因为炸弹不需要发射，因此不需要昂贵的导弹系统；并且，炸弹本身的制造成本也更便宜，因为它们不需要为了能塞进导弹里而设计得轻巧。

还有一种可能的世界末日装置是，依靠生物学，用定制设计的细菌或病毒来杀死所有人。目前这种装置尚不存在，或许在未来可以被发明出来。只要它的传播性足够高，潜伏期足够长，那么，还不到有人意识到它的存在并采取反制措施，它就能将所有人杀死。即使它不能杀死所有人，人类依然对这种生物武器展开了军事讨论：把核武器、生物武器和其他武器结合起来，就能产生最有效的世界末日装置，最大限度地威慑敌人。

人工智能武器

第三种会让人类走向灭绝的路线可能是人工智能武器的愚蠢。假设一个超级大国建造了几十亿架第3章中提到过的那种黄蜂大小的杀手无人机，并利用它们杀死除自己公民和盟友之外的所有人。这些人工智能识别谋杀对象的方法是，通过无线射频识别标签进行远程识别，就像超市识别食物一样。这些标签可以通过安全手环分发给所有公民，也可以像极权主义情形中讲过的那样，经皮肤植入。

这个举动可能会刺激敌对的超级大国也建造类似的东西。当战争意外爆发时，所有的人都会被杀死，甚至是毫无瓜葛的遥远部落也不例外，因为没有人会佩戴上两个国家的两种身份标签。将这种方法与“核＋生物”末日装置相结合，将进一步加大灭绝全人类的概率。

你想要什么样的未来

本章开头，我请你思考，你想让当前的通用人工智能研究之争驶向何方。现在，我们已经探索了许多可能的情景，你喜欢哪一些？而哪些又是你认为我们应当尽力避免的呢？哪一个情景是你最喜欢的？请在http://AgeOfAi.org上加入讨论吧，让我和其他读者了解你的想法！

我们讨论的几种情形显然并没有穷尽所有的可能性，许多细节也不甚清晰，但我努力做到包罗万象，试图把整个“谱系”都包含进来，从高科技水平到低科技水平，再到零科技水平，并试着描述现有文献中所表达的主要希望和恐惧。

写这部分章节时，最好玩的事情就是倾听我的朋友和同事讲述他们对这些情景的想法。有趣的是，他们没有达成任何共识。只有一件每个人都同意的事情：这些选择比他们最初想象的要微妙得多。有的人可能喜欢其中一种情景，但他们发现其中也有一个或一些让他们讨厌的地方。对于我来说，这意味着人类应当继续深化关于未来目标的对话，这样我们才知道未来的方向。生命的宇宙潜力是宏大的，令人心生敬畏。因此，我们不要把它变成一艘没有舵手、漫无目的四处漂流的船！

那么，未来的潜力到底有多大呢？无论技术多么发达，生命3.0在宇宙中进化和传播的能力都会受到物理定律的限制。那么，今后几十亿年的终极限制是什么呢？人类是孤单的吗？还是说，我们的宇宙现在已经充满了外星生命，只是我们还不知道？假如不同的宇宙文明相遇，又会发生什么呢？我们将在下一章探讨这些迷人的问题。

本章要点

◦　目前，朝着通用人工智能前进的研究竞赛可能会在接下来的1 000年中带给我们许多不同的可能性。

◦　超级智能可能与人类和平共处的原因有两种，要么它们是被迫这么做，即“被奴役的神”情景，要么它是发自内心想要与人类和平共处的“友好的人工智能”，也就是“自由主义乌托邦”“守护神”“善意的独裁者”和“动物园管理员”情景。

◦　超级智能也可能不会出现，原因可能有几种：可能是被人工智能（“守门人”情景）或人类（“1984”情景）阻止了，也可能是因为人们选择刻意遗忘技术（“逆转”情景）或失去了建造它的动机（“平等主义乌托邦”情景）。

◦　人类可能会走向灭绝，并被人工智能取代（“征服者”或“后裔”情景），也可能什么都不剩下（“自我毁灭”情景）。

◦　在这些情景中，有人们想要的吗？如果有，是什么，或者是哪些呢？关于这个问题，人们还没有达成任何共识。虽然每种情景中都有许多令人讨厌的元素，但重要的是，我们必须继续深入探讨有关未来目标的问题，这样，我们才不会漫无目的地驶入一个不幸的未来。