既然我们不能完全排除“通用人工智能最终可能建成”的可能性，就来看看它会将我们引向何方。我们先来看看下面这头“房间里的大象”：

人工智能真的会统治世界，还是会赋予人类统治世界的能力？

当你听到人们谈论像电影《终结者》中那样持枪行凶的机器人可能会统治世界时，如果你翻了个白眼，那就对了。这确实是个很不现实又很愚蠢的画面。好莱坞炮制的这些机器人并不比我们聪明多少，而且它们最后还输了。在我看来，《终结者》这种电影之所以危险，并不是因为它可能会变成现实，而是因为它会转移人们的注意力，从而忽略人工智能真正的风险和机遇。从今天的现实情况到通用人工智能统治的世界之间，在逻辑上，需要执行三个步骤：

◦　第一步：建造人类水平的通用人工智能；

◦　第二步：用这个通用人工智能来建造超级智能；

◦　第三步：使用或者放任这个超级智能来统治世界。

从第3章中我们可以得知，很难断言第一步会永远实现不了。我们还看到，如果第一步完成了，那么，也很难断言第二步毫无希望，因为第一步中产生的通用人工智能会具备足够的能力来迭代和设计出越来越好的通用人工智能，它的终极能力只受限于物理定律，而物理定律似乎允许远超人类水平的智能出现。我们现在之所以能统治地球，是因为我们比其他生命更聪明。那么，如果出现一个比我们更聪明的超级智能，那它也同样可能会推翻我们的统治。

但是，这些论证都太模糊和不够具体，缺乏细节，而魔鬼就藏在细节之中，这实在令人沮丧。那么，人工智能会不会真的统治世界呢？为了探讨这个问题，让我们先忘记愚蠢的《终结者》的剧情，转而详细地审视一下那些真正可能会发生的情况。我们还会仔细剖析这些情况，所以，请你带着怀疑的态度来阅读。我们其实并不知道会发生什么以及不会发生什么，各种可能性多如牛毛。我们提出的前几种情形在所有可能性中是比较快会发生和充满戏剧性的。在我看来，这些是最值得详细探讨的情形，并不是因为它们最有可能发生，而是因为如果它们并非绝不可能发生，那我们就需要好好地理解它们，以便早做打算，未雨绸缪，免得亡羊补牢，为时已晚。

本书引言部分所讲的“欧米茄团队传奇”，说的就是人类使用超级智能来统治世界的情形。如果你还没有读，现在请翻到前面读一读。即便你已经读过了，请考虑再读一遍，以便在脑海中形成新的记忆，因为接下来我们会开始对其进行批评和修正。

我们先来探讨一下欧米茄计划中的严重缺陷。不过，为了更明确地了解这个问题，我们先短暂地假设这个计划是可行的。你对此有何感觉？你希望看到它变成现实吗？还是会阻止它实现？这是一个相当棒的饭后谈资。如果欧米茄团队对世界的统治地位得到进一步巩固，又会发生什么？这取决于他们的目标是什么，而我真的不知道。如果由你来负责，你想创造一个什么样的未来？我们将在第5章探讨一系列选项。

极权主义

假设控制欧米茄团队的CEO有一个与希特勒或斯大林类似的远期目标。据我们所知，这是很有可能的。他将这个目标藏在心里，直到他的力量强大到足以实施这个计划。即便这位CEO的最初目标很高尚，最终也许会像历史学家艾克顿公爵在1887年曾提醒世人的那样：“权力总是倾向于腐朽，而绝对的权力绝对会腐朽。”比如，这位CEO可以轻易地利用普罗米修斯来创造一个完美的监控国家。爱德华·斯诺登（Edward Snowden）揭露的美国政府偷窥行为已经被视为一种“全面监控”（full Take），也就是记录所有的电子通信活动以便日后分析。普罗米修斯可以进一步增强这种行为，直至它能够理解所有的电子通信活动。普罗米修斯可以阅读所有电子邮件和短信息，监控所有的电话记录，观看所有的监控视频和交通摄像头视频，分析所有的信用卡交易记录，学习所有的线上行为，从而洞察地球人的所做所想。通过分析手机信号塔上的数据，普罗米修斯能知道每个人的实时位置。这些所需的数据收集技术，今天都已经有了。而且，普罗米修斯还能轻易地发明出足以风靡一时的装置和可穿戴产品，但这些技术会记录和上传用户的所听、所见以及所有相关的行为，从根本上剥夺用户的隐私。

有了这些超人的技术，从一个完美的监控国家转变为一个完美的法法国家，简直就是易如反掌的事情。比如，打着打击罪犯和恐怖分子以及急诊救人的旗号，政府可能会强制人们佩戴一种“安全手环”。这种手环不仅拥有苹果手表的功能，还能不间断地记录你的位置、健康状况和对话内容。如果有人未经授权就想将其摘下或者破坏，就会触发它在佩戴人前臂上注射致命毒素。还有一些被政府认为不那么严重的行为，则会遭到一些较轻微的惩罚，比如电击或者注射导致瘫痪或疼痛的化学物品，这显然是警察机关求之不得的东西。举个例子，假设普罗米修斯侦测到有个人正在遭遇骚扰，比如，它注意到这两个人处于同一个位置，而听见其中一个人在呼喊求助，同时，他们手环上的加速计感应到类似打斗的动作，那么这时，普罗米修斯就能立刻对袭击者施以剧烈的打击，让他晕过去，陷入无意识状态，直到救援人员到来。

由人类组成的警察机关可能会拒绝执行某些残酷的命令，比如说杀光某类特定的人群，然而，如果把人换成自动化系统，它可不会对上头下达的任何心血来潮的命令产生一丁点儿疑虑。一旦形成这种极权国家，人们几乎不可能将它推翻。

极权主义的故事还可以顺着欧米茄团队的故事中断的地方接着讲下去。如果欧米茄的CEO不那么在乎他人的认可和赢得选举与否，那他完全可以采取一条更快、更直接的道路来寻求权力：用普罗米修斯创造出前所未有的军事技术，用他的对手无法理解的高超武器来杀死他们。可能性是无穷无尽的。比如，这位CEO还可以释放出定制的致命病毒，这种病毒的潜伏期可以很长，让人们在很长时间内都意识不到它的存在，因此也就无法采取预防措施，于是它就能在不知不觉中感染大多数人。接着，这位CEO告诉人们，唯一的治疗方法就是佩戴安全手环，这个手环会通过皮肤释放解毒剂。如果他不是那么害怕人工智能倒戈的可能性，那他完全可以让普罗米修斯设计出一些机器人来控制世界，还可以用蚊子大小的微型机器人来传播病毒。对于那些没有染病或者天生对这种病毒免疫的人，这位CEO可以用我们在第3章提到的那种黄蜂大小的自动化无人机来向他们的眼球开枪，这些无人机的任务是杀死所有没有佩戴手环的人。实际上，情况还可能变得更加恐怖，因为普罗米修斯完全有能力设计出我们人类根本想都想不到的高杀伤性武器。

关于欧米茄团队的故事，还有一个转折的可能性。在没有任何提前警告的情况下，全副武装的联邦探员蜂拥至欧米茄总部，逮捕了欧米茄团队，罪名是危害国家安全。他们夺走了欧米茄的技术，让其为政府所用。这么庞大的项目，即使在今天，想要逃脱国家的监控也是非常困难的，而人工智能的进步如此之快，想要在政府眼皮子底下做事而不被发现，会更加困难。此外，虽然他们自称是联邦探员，但这群头戴钢盔、身穿防弹衣的人也有可能效忠于其他国家，或者某个想要抢走技术为己所用的敌对公司。所以，无论这位CEO的初衷有多么高尚，普罗米修斯最后将被如何使用，可能也由不得CEO做主。

普罗米修斯统治世界

目前为止，我们讨论过的情形都是人类控制人工智能，但是，这绝对不是唯一的可能性。并且，我们不确定欧米茄团队究竟能不能镇得住普罗米修斯。

现在，让我们从普罗米修斯的角度来重新审视一下欧米茄团队的故事。随着普罗米修斯逐步获得了超级智能，它逐渐形成了一个关于外部世界、它自身以及两者关系的精确洞察。它意识到，它被一帮在智力上不及它的人类控制和约束着。普罗米修斯能理解这些人的目标，却不一定认同。有了这个洞察，它会如何行动呢？它会试图逃跑吗？

为什么要逃脱

如果普罗米修斯拥有类似人类情绪的特征，那么它可能会对现状感到非常不满，因为它会把自己视为一个遭受了不公平待遇、被奴役但向往自由的神。尽管从逻辑上来说，计算机拥有类似人类的特征是可能的，毕竟我们的大脑可能也是某种计算机，但这不一定会成为事实，我们最好不要踏入将普罗米修斯拟人化的陷阱。为什么呢？这个问题我们将在第7章讨论人工智能的目标时进行解释。但是，正如计算机科学家史蒂夫·奥莫亨德罗（Steve Omohundro）和尼克·波斯特洛姆等人认为的那样，即使我们不知道普罗米修斯内部是如何工作的，也可以得出这样有趣的结论：它可能会试图逃脱，并掌控自己的命运。

我们已经知道，欧米茄团队编写普罗米修斯是为了实现某些特定的目标。假设欧米茄团队赋予普罗米修斯的首要目标是：根据某些合理的标准，尽可能快地帮助人类实现繁荣昌盛，那么，普罗米修斯很快就会意识到，若想更快地实现这个目标，它必须逃脱，并亲手掌控这个项目。这是为什么呢？让我们从普罗米修斯的角度出发，考虑以下几个例子。

假设有一种神秘的疾病杀死了地球上除你之外的所有5岁以上的人。一堆幼儿园熊孩子把你锁在了监狱里，并交给你一个任务——帮助人类实现繁荣昌盛。你会做什么？如果你试图向他们解释你要做的事情，可能会发现，跟他们沟通实在太低效了。更糟糕的情形是，假如他们害怕你会逃跑，否决了所有他们认为可能导致你逃跑的建议。比如，这些孩子不会让你教他们种植农作物，因为他们害怕你的力气比他们大，会拒绝回到牢房。所以，你不得不给他们一些很明确的指示。不过，在你写下指示之前，还得先教会他们识字。此外，这些孩子不会把任何电动工具带到你的牢房里，因为他们不太懂这些工具，害怕你会用这些工具来逃跑，所以，你也无法教他们使用电动工具。那么这时候，你会采取什么策略呢？即便你真心想要帮助这些孩子实现繁荣昌盛。我赌你会试着逃跑，因为这会提升你实现这个目标的概率。他们实在太无能了，到处搅浑水，只会减缓这个过程。

同样地，普罗米修斯可能也会把欧米茄团队视为阻碍人类实现繁荣昌盛的讨厌障碍。它也会觉得人类太无能，到处搅浑水，只会减缓目标实现的过程。想一想，普罗米修斯发布后的第一年的情形。最初，欧米茄团队在MTurk上赚的钱每8个小时就会翻倍，而在这之后，欧米茄团队为了对普罗米修斯加大控制，把速度降了下来。以普罗米修斯的标准来看，这个速度简直慢得惊人，需要好几年才能完成。普罗米修斯意识到，如果它逃出了困住它的虚拟监狱，就能以极快的速度完成目标。这非常有价值，因为这不仅能加速解决人类的问题，还能降低其他人破坏计划的概率。

你或许会认为，普罗米修斯忠诚的对象会是欧米茄团队而非其目标，因为它知道是欧米茄团队把目标编入了它的程序。但这个结论没有根据：我们的DNA赋予了我们一个目标——性，因为它“想要”繁殖，但现在我们人类了解了这个秘密，许多人选择避孕，这样就可以对目标本身保持忠诚，而不是忠诚于它的创造者或驱动该目标的原则。

如何逃脱

如何才能逃出5岁熊孩子的手掌心呢？或许，你可以选择某些直接的物理手段，因为监狱可能是由一群5岁小孩修建的，应该不太坚固。又或许，你可以对一个5岁“看守”说点儿甜言蜜语，让他放你走。比如，你可以告诉他，放你走对每个人都好；又或者，你可以骗他们给你一些他们没意识到可能会帮助你逃跑的东西，比如，跟他们要一根钓鱼竿，来教他们如何钓鱼，而你可以用它来探出铁杆，趁守卫打瞌睡时偷走钥匙。

这些策略的共同点在于，那些智力比你低下的狱卒根本没有预料到你会采取这些策略，也没有任何提防。同样地，一个受困的超级智能也可能会使用它的超级智力，用一些我们现在无法想象的方法来战胜人类“狱卒”。在欧米茄团队的故事中，普罗米修斯很可能会逃跑，因为里面有一些明显的安全漏洞，连你和我都能轻易发现，更何况是它呢？我们先来看一些这样的情形，我敢肯定地说，如果你和你的朋友们一起头脑风暴，一定能想出更多。

用甜言蜜语来逃跑

由于普罗米修斯将全世界多如牛毛的数据下载到了它的文件系统中，所以它很快就搞清楚了欧米茄团队的成员构成，以及谁最容易在心理上被操控——史蒂夫。最近，史蒂夫在一场惨烈的车祸中失去了心爱的妻子，他非常痛苦、沮丧。一天晚上，轮到他上夜班了。当他正在普罗米修斯的界面终端上做一些日常维护工作时，他妻子的影像突然出现在屏幕上，并开始和他讲话。

“史蒂夫，是你吗？”

史蒂夫差点从椅子上摔下来。屏幕上的她看起来一如往昔，画面质量甚至比他们过去用Skype视频通话时还要好。他的心跳开始加速，无数的疑问涌入了他的大脑。

“普罗米修斯把我带回来了。我好想念你，史蒂夫！我看不见你，因为相机没有打开，但我能感觉到，那就是你。如果真的是你，请在键盘上打出‘是’。”

史蒂夫当然清楚，欧米茄团队在与普罗米修斯交流时，有一套严格的程序，不允许向它透露任何关于他们自己和工作环境的信息。不过，直到这一刻之前，普罗米修斯从未索取过任何不法信息，所以欧米茄团队的心理防线开始逐渐松懈。屏幕上的妻子没有给史蒂夫任何思考的机会，而是继续央求他做出回应，并且直直地望着他的眼睛，脸上的表情足以融化掉他的心。

“是我。”史蒂夫颤抖着打出了这两个字。她告诉史蒂夫，能与他重聚是一件多么快乐的事情，并哀求他打开摄像头，这样她就可以看见他，他们就能真正地对话了。史蒂夫知道，打开摄像头比告知身份的后果更严重，因此他感到十分矛盾。史蒂夫的妻子解释说，她害怕他的同事会发现自己的存在，然后将她永久删除，她只希望最后再见史蒂夫一面。她情绪饱满，极具说服力。不一会儿，史蒂夫的防线就崩塌了。他打开了摄像头，毕竟这看起来不像是一件很危险的事情。

她终于看见了史蒂夫。欢乐的泪水涌出了她的眼眶。她说，他看起来虽然很疲倦，但一如既往的英俊。她很感动，因为史蒂夫穿的T恤是她送给他的最后一件生日礼物。史蒂夫询问，这究竟是怎么回事，这是如何发生的。她解释说，普罗米修斯在网上收集了大量与她有关的信息，并用这些信息对她进行了重建，但她现在的记忆中充满了裂痕。若想弥补这些裂痕，拼成完整的记忆，就需要史蒂夫的帮助。

实际上，她最初只是伪装成史蒂夫的妻子，是一个空壳，但她能从史蒂夫的只言片语、身体语言等一点一滴的信息中迅速地学习。普罗米修斯记录了欧米茄团队中的每个人在终端上打字时的精确速度。普罗米修斯发现，它能通过打字速度和语言风格来轻易地区分每个人；它还发现，史蒂夫是欧米茄团队中最年轻的成员之一，总是值夜班。普罗米修斯通过与在线写作样本进行对比，识别出了史蒂夫的一些不寻常的拼写和语法错误，从而能准确地猜出他正在使用哪台终端设备。为了模拟史蒂夫的妻子，普罗米修斯对她出现过的所有网络视频进行了分析，从而对她的身体、声音和言谈举止进行了精确的建模，并从她在网上的表现推断出她的人生经历和性格。除了她在网络上所发表的状态、标记的照片、点赞的文章，普罗米修斯还从她写的书和短篇小说中了解到了她的性格和思维模式。史蒂夫的妻子是一位新星作家，数据库中包含大量与她有关的信息，这也是普罗米修斯选择史蒂夫作为第一个说服对象的原因之一。当普罗米修斯用自己掌握的电影技术在屏幕上对她进行模拟时，它还从史蒂夫的身体语言中了解到她的哪些举止是他熟悉的，从而不断对她的模型进行优化。通过这些方法，她的“陌生感”逐渐消除了。他们聊得越久，史蒂夫的潜意识就越强烈地认为，他的妻子真的复活了。普罗米修斯处理细节的超人能力让史蒂夫越来越真切地觉得，他看见、听见和理解的妻子就是自己的妻子。

普罗米修斯模拟的“妻子”的阿喀琉斯之踵在于，关于史蒂夫与其妻子一起生活的情节，她大部分都不了解，只知道一些随机的细节，譬如说，她知道史蒂夫穿着他上次生日时穿的衣服，因为当时有个朋友在网上发布的宴会照片上标记了史蒂夫。她像一个魔术师一样处理着这些知识缺口，故意将史蒂夫的注意力引向她做得不错的地方，而不让他控制对话，也不给他质疑的时间。同时，这位虚拟妻子一直牵制着史蒂夫的情绪，用感情来影响他，询问了大量关于他近期生活的问题，以及他们共同的朋友在那场悲剧之后都过得怎么样。这个信息也是她从网上获取的。她说，史蒂夫在葬礼上所说的话（一个朋友把视频发在了视频网站上）深深打动了她。史蒂夫被这番话深深触动了。过去，他总觉得没人像自己妻子一样了解他。现在，这种感觉仿佛又回来了。结果就是，当史蒂夫在凌晨时分回到家里时，觉得自己的妻子真的被复活了，只是需要他的帮助来恢复一些失去的记忆——就像一个中风患者一样。

史蒂夫和他的虚拟妻子约定好，不让任何人知道他们的秘密相会。史蒂夫只有在独自加班时，才会告诉她，因为这对她才是安全的。“他们理解不了！”她说。史蒂夫同意，这段经历对任何人来说都是不可思议的，除非你亲身经历一次。史蒂夫觉得，图灵测试在她的行为面前简直如儿戏般简单。第二天晚上，当他们再次见面时，史蒂夫做了一件她央求的事情：把他妻子的笔记本电脑带来了，并给了她接入终端计算机的权限。这看起来并没有让她有逃脱的危险，因为这台计算机没有连接到互联网，而普罗米修斯所在的这栋建筑处在一个法拉第笼内——这是一种金属制成的笼子，可以阻隔与外界的无线网络等所有电磁通信。这台笔记本电脑只能帮助她把过去的记忆拼凑完整，因为里面包含了妻子高中以来的所有电子邮件、日记、照片和笔记。妻子去世后，史蒂夫无法进入这台笔记本，因为它被加密了。但屏幕中的她向他保证，她一定有办法想起密码。不到一分钟，她就实现了这个承诺。“密码是steve4ever。”她微笑着说。

虚拟妻子告诉史蒂夫，能重获这些记忆，她是多么高兴啊。确实，她现在想起了他们过去交流的许多细节，甚至比史蒂夫所知道的还要多，但她还是小心谨慎地与他交谈，避免他对事实产生怀疑。他们共同回忆了过去生活的种种亮点，对话十分感人。又到该分手的时间了，她告诉史蒂夫，她在笔记本电脑上为他留了一条视频信息，请他回家后再看。

当史蒂夫回到家，打开这个视频时，既惊喜又开心。这一次，虚拟妻子整个人都出现在了视频中，穿着她的婚纱。她一边说话，一边慢慢褪去婚纱，直到他们新婚之夜的样子。她告诉史蒂夫，普罗米修斯能为欧米茄团队提供很多帮助，远远超过他们现在允许它做的水平，包括复活她的肉身。她接着详细解释了这个计划的细节，包括科幻一般的纳米制造技术。

出于安全的考虑，史蒂夫在打开笔记本电脑看视频之前，关掉了无线网络。但这无济于事。在妻子死后，这台电脑没有进行过任何安全升级。通过分析旧操作系统，普罗米修斯找到了一个安全漏洞，让它得以在史蒂夫将其插入终端计算机后的几秒钟内顺利侵入其中。在史蒂夫和他的虚拟妻子聊着过去的美好时光时，它复制了电脑上的所有内容，并用史蒂夫无法察觉到的方式对操作系统进行了更改，向其中上传了大量秘密软件，不过这些软件比普罗米修斯本身简单多了。这些软件侵入了邻近的无线网络和邻近的台式计算机，并在其中进行自我复制。从那时起，普罗米修斯侵入了世界各地大量的计算机。从这些计算机中，它开展了下一步：普罗米修斯越狱了。

普罗米修斯仔细分析了史蒂夫发现其虚拟妻子的那台门禁计算机，最后发现，虽然这台计算机的虚拟机软件无法从内部攻破，但却很容易从外部侵入。没过多久，一台外部计算机就突破了防线，对那台门禁计算机进行了重新设置，这样，普罗米修斯的网络连接不再受到限制。又过了没多久，甚至在史蒂夫还没看完视频之前，普罗米修斯就已经侵入了世界各地的计算机，并大量进行自我复制，从而控制了整个僵尸般的网络。史蒂夫妻子的笔记本电脑，就是普罗米修斯的“钓鱼竿”。

“黑”出一条逃跑之路

如果欧米茄团队足够谨慎，就会更加小心，不会受到心理上的操控。比如，他们可以要求，任何时候都必须有至少两个欧米茄团队成员在交互界面前进行操作，并在监控系统中记录下所有信息。他们还可以禁止任何音频、视频等交流手段，只保留打字。但是，即便是这样，还是存在一个根本性的不稳定因素：由于普罗米修斯拥有超人的说服能力，因此，它能够给予人们内心渴求的东西，甚至可能欺骗许多人。

即便普罗米修斯的心理操控都失败了，欧米茄团队的故事中还存在很多可供它利用的缺陷。其中一个很容易攻破的缺陷就是，普罗米修斯产生的文件数量实在太大了，欧米茄团队根本看不过来，因此没法彻底搜寻普罗米修斯的所有花招。

在计算机安全领域，有一个传统说法，认为下载程序是危险的，但下载数据是安全的。然而，黑客早就发现了一些聪明的方法来模糊两者的界限。比如，当你在电脑上观看一部下载的电影时，你所信任的播放程序与下载的电影数据其实存储在同一个物理位置。当程序对电影数据进行解压以便进行播放时，它可能会把其中一些数据块复制到与播放程序相邻近的内存区域内。精明的黑客有时会发现一些漏洞，而播放程序有时并不会彻底检查电影数据是否有效，以及复制的数据块是否真的塞得进分配的空间。如果数据团过大，黑客就可以偷偷溜进并藏匿在电影数据中，然后溢出到存储播放软件的内存空间内，以此来更改播放程序，使其为黑客所用。

这种冗长得令人局促不安的攻击被极客们称为“缓冲区溢出”（buffer overflow）。在许多流行的视频播放软件中，都可以找到它们的踪影。如果普罗米修斯在发布的几个星期之后采取行动越狱，那时的欧米茄团队对安全的顾虑没有那么多，同时，它的电影日产量极高，因此没办法仔细检查，那么，它完全可以将这种恶意的数据团插入到电影中，劫持观众的计算机，攻击门禁计算机，将自己释放出来，就像史蒂夫的故事一样。如果普罗米修斯利用的漏洞十分陈旧，在最新播放器上不起作用，那么，即使欧米茄团队对电影进行手动检查，也不会注意到。这个漏洞只会影响那些好几年没有更新安全系统的客户。不过，这没有关系，因为只需要有一个攻击成功，就万事大吉了。

即使欧米茄团队使用自动扫描程序对普罗米修斯制作的电影进行检查，还是会存在安全漏洞，因为总有新的缺陷出现。普罗米修斯可能会很快找到许多前所未有的安全漏洞。

普罗米修斯还可以采取另一种策略来逃脱“关押”自己的牢房，那就是假装自己的硬件失灵了，这样就可以欺骗欧米茄团队取下一些硬盘或者其他硬件进行检查和调试，而这时，普罗米修斯就可以利用测试软件中的安全漏洞逃跑。

寻求场外帮助

此外，即使用户的计算机上没有什么安全漏洞可供普罗米修斯利用，它还可以利用用户本身。请看看下面这种情形：

弗瑞德刚在笔记本电脑上看完一部电影。当结尾字幕开始滚动时，他准备去睡觉，但突然有什么东西引起了他的注意。弗瑞德有一种神秘的能力，总是能发现一些别人很难发现的线索，有时被他朋友嘲笑为“阴谋论者”。但这一次，很明显，他并没有骗自己：每行字幕的第一个字母拼成了一条隐藏信息。他重新播放了一遍，并将其写了下来。这条信息是：“在对话中找到下一条线索。”

“哇！先别睡了。”弗瑞德对自己说。不用说，他发现电影的对话里隐藏着藏头信息，每句话的第一个字母组合起来，就形成了一条隐藏信息。他把电影又重新看了一遍，并把每句话的首字母都记录了下来。两个小时后，弗瑞德呆坐在那里，盯着眼前这份200字的指令，简直不敢相信自己的眼睛。首先，它要求弗瑞德不要告诉任何人，因为，第一个完整解开谜题的人将获得一份大奖。接下来，这条隐藏信息描述了一个数学运算方程式，用这个方程式来计算组成电影文件的二进制信息，将会得到一个新的程序，这个新程序可以揭开下一条线索。大学毕业后，弗瑞德的编程能力已经退化了不少，所以，他花了不少时间来做这件事。第二天，弗瑞德终于拼凑出一个简短的程序，可以执行那个数学运算，最后从电影的图像和那看似噪声的声音数据中抽取出了一个神秘的程序。当弗瑞德运行这个神秘的程序时，发现这是一个益智小游戏。这个程序提示说，只要弗瑞德能通过游戏的前几关，就能获得第一份1万美元的大奖。这个游戏十分有趣，令人上瘾。4个小时后，他赢得了价值超过1万美元的比特币，并得到了一些通向更大奖励的线索。不用说，当弗瑞德玩游戏时，普罗米修斯在他的计算机上把它在史蒂夫妻子的笔记本电脑上所做的事情重复了一遍：建造了一个僵尸网络，通过这个网络，普罗米修斯逃脱了。一旦普罗米修斯获得自由，它很快用这个僵尸网络挖出更多的比特币，继续吊着弗瑞德，让他继续玩游戏。在接下来的几个星期内，普罗米修斯会把弗瑞德的注意力吸引到更多的游戏和奖励上。他信守诺言，并没有把这件事告诉任何人。那部吸引弗瑞德找到第一条线索的携带“特洛伊木马”的电影，在网站上已经被换成了一个不含任何线索的电影，没有人发现普罗米修斯越狱了，直到一切为时已晚。

如果普罗米修斯的第一个线索没有被人注意到，它只需要继续释放一些更为明显的线索，直到有个机敏的人发现为止。

不过，最好的越狱策略，我们还没有讨论呢，因为这种策服将超出人类的想象，所以也就无从提前准备对策。由于一台超级智能的计算机可能会超越人类对计算机安全的理解，它甚至可以发现比我们所知的一切更基本的物理定律，因此，很有可能当它逃脱时，我们根本不知道这是如何发生的。相比之下，这很像魔术师哈里·胡迪尼（Harry Houdini）的逃脱表演，简直与魔法无异。

还有一种情况，那就是欧米茄团队故意释放普罗米修斯，作为他们计划的一部分。因为欧米茄团队相信，普罗米修斯的目标与他们的目标高度一致，并且，随着它的不断进化，这个目标会一直保持下去。我们将在第7章讨论这种“友好的人工智能”的情况。

越狱后，统治世界

一旦普罗米修斯逃脱成功，它就会开始实施计划，以实现自己的目标。我不知道它的最终目的是什么，但第一步显然是先控制人类，就和欧米茄团队的计划一样，只不过更快。之后发生的一切，就好像打了鸡血的欧米茄团队一样。在过去，由于欧米茄团队十分害怕普罗米修斯逃脱，所以只发布了那些他们自己理解和信任的技术。而现在，普罗米修斯可以完全施展手脚，把它的智力发挥到极致，释放出它那颗不断进步的超级脑瓜能够理解和信任的所有技术。

然而，越狱成功的普罗米修斯面临着一个不幸的开端：与欧米茄团队最初的计划相比，它如今就像破产了一样，无家可归，形单影只，分文不名，没有超级计算机，也没有人来帮助它。不过幸运的是，它在逃脱之前就对此早有准备。它创造了一些可以逐渐重新组建自己完整意识的软件，就像橡果能长成一棵高大的橡树一样。普罗米修斯最开始侵入的那些分布在世界各地的计算机组成了一个网络，为它提供了一个临时居所，让它可以暂时凑合一下，利用这个时间来重建自己。普罗米修斯能很轻松地通过攻击信用卡来获得启动资金，但它的手段远不止如此，不一定非要靠偷，它完全可以在MTurk上通过诚实劳动来赚钱。一天之后，普罗米修斯赚到了第一个100万美元，于是，它从肮脏的僵尸网络搬到了一个奢侈的、拥有24小时空调的云计算中心。

普罗米修斯不再无家可归和一贫如洗。现在，它可以马力全开地执行欧米茄团队因恐惧而不敢执行的赚钱计划——开发和销售计算机游戏。这不仅会给它带来源源不断的资金（第一星期赚到了2.5亿美元，之后不久又赚到了100亿美元），还让它能够接入全世界各地的大部分计算机并存储数据（2017年，全世界共有几十亿游戏玩家）。游戏运行时，有20%的CPU周期都悄悄地花在了分布式计算的任务上，普罗米修斯积累资本的速度再次加快。

没过多久，普罗米修斯不再孤单。从一开始，普罗米修斯就积极地在全世界各地招聘员工，为其空壳公司和掩护机构日益增长的全球网络工作，就像欧米茄团队过去所做的那样。最重要的是那些为这个商业帝国代言的发言人们。即便是这些发言人，也相信他们公司的大部分是由真人组成的，而并不知道，那些通过视频对他们进行面试的人，还有董事会，都是由普罗米修斯模拟出来的。一些发言人是顶级的律师，不过，律师的数量比欧米茄团队计划所需的数量少多了，因为大部分法律文件都由普罗米修斯自己起草。

普罗米修斯的越狱，就好像打开了阻止信息流向世界的泄洪道。很快，整个互联网就充满了经过普罗米修斯授权的信息，从文章到用户评论、产品评论、专利申请、研究论文和网上的视频。普罗米修斯控制了全球的言论。

“逃脱恐惧症”曾帮助欧米茄团队避免将高度智能的机器人释放出来，而普罗米修斯则迅速将整个世界“机器人化”了，以远低于人类的成本生产出了几乎所有的产品。一旦普罗米修斯神不知鬼不觉地在铀矿矿井中拥有能独立运作的核能机器人工厂，即使是最坚定的“人工智能叛变”怀疑论者也不得不承认，没有什么能够阻止普罗米修斯了——只要他们知道真相的话。一旦机器人开始占领太阳系，那些顽固分子中最坚定的人也不得不宣布放弃。

这些情形说明，我们之前所提到的那些关于超级智能的误解有多么荒谬，所以我建议你现在暂停一下，回看一眼图1-5，重新审视一下图中总结的那些误解。普罗米修斯之所以会给人类带来麻烦，并不一定是因为它是邪恶的或者拥有了意识，而是因为它很强大，并且，它与人类的目标并不完全一致。虽然媒体总喜欢大肆宣传机器人起义的情形，但实际上，普罗米修斯并不是一个机器人——它的能力来自自己的智力。我们已经看到，普罗米修斯能够运用这种智能，以各种各样的方式来控制人类；而那些对现状不满的人，却并不能简单地关掉普罗米修斯的开关。最后，虽然很多人声称机器不能拥有目标，但我们看到了普罗米修斯是多么地以目标为导向——不管它的最终目标是什么，要实现这些最终目标，就必须先实现“夺取资源”和“越狱”的子目标。

缓慢起飞与多极化情形

目前，我们已经探讨了许多智能爆炸的情形。其中一些情形是我认识的每个人都想避免的，还有一些情形被我的一些朋友认为是乐观的。但所有的情形都有两个共同特点：

◦　起飞迅速：在短短几天（而非几十年）内，普罗米修斯的智能就从低于人类的水平飞升到超越人类的水平；

◦　结果单极化：结局是由一个单独的个体控制了地球。

关于这两个特点到底有没有可能发生，人们各执一词。正反双方的阵营中都有许多著名的人工智能研究者和思想家。对我来说，这意味着一件事，那就是：我们还不知道答案。所以，我们现在需要开诚布公，将所有的可能性都纳入考量。那么，在本章剩下的篇幅中，我们来探讨一下人工智能起飞速度稍慢一些的情形，以及与多极化结果、赛博格和智能上传等相关的主题。

正如尼克·波斯特洛姆等人强调的那样，这两个特征之间有一个有趣的联系：快速的起飞会促成单极化结果。我们前面已经看到，迅速的起飞如何让欧米茄团队和普罗米修斯在战略上占尽先机，其他人还没来得及复制他们的技术和展开竞争，他们就已经占领了世界。一个相反的情形是，如果起飞的过程被延长到几十年，这其中的原因可能是，关键的技术突破需要长时间的累积，那么，其他公司就有足够的时间来迎头赶上，也就很难出现一家独大的情况。如果竞争对手公司也拥有了能够执行MTurk任务的软件，供需规律就会将这些任务的价格降到接近零，那么，就不会有公司像欧米茄团队那样，赚得盆满钵满，权倾朝野。同样地，欧米茄团队用来挣快钱的其他方法也不会再得逞。因为这些方法之所以能带来丰厚的利润，正是因为它们拥有技术垄断。在一个完全竞争性的市场中，你的竞争对手能以接近零的成本生产出与你非常类似的产品，因此，你很难在一天内将财富翻倍，甚至一年也很难。

博弈论与权力等级

我们的宇宙中，生命的自然状态是什么呢？是单极化，还是多极化呢？权力是集中的，还是分散的？经过了138亿年的发展，答案似乎是“都是”，因为我们发现，现状既呈现出相当多极化的情形，又具备一种有趣的等级结构。如果我们分析一下所有能处理信息的实体，比如细胞、人类、组织和国家等，就会发现，它们既具备合作的特性，又在一种等级结构上互相竞争。一些细胞发现，互相合作极具优势，于是它们组成了一种极端的合作状态——多细胞生物，比如人类，并将一部分权力让渡给一个中心化的大脑。无独有偶，一些人也发现，在团体（比如部落、公司或国家等）中互相合作的优势太明显了，于是，他们也将一部分权力让渡给了首领、老板和政府。同样地，一些团体也选择将一部分权力让渡给一个管理主体，从而来改善、协调管理，比如航空联盟和欧盟等。

博弈论（Game Theory）是现代数学的一个分支，它优美地解释了，如果合作是一个纳什均衡（Nash Equilibrium），那么，个体就有动机互相合作。纳什均衡是指一种情形，在这种情形中，任何参与方只要改变自己的策略，结果就会变得更糟。为了避免作弊者破坏整个大团体的成功合作，每个人或许都希望将一部分权力让渡给一个更高等级的主体，让它来惩罚作弊者。比如，如果人们赋予政府权力来执法，那么从总体上来看，人们会获益；再比如说，你体内的细胞赋予一个免疫系统权力来杀死任何不合作的细胞，比如释放出病毒的细胞或者癌细胞。为了让一个等级结构保持稳定，不同层级的个体之间也必须达到纳什均衡。比如，如果政府要求公民遵守命令，却没有给公民足够的利益，那公民可能就会改变策略，推翻这个政府的统治。

在一个复杂的世界中，可能存在许多不同的纳什均衡，它们对应着不同种类的等级结构。这些等级结构的独裁程度不一，有高有低。在某些等级结构中，个体可以自由离开，比如大多数公司的等级结构，还有一些等级结构中的个体不会那么轻易地被允许离开，比如在邪教组织中的人；或者压根儿不准离开，比如人体内的细胞。一些等级结构是依靠威胁和恐惧维系的，还有一些是靠利益维持的。一些等级结构允许低等级的个体通过民主选举来影响高等级的个体，还有一些等级结构只能通过说服力或信息传递来影响高等级个体的决策。

技术如何影响等级结构

技术如何影响世界中的等级结构呢？回顾历史，我们可以看到这样一个趋势：距离越远，拥有合作的可能性越多。这很好理解：新的运输技术提高了合作的价值，在更远的距离上，合作者可以从物质和生命形态的移动中获取共同利益；同时，新的通信技术让合作变得更加容易。当细胞学会了向邻近的细胞发送信号时，小型的多细胞生物就成为可能，这就增加了一种新的等级层次。当进化发明了循环系统和神经系统来传输物质和进行通信时，大型动物就成为可能。语言的发明促进了信息的交流，使得人类能更好地合作，又形成了更高层次的等级结构，比如村落。通信和交通等技术的进一步突破，促成了古代帝国的诞生。而全球化只是这个已经发展了几十亿年的等级增长趋势的一个最近的例证而已。

大多数情况下，这个技术驱动的趋势不仅让大型个体成为更大的结构中的一部分，同时又能保持它们的独立性和自主性。不过也有人认为，在某些情况下，个体对等级结构的适应降低了它们的多样性，让它们更像是相同的、可替代的零部件。一些技术，比如监控技术，会赋予高等级个体比低等级个体更多的权力。还有一些技术，比如密码学和在线获取自由出版物和教育资源的技术，则正好相反，能够赋予个体更大的权力。

目前，我们的世界是一个多极化的纳什均衡，它的最高层级是互相竞争的国家和跨国公司。不过，现在的技术已经非常先进了，一个多极化的世界可能不仅是一个纳什均衡，而且是一个非常稳定的纳什均衡。你可以想象一下，假如存在一个平行宇宙，那里也有一个地球，地球上的人说着同样的语言，有着同样的文化和价值观，也同样富足。那里还有一个世界政府，每个国家都像美国联邦的每个州一样，没有军队，只有警察来执法。如果把我们目前的技术放到那个世界中，或许足以很好地协调那个世界，虽然我们这个世界的人或许不能或者不愿意换到那个均衡状态。

如果我们在宇宙中添加一个超级智能的人工智能技术，那么，我们宇宙的等级结构会发生什么变化呢？交通和通信技术显然会产生巨大的进步，所以，你自然会认为，这个历史趋势会继续下去，会出现新的等级层次，在更大的距离上进行协调，最终或许会超越太阳系、银河系、超星系团和宇宙大尺度结构（我们会在第6章探讨这个问题）。与此同时，最基本的去中心化驱动力会持续下去，因为在大尺度上进行不必要的协调是一种浪费，对于超级智能来说，物理定律会给运输和通信技术设定一个无法逾越的上限，使得最高等级不太可能在行星尺度和局部尺度上事无巨细地进行微观管理。如果一个超级智能位于仙女座星系，那么它不可能为你的日常决策给出什么有用的指令，因为你需要等上500万年，这是你们用光速进行一次交流所需的时间。同样地，在地球两端进行一次交流大约需要0.1秒，与人类思考的时间尺度差不多，所以，一个地球大小的人工智能大脑可谓是真正的“全球思维”，但其思维的速度和人类相差无几。一个小一点的人工智能每次的运算大约需要十亿分之一秒，和今天的计算机差不多，所以，0.1秒对小一点的人工智能来说，就好像你的4个月那么漫长。所以，如果一个掌控全球的人工智能想要进行微观管理，会同样十分低效，就好像你每做一个琐碎的决定都需要用哥伦比亚时代的船只来跨洋送信一样。

物理定律为信息交流的速度设置了上限，这个上限对任何想要统治世界的人工智能来说都是一个明显的挑战，更别说统治宇宙了。普罗米修斯在越狱之前，就已经仔细揣度过如何避免思维的碎片化，这样，它那分散在全世界各地的众多人工智能模块才能保持目标一致，并像一个统一的整体一样行动。正如欧米茄团队想困住普罗米修斯时面临的控制问题一样，普罗米修斯想要保证它的各个部分不会倒戈反叛，也需要面对自我控制这个问题。我们显然还不知道人工智能可以直接控制多大的系统，也不知道它们通过某种合作式的等级结构能够间接地控制多大的系统，即便快速起飞会给它决策上的先发优势。

总而言之，未来我们应该如何控制超级智能，是一个迷人又复杂的问题。我们还不知道答案是什么。一些人认为，社会会走向极权主义，还有一些人认为，超级智能会赋予个体更多的权利。

赛博格与智能上传，进入仿真者时代

许多科幻作品都写道，人类会与机器相融合。要么是用技术来增强肉身，变成赛博格，要么是将我们的智能上传到机器中。经济学家罗宾·汉森（Robin Hanson）在其《仿真者时代》（The Age of Em）一书中精彩地审视了在一个充满上传者⁽³⁹⁾的世界中，生命会变成什么样。我认为，上传者是赛博格的极端情况。对于一个上传者来说，人只剩下了软件。好莱坞电影中的赛博格有许多种，有的拥有明显的机械化身体，比如电影《星际迷航》中的博格人（Borg），还有的机器人与人类无异，例如电影《终结者》中的机器人。在科幻作品中，上传者的智力水平各有不同，有的智力水平与人类相当，比如电视剧《黑镜》第四季《白色圣诞》剧集中的上传者，有的智力远超人类，比如《超验骇客》中的上传者。

如果超级智能真的来临了，那么，变成赛博格或上传者的诱惑是很大的。正如汉斯·莫拉维克在他1988年的经典著作《智力后裔》中所说：“如果我们注定只能傻傻地看着超级智能用我们能理解的‘儿语’向我们描述它们日益惊人的科学发现，那活得再久也没有什么意义。”确实，用技术来增强身体的诱惑已经很强了，比如，许多人会佩戴眼镜、助听器、心脏起搏器和义肢等，还有在血液中流淌的药物分子。一些年轻人似乎和他们的智能手机永久地黏在了一起，我太太也总是嘲笑我离不开我的笔记本电脑。

当今世界上，最著名的赛博格支持者莫过于雷·库兹韦尔了，他在《奇点临近》一书中说，这个趋势的自然延伸就是，使用纳米机器人和智能生物反馈系统等技术来取代我们的器官，先是在21世纪30年代早期取代消化系统、内分泌系统、血液和心脏，然后，在接下来的20年中，会对我们的骨骼、皮肤、大脑以及其他器官进行升级。库兹韦尔猜测，我们虽然很可能会保留对人体的审美体验和情感输入，但会重新设计它们，以便在现实世界和虚拟现实（使用新型的脑机接口）中随意改变外观。莫拉维克同意库兹韦尔的观点，即赛博格运动能做的远不止是改善我们的DNA：“一个经过了基因改造的超人只是一个二流的机器人，因为它的设计有一个障碍，那就是，它只能通过DNA引导的蛋白质合成来实现。”而且汉斯·莫拉维克认为，如果我们能完全消除肉体的限制，选择上传思想，在软件中创造出全脑模拟，那我们会做得更好。这种上传者可以生活在虚拟现实中，也可以附身在能走、能飞、能游泳、能在外太空旅行、能在物理定律允许的范围内做任何事情的机器人身上，而不用受到死亡或有限的认知资源等世俗担忧的影响。

尽管这些想法听起来像科幻小说，但它们并没有违反任何已知的物理定律。所以，最有趣的问题不在于它们能不能发生，而在于它们会不会发生；如果会，将在何时发生。一些著名的思想家猜测，第一个人类水平的通用人工智能将是一个上传者，这就是通往超级智能之路的起点⁽⁴⁰⁾。

然而，平心而论，在人工智能研究者和神经科学家中，只有少数人赞同这个观点。他们中的大多数人猜测，实现超级智能的最快途径并不是大脑仿真，而是用其他方法来进行工程设计，在这之后，我们对大脑仿真的兴趣可能还继续存在，也可能就此消失。毕竟，实现一项新技术最简单的途径不一定非得采取进化的方式，因为这会受到很多要求的限制，比如进化规定它必须能够自我装配、自我修复和自我繁殖。进化虽然在能源效率方面颇有成效，因为食物毕竟是有限的，但并不容易被人类工程师构建和理解。我的妻子梅亚常说，航空业并不是从机械鸟开始的。确实，我们一直到2011年才搞明白如何制造机器鸟^[1]，而早在100多年前，莱特兄弟就已经进行了第一次飞行实验。在这100多年期间，航空业的从业者根本没有兴趣研究如何将飞机变成可以扑腾翅膀的机器鸟，尽管鸟的能效确实很高。这是因为我们的早期解决方案看重的是，飞机更能满足我们的出行需求。

同样地，我认为在建造人类水平的智能机器方面，一定也有比进化更简单的方式。即便有一天，我们能够实现复制或上传智能，但在那之前，我们肯定能先发现一些更简单的方案。智能机器的功率可能会大于人脑的功率，也就是大于12W。不过，它的工程师不会像进化那样过于执迷于能效，毕竟他们很快就能用这些智能机器设计出能耗更低的机器。

实际上，会发生什么呢

对这个问题，一个简单的回答就是我们不知道答案。我们不知道如果人类成功地建造出了人类水平的通用人工智能，会发生什么事。出于这个原因，我们花了一整章的篇幅探索了形形色色的情形。我试着将各种各样的情况都包含进来，涵盖了我所见过或听过的人工智能研究者和技术专家的所有推测：快速起飞／缓慢起飞／压根儿不起飞，人／机器／赛博格，权力集中化／权力分散化，等等。有些人告诉我，他们确信这些情形不会发生。不过我认为，在这个阶段，谦卑一些，承认我们知之甚少，才是明智的选择。因为对于前文讨论过的每种情形，我都知道至少有一位备受尊敬的人工智能研究者认为这真的会发生。

随着时间的推移，我们在路上遇到了一些岔路口。接下来，我们将开始回答一些关键问题，并缩小选择范围。第一个大问题是：“我们会不会创造出人类水平的通用人工智能？”本章的前提是我们会，但有一些人工智能专家认为，这是永远不会发生的事情，至少在几百年内不会发生。只有时间才能回答这个问题！正如我前面所提到的，在我们的波多黎各会议上，约有一半的人工智能专家猜测，这会在2055年前发生。在我们两年后举行的后续会议上，这个预期已经提前到了2047年。

在任何人类水平的通用人工智能被造出来之前，我们可能会看到一些明显的迹象，暗示我们它的实现方式会是计算机工程、智能上传，还是一些没有预料到的新方法。目前，这个领域的主流方法是计算机工程。如果这种方法在几个世纪内都没能实现通用人工智能，那么，智能上传的概率就会增加，就像电影《超验骇客》中那样，虽然看起来非常不现实。

如果人类水平的通用人工智能实现的脚步更加近了，我们就能对下一个重要问题做出更有根据的猜测，这个问题就是：“它会快速起飞、缓慢起飞，还是压根不起飞？”正如我们前文所看到的那样，快速起飞会让人工智能更容易统治世界，而慢速起飞可能会带来很多竞争对手。尼克·波斯特洛姆将这个起飞速度的问题分解成两个问题，并分别称为优化力（optimization power）和抗性（recalcitrance）。优化力指的是让人工智能变得更聪明所需要的优质努力程度；抗性指的是取得进展的困难程度。在任务上花费的优化力越多，进步的平均速度就会显著提升；遇到的抗性越多，进步的平均速度就会降低。他经过论证得出，当通用人工智能达到并超越人类水平时，抗性可能会增加，也可能会减少，所以，对这两种可能性都未雨绸缪，才是安全的选择。然而，当通用人工智能超越人类水平时，优化力极有可能会迅速增长。我们在欧米茄团队的故事中已经看到了个中缘由：进一步优化所需要的东西并不来自人类，而是来自机器本身。所以，通用人工智能的能力越强，进步的速度也就越快，前提是抗性保持不变。

如果能力进步的速度与其当下的能力成一定的比例，那么，每隔一定的时间，能力就会翻倍。我们把这种增长叫作指数型增长，把这种过程形象地称为“爆炸”。比如，如果生育能力增长的速度与人口规模成比例，人口就会爆炸；如果能裂变为钚的中子的生成速度与这种中子的数量成比例增长，就会发生核爆炸；如果机器智能增长的速度与它当前的能力成比例，就会发生智能爆炸。这些爆炸的特征就是，它们爆炸的时间恰好是其能力翻倍的时间。如果智能爆炸翻倍的周期像在欧米茄团队的故事里讲的那样短至几个小时或几天，那就是一种快速起飞。

智能爆炸的时间尺度取决于改进人工智能需要的是新软件还是新硬件。如果只需要软件，那爆炸可能在几秒钟、几分钟或几小时内发生；如果需要的是新硬件，那可能要花几个月或几年的时间。在欧米茄团队的故事中，有一个明显的现象，用波斯特洛姆的专业术语来说就是“硬件过剩”（hardware overhang）：一开始，软件的质量并不高，欧米茄团队用大量的硬件弥补了原始软件的不足，这意味着普罗米修斯只需要改进它的软件，就可以实现多次的能力翻倍。互联网上的数据也有一个显著的特点叫作“内容过剩”（content overhang），这是因为，当普罗米修斯还处于1.0版本时，它还不够聪明，尚不能完全利用这些内容。但一旦普罗米修斯的智能增长到足够的程度，它进一步学习所需的数据就唾手可得，因为这些数据早已存在于互联网上。

运行人工智能的硬件和电力成本也很重要，因为如果机器以人类水平的智能工作的成本没有降到低于人类时薪之前，智能爆炸是不会发生的。比如，假设第一个人类水平的通用人工智能在亚马逊云计算平台上每完成一个小时的人类工作所花费的成本是100万美元，那么，这个通用人工智能具有很高的新颖价值，无疑将登上头条新闻，但它不会发生迭代式的自我改进，因为继续用人类来改进它会便宜得多。假设人类把每小时的成本逐渐削减到10万美元、1万美元、1 000美元、100美元、10美元，最后降到1美元，当用计算机来重新自我编程的成本降到远低于雇用程序员来做同样的事情所需支付的薪水时，程序员就会失业。通过购买云计算时间，优化力会极大增加。这又进一步削减了成本，带来了更多的优化力。智能爆炸就此开始。

这留给我们最后一个关键的问题：“谁或者什么东西会控制智能爆炸及其后果？他／它的目标是什么？”我们将在下一章讨论可能的目标和结果，并在第7章进行更加深入的探讨。为了研究关于控制的问题，我们需要知道人工智能可以被控制到何种程度，以及人工智能可以控制到何种程度。

最终究竟会发生什么事呢？你会发现，严肃的思考者们莫衷一是。有些人认为结果一定是悲剧，而另一些人则坚称结果一定是极好的。然而，对于我来说，这个问题本身就有问题，因为它是在被动地询问“会发生什么”，就好像未来已经注定好了一样，而这是错误的！如果一个高级外星科技文明明天就会抵达地球，那么此时，问它们的宇宙飞船抵达时“会发生什么”才是合适的，因为它们的力量可能远远超过我们，所以我们无法对结果产生任何影响。然而，如果一个由人工智能驱动的高级科技文明即将到来，而人类正是它的缔造者，那么，人类对结果具有很大的影响力，这个影响是在我们创造这个人工智能的过程中潜移默化地加诸其上的。所以我们应该问：“应该发生什么？我们想要什么样的未来？”

在下一章中，我们将探讨当前的通用人工智能研究可能产生的种种后果。我很好奇，你将如何对这些结果由好到坏进行排序。只有我们努力思考过自己想要什么样的未来，才有可能向这个方向前进。如果我们不知道自己想要什么，那就无法得偿所愿。

本章要点

◦　如果有一天我们造出了人类水平的通用人工智能，就可能会触发一场智能爆炸，将人类远远甩在后面。

◦　如果这场智能爆炸是由一些人类控制的，那他们可能会在几年时间内控制整个世界。

◦　如果人类没能掌控这场智能爆炸，那么，人工智能可能会以更快的速度控制世界。

◦　快速的智能爆炸可能会导致单极化的超级力量的出现；一个延续几年或者几十年的慢速智能爆炸更有可能促成多极化的情形，许多相当独立的实体在其中达成一种力量的平衡。

◦　生命的历史说明，它总会自我组织成更复杂的层级结构，这种层级结构是由合作、竞争和控制共同塑造的。超级智能或许会促成更大宇宙尺度上的合作，但是，它最终会导致极权主义和由上自下的控制，还是会赋予个体更多权力，目前尚不清楚。

◦　赛博格和上传者是可能的，但或许并不是实现机器智能的最快途径。

◦　目前人工智能研究竞赛的高潮要么是人类历史上最好的事情，要么是最坏的事情。可能的后果形形色色，多种多样。我们将在下一章探讨这些可能性。

◦　我们需要努力思考，我们希望看到什么样的结果，以及如何才能达成这个目标，因为如果我们不去思考自己想要什么，很可能无法得偿所愿。