当今时代，身为人类，到底意味着什么？比如，哪些备受珍视的自我价值决定了我们与其他生命形态和机器是截然不同的？在我们身上，哪些备受珍视的价值让我们获得了工作机会？无论我们作何回答，这些答案一定会随着技术的进步而逐渐发生改变。

以我自己为例。作为一位科学家，我很自豪，因为我可以设定自己的目标，可以使用创造力和直觉来解决许多尚未解决的问题，还可以用语言来分享我的发现。很幸运的是，社会愿意为我所做的事情付钱，我可以拥有一份工作。如果出生在几百年前，那我很可能会和其他许多人一样，成为一个农民或手工业者，但技术进步早已极大地降低了这些职业在就业市场中所占的比例。这意味着在当今社会，不太可能所有人都从事农耕和手工业。

对我个人来说，虽然今天的机器在农耕和编织这些手工艺上胜过了我，但这并不会对我产生一丝一毫的困扰，因为这些既不是我的兴趣所在，也不是我的收入或个人价值的来源。实际上，就算我真的曾在这些领域产生过幻想，但这些幻想早已在我8岁时就破灭了。那时候，学校逼着我上编织课，害我差点儿不及格。不过最后，我还是完成了作业，因为有个五年级的同学看我十分可怜，愿意帮助我。

但是，随着科技的不断进步，人工智能的崛起会不会侵蚀我现在的自我价值和就业价值所根植的那些能力呢？斯图尔特·罗素告诉我，他和许多研究人工智能的同僚最近经常被人工智能惊讶到，因为他们看见人工智能完成了许多他们期盼多年的事情。怀着同样的心情，请允许我向你介绍我自己的惊讶时刻，以及我为什么把它们视为人类能力即将被赶超的预兆。

科技大突破，深度学习带来的创造力惊喜

深度强化学习主体

2014年，我有过一次“下巴掉地上”的吃惊经历。我看了这样一段视频：视频中，DeepMind公司的人工智能学会了玩电脑游戏。它玩的是《打砖块》（如图3-1所示）。《打砖块》是雅达利的一款经典游戏，我在十几岁的时候很喜欢玩。这款游戏的目标是，通过操纵一个平板，让小球在砖墙上弹跳，小球每碰到一个砖块，该砖块就会消失，分数就会相应增长。

图3-1　雅达利游戏《打砖块》

注：DeepMind公司的人工智能从头学习了如何玩雅达利游戏《打砖块》，为了使游戏分数最大化，它利用深度强化学习发现了最优策略，那就是，在砖块的最左边钻出一条通道，然后让小球在上面弹来弹去，这样会迅速得分。在图中，我用箭头表示小球和平板的运动路径。

我曾写过一些电脑游戏，所以我知道，写一个会玩《打砖块》的程序并不是一件多么难的事情。但是，这并不是DeepMind公司所做的事情。相反，他们创造了一个完全没有游戏知识的人工智能，它一点儿也不了解这个游戏，也不知道其他任何游戏，甚至不知道游戏、平板、砖块和小球这些概念是什么意思。DeepMind公司创造的人工智能只知道一长串数字会以固定的周期输入，包括当前的分数和一串数字。在我们人类眼里，这串数字描述的是屏幕上不同区域的颜色，但在人工智能眼中则不然。人们只告诉人工智能，它必须以固定的周期输出一些数字，从而将分数最大化。在我们人类眼里，这些数字描述的是要按下哪些按键，但在人工智能系统“眼”中则不然。

起初，人工智能玩得糟透了，它毫无头绪地把平板推来推去，几乎没有一次能接住小球。过了一会儿，它似乎发现，把平板向小球的方向移动，是个不错的方法，不过大多数时候，它依然接不住小球。不过，随着不断的练习，人工智能玩得越来越好，甚至比我玩得还好。无论小球的速度有多快，它每次都能精确地接住小球。不久以后，我就更吃惊了，它自己找出了这个神奇的“分数最大化”策略：只要把小球弹到左上角，在那里钻出一个通道，让小球钻进这个通道，然后，小球就会暂时卡在墙上方，在墙和边界之间来回弹动。这个人工智能真是太聪明了。实际上，丹米斯·哈萨比斯后来告诉我，DeepMind公司的程序员自己都不知道这个技巧，他们还是从自己创造的人工智能那里学到了这一招。我建议你们去看一下这个视频，我在书后给出了视频的链接。^[1]

这个视频里的人工智能有一个和人类很相似的特征，让我觉得很不安：它不仅拥有目标，还通过学习了解了如何日臻完善这个目标，最终竟然超过了它的创造者。在第1章，我们对智能下了一个简单的定义：完成复杂目标的能力。所以，从这个定义出发，DeepMind公司的人工智能确实在我们眼皮底下变得越来越智能了，虽然它的智能很狭窄，只会玩某种特定的游戏。在第1章，我们曾经遇到过一个概念，也就是计算机科学家所谓的“智能体”（intelligent agents），这种主体用感应部件收集关于环境的信息，然后对这些信息进行处理，以决定如何对环境做出反应。虽然DeepMind公司的人工智能生活在一个极端简单，只由砖块、平板和小球组成的虚拟世界中，但毋庸置疑，它是一个智能体。

DeepMind公司很快就公布了设计这个人工智能的方法，向全世界分享了代码^[2]，并解释说，这个人工智能用了一个非常简单但十分强大的方法，叫作“深度强化学习”（deep reinforcement learning）。基础的强化学习是一种经典的机器学习技术，受行为心理学的启发发展而来。行为心理学认为，如果你做某件事时总是受到积极的奖赏，那么你做这件事的意愿就会增强；反之亦然。正如奖励小狗零食能鼓励它们很快学会一些小把戏一样，DeepMind公司的人工智能学会了移动平板接住小球，因为这会增加它的得分概率。DeepMind公司将这个思想与深度学习结合起来，训练出了一个深度神经网络（正如第1章所说），以此来预测按下键盘上每个键的平均得分；接着，根据游戏的当前状态，人工智能会选择按下神经网络给分最高的那个键。

身为人类，我的个人价值来自许多方面。当我列出这些方面时，我把“有能力解决广泛的未解问题”也囊括了进去。相比之下，如果DeepMind公司的这个人工智能除了《打砖块》游戏之外什么也不会，那它就是一种极其狭窄的智能。对我来说，DeepMind公司这个突破的重大意义就在于，证明了深度强化学习是一项相当通用的技术。正如我所料，DeepMind公司让同一个人工智能练习了49款雅达利的游戏，在其中的29款游戏上，它玩得比人类好，包括《乒乓》（Pong）、《拳击》（Boxing）、《电子弹珠台》（Video Pinball）和《太空侵略者》（Space Invaders）。

没过多久，人们就证明并得出以下结论，具备同样原理的人工智能不仅可以玩二维游戏，还能玩一些更加现代的三维游戏。很快，DeepMind公司的竞争者、位于旧金山的人工智能非营利性组织OpenAI公司就发布了一个叫作“Universe”的训练平台，在其上，DeepMind公司的人工智能和其他智能体可以练习如何与计算机像玩游戏那样交互，它们会到处点来点去，随便打打字，随意打开和运行一些它们能够应付的软件，比如打开一个浏览器，在网上随意闲逛。

展望未来，深度强化学习大有可为。它们的潜力并不局限在虚拟的游戏世界中，因为如果你是一个机器人，“生活”本身就可以被看作一场游戏。斯图尔特·罗素告诉我，他的第一次惊讶时刻发生在他观看大狗机器人（Big Dog）奔跑在一片积雪覆盖的林间斜坡上时，因为它优雅地解决了罗素多年来一直试图解决的步行式问题（legged locomotion problem）。这个里程碑式的突破是在2008年出现的，它是聪明绝顶的程序员们日夜奋战的结果。然而，在DeepMind公司的突破之后，我们再也没有理由说，倘若没有人类程序员的帮助，机器人就一定不会用深度强化学习来教会自己走路，它需要的只是一个只要有进步就会给它加分的系统。同样地，物理世界中的机器人也有潜力学习游泳、飞行、玩乒乓球、打仗等，它们能完成数不清的运动任务，而这些任务都不需要人类程序员的帮助。为了加快速度和降低学习过程中动弹不得或自毁的风险，它们第一阶段的学习可以在虚拟世界中进行。

挑战直觉、创造力和战略

对我来说，还有一个决定性的时刻，那就是，DeepMind公司的人工智能AlphaGo在一场五局围棋中，战胜了被公认为21世纪初期全世界最顶尖的围棋棋手——李世石（如图3-2所示）。

图3-2　AlphaGo制胜人类的关键性一步

注：DeepMind公司的AlphaGo在第5行走出了富有创意的一步，挑战了几千年的人类智慧。50步之后，事实证明，正是这一招决定了它将战胜围棋界的传奇人物李世石。

许多人都曾预计，围棋棋手一定会在某个时刻败给人工智能，毕竟象棋棋手在20年前就经历了这一失败。但大多数围棋高手都预测，这件事还需要10年才会发生，所以，AlphaGo的胜利对他们来说，就像对我一样，是一个重要的时刻。尼克·波斯特洛姆和雷·库兹韦尔都强调过，亲眼目睹人工智能的突破是一件很难接受的事情，这从李世石在输掉三局比赛之前和之后接受的采访中可见一斑。

2015年10月：基于它所展现出来的水平……我想我胜券在握。

2016年2月：虽然我听说DeepMind公司的人工智能强得惊人，并且正变得越来越强，但我还是很有信心，至少这次我一定会赢。

2016年3月9日：我非常惊讶，因为我没想到我会输。

2016年3月10日：我十分无语……我被震惊了。我得承认……接下来的第三局比赛对我来说不会很容易。

2016年3月12日：我感觉有点无力。

在战胜李世石后的一年内，一个更加强大的AlphaGo与全世界最顶尖的20位棋手对弈，没有一次失败。

为什么DeepMind公司在人工智能上取得的突破对我来说如此重要呢？事实上，我将“直觉”和“创造力”视为人类的两个核心特征。现在，我要向你解释，为什么我在前文中说，AlphaGo展现出了这两种特征。

围棋棋手在下棋时，是在一张19×19的棋盘上（如图3-2所示）交替放下黑子和白子。围棋棋局的可能性很多，多到超过了我们宇宙中的原子总数。也就是说，如果你想分析所有可能的棋局序列，很快就会绝望。所以，在很大程度上，棋手都是依赖潜意识的直觉来完成有意识的推理的。围棋专家都练就了一种近乎神秘的本领，可以感觉到棋盘上哪些位置赢棋的概率大，哪些位置赢棋的概率小。正如我们在第2章看到的，深度学习的结果有时很像直觉，比如，一个深度神经网络可能会断定某张图片里有一只猫，但它却无法解释原因。因此，DeepMind公司人工智能研究团队在这个原理上打赌，深度学习不仅能识别猫，还能识别围棋棋盘上哪些位置赢棋的概率大。他们在AlphaGo中构建的核心思想就是，将深度学习的直觉和GOFAI⁽²⁹⁾的逻辑结合起来。

DeepMind公司人工智能研究团队使用了一个庞大的围棋棋局数据库，这个数据库不仅包括人类下的棋局，还包括AlphaGo和自己对弈的棋局。通过这个数据库，他们训练了一个深度神经网络，来预测白子落在每一格的最终获胜概率。该团队还训练了另一个不同的神经网络，来预测下一步的可能性。接着，他们将这些神经网络与一个能在被删减过的可能性棋局列表中进行精确搜索的GOFAI的逻辑方法结合起来，来决定下一步把棋子放在哪里，好一路奔向最有可能获胜的位置。

这种将直觉和逻辑结合起来得出的棋着，不仅十分强大，有时还具有高度的创造性。比如，几千年的围棋技艺规定，在棋局的早期，最好将棋子放在从边缘起数的第3行或第4行的位置。不过，应该放在这两个位置中的哪一个上，还需要权衡：放在第3行能帮助棋手短暂赢得棋盘一侧的地盘，而放在第4行则能影响棋盘中心区域的长期策略。

在第二场棋局的第37步，AlphaGo震惊了整个围棋界，因为它落子在第5行（如图3-2所示），这违背了从古至今的传统。看起来，它似乎在长期策略上比人类表现得更加有信心，因此它更青睐长期策略而不是短期地盘。评论员惊呆了，李世石甚至站起来，短暂地离开了房间。当然了，50步之后，左下角的战火蔓延开，正好与第37步时布下的那颗黑子连起来了！正是这个方法，让它最终赢得了比赛，铸就了AlphaGo的五连胜，并成为围棋历史上最具创造力的“棋手”。

由于对直觉和创造力的严重依赖，围棋常被看作一门艺术，而不仅是一种棋类游戏。围棋属于中国古代的“四艺”，也就是琴、棋、书、画中的一种，至今依然在亚洲地区非常流行。AlphaGo与李世石的对弈有超过3亿人在观看。结果震惊了围棋界，他们把AlphaGo的胜利视为人类历史上一个影响深远的里程碑。当时世界上排名第一位的围棋棋手柯洁这样评论道：

人类千年的实战演练进化，计算机却告诉我们，人类全都是错的……我觉得，甚至没有一个人沾到围棋真理的边。我们棋手将会结合计算机，迈进全新的领域，达到全新的境界。

这种富有成效的人机协作方式，确实在许多领域（包括科学）充满希望。在这些领域，人工智能有望帮助我们加深理解，发挥人类的终极潜力。

2017年年底，DeepMind团队又发布了AlphaGo的后续版本——AlphaZero。AlphaZero完全忽略了几千年以来人类积累的围棋智慧，包括几百万盘棋局，它从零开始自己学习。AlphaZero不仅击败了AlphaGo，还通过同自己对弈练成了世界上最强大的象棋棋手。在短短两个小时的训练后，它打败了最厉害的人类棋手；四个小时之后，它战胜了世界上最好的象棋程序——Stockfish。最令我印象深刻的是，它不仅打败了人类棋手，还打败了人类的人工智能程序员，让他们耗费几十年精力手工开发出来的人工智能软件变得过时了。换句话说，“用人工智能创造出更好的人工智能”这个思想是不容忽视的。

我认为，AlphaGo还教给了我们另外一件事情，那就是：将深度学习的直觉与GOFAI的逻辑结合起来，能够创造出首屈一指的战略。围棋被视为终极的战略游戏，由此看来，人工智能已经准备好“毕业”了，准备在棋盘之外的广阔天地里挑战或帮助最优秀的人类战略家，比如，投资战略、政治战略和军事战略等。这些真实世界的战略问题通常会因为人类的心理问题、信息不全以及模型中的随机因素等问题而变得十分复杂，但扑克人工智能已经证明，这些挑战都不是无法克服的。

进步神速的自然语言处理

最近还有一个人工智能方面的进展也令我非常震惊，那就是语言上的进展。我年轻时非常喜欢旅游，对其他国家的文化很感兴趣，而且我认为，语言构成了我个性中很重要的一部分。我小时候一直说瑞典语和英语，在学校里又学习了德语和西班牙语，在我的两段婚姻中，又学习了葡萄牙语和罗马尼亚语，还为了好玩自学了一点俄语、法语和汉语。请看下面这段话：

但人工智能正在到达，而在2016年的重要发现之后，几乎没有懒惰的语言，我可以比通过谷歌的脑子的设备开发的人工智能更好地翻译。

你觉得这段话清楚吗？其实，我想说的是：

但人工智能一直在追赶着我，而在2016年的重大突破之后，几乎没有什么语言我能比谷歌大脑团队开发的人工智能翻译得更好。

第一段话我是用几年前安装在笔记本电脑上的一个翻译软件先将其翻译成西班牙语，再翻译回英语。但在2016年，谷歌大脑（Google Brain）团队对免费的“谷歌翻译服务”进行了升级，开始使用深度递归神经网络，与老旧的GOFAI系统相比简直突飞猛进^[3]。下面就是谷歌翻译的结果：

但人工智能一直在追赶我，而在2016年的重大突破之后，几乎没有什么语言可以比谷歌大脑团队开发的人工智能翻译得更好。

你可以看到，从西班牙语绕了一圈的翻译中，代词“我”消失了，让句子的意思发生了一些改变，虽然很接近，但还是差了那么点儿意思。不过，我要为谷歌的人工智能辩护一下，经常有人批评我喜欢写毫无必要的长句子，长句子本来就很难用语法进行分析，而我又正好挑选了最拐弯抹角、最容易令人迷惑的一句作为例子。对于普通句子，谷歌的人工智能通常能翻译得无可挑剔。因此，它一经问世便掀起了轩然大波。谷歌翻译非常有用，每天都有上亿人在使用。此外，由于有了深度学习，近期，语音与文字之间的相互转换取得了很大的进步，使得用户可以直接对智能手机说话，然后它可以将其翻译成另一种语言。

如今，自然语言处理是人工智能中发展最快的领域之一。我认为，如果它继续再创佳绩，将产生巨大的影响，因为语言是人类的核心特征。人工智能在语言预测上的表现越好，它在回复电子邮件或者口头对话上的表现也会变得越好。至少对外行来说，这些行为看起来很像在进行人类的思考。就这样，深度学习系统就像蹒跚学步的幼童，走上了通过著名的“图灵测试”（Turing test）之路。在图灵测试中，一台机器通过写字的方式来与一个人交流，并想方设法地欺骗这个人，让这个人相信它自己也是一个人。

在语言处理能力上，人工智能还有很长的路要走。不过，我得承认，当人工智能比我翻译得好时，我感到了一丝泄气。只有当我告诉自己“它还不能理解句子的意思”时，才感觉好了一点。通过在大规模的数据库中的训练，人工智能发现了词语中的模式和关系，而不用把这些词与现实世界中的东西联系起来。比如，它可能会用一个由几千个数字组成的数列来表征一个词语，而这个数列表示的只是这个词语与其他词语的相似程度。通过这种方式，它可能会总结出，“国王”和“王后”的关系与“丈夫”和“妻子”的关系类似。不过，它并不明白男性和女性是什么意思，甚至不知道在它之外还存在着一个拥有时间、空间和物质的物理实在。

由于图灵测试的本质是“欺骗”，所以很多人批评它只能测出人类有多容易被骗，而不能测出真正的人工智能。图灵测试有一个叫作“威诺格拉德模式挑战”（Winograd Schema Challenge）的对手。相比之下，这个测试直击要害，其目标是测试目前的深度学习相对欠缺的常识推理能力。当人类对句子进行语法分析时，总会使用真实世界的知识来理解代词指代的是什么。比如，一个典型的威诺格拉德模式挑战会问下面句子中的“他们”指的是什么：

◦　市议会成员拒绝为游行示威者颁发许可，因为他们害怕暴力。

◦　市议会成员拒绝为游行示威者颁发许可，因为他们提倡暴力。

每年都会举行一次威诺格拉德模式挑战赛，让人工智能回答这样的问题，而人工智能总是表现得一塌糊涂^[4]。这种推理指代关系的挑战，甚至连谷歌翻译也差强人意，比如，当我用谷歌翻译把前面那段话先翻译成中文，再翻译回英文时，就变成了下面这样：

但人工智能已经追上了我，而在2016年的大断裂之后，几乎没有什么语言，我能够翻译人工智能比谷歌大脑团队。

现在，它很可能已经比那时有所进步，因为很多方法都有望将深度递归神经网络与GOFAI结合起来，建造出一个包含着世界模型的自然语言处理人工智能。

机遇与挑战

前两章的这三个例子只是管中窥豹，因为人工智能在许多重要的方面都在取得日新月异的进步。此外，尽管我在这些例子中只提到了两家公司，但实际上，各大高校和企业里有许多研究团队正在你追我赶，他们在人工智能的研究上并不落后。在全世界高校的计算机系里，你仿佛能听到震耳欲聋的“吸尘器噪声”，因为苹果、百度、DeepMind、微软等公司都在用丰厚的薪酬，将高校里的学生、博士后和教师像吸尘一样“吸”走。

虽然我只提到了人工智能在这三个方面的突破，但希望大家不要被我所举的例子误导，由此就认为人工智能的历史就是由一段一段的停滞期组成的，间或插入一些突破。相反，我认为人工智能一直是稳步向前发展的，只不过每当它跨越一个障碍，从而让某种超乎想象的新应用或新产品成为可能时，媒体就会宣扬说这是一种突破。因此，我认为在接下来的许多年里，人工智能很可能还会一直像这样小步前进。此外，正如我们在第2章中所看到的，当人工智能在大多数任务上的表现与人类不相上下时，我们没有理由认为这样的进步不能持续下去。

这就提出了一个问题：这对我们会产生什么影响？人工智能的短期进步会如何改变身为人类的意义？我们已经看到，想宣称人工智能毫无目标、广度、直觉、创造力或语言能力是一件越来越难的事情，而许多人认为这些正是生而为人的核心特征。这意味着，即使在不远的未来，在任何人类水平的通用人工智能在所有任务上赶超人类之前，人工智能也可能会对一些问题产生巨大的影响，这些问题包括我们如何看待自己、我们在人工智能的帮助下能做什么，以及我们与人工智能竞争时如何才能挣到钱。那么，这些影响是好是坏？短期内又会带来什么样的机遇和挑战？

在我们的文明中，备受珍视的一切都是人类智能的产物，所以，如果我们能用人工智能来创造新的产物，我们的生活显然可以变得更好。即使是很小的进展，也可能催生巨大的科技进步，并可能减少事故、疾病、不平等、战争、困苦和贫穷等问题。但是，若想收获人工智能的好处，又不想制造新问题，我们需要回答许多重要的问题，比如：

◦　我们如何才能把未来的人工智能系统建造得比今天更加稳健，好让它们完成我们想要的事情，而不会崩溃、发生故障或被黑客入侵？

◦　我们如何才能更新现有的法律体系，让其更加公平有效，并紧跟数字世界的快速发展？

◦　我们如何才能让武器变得更加聪明，不会杀死无辜的平民，也不会触发失控的致命性自动化武器军备竞赛？

◦　我们如何才能通过自动化实现繁荣昌盛，而不会让人们失去收入和生活目标？

本章接下来的部分将逐个探讨这些问题。这4个短期问题针对的对象分别是计算机科学家、法学家、军事战略家和经济学家。然而，若想恰逢其时地得到答案，那么每个人都需要参与到这场对话中来。因为，正如我们将会看到的那样，这些挑战超越了所有的传统边界——既超越了专业之间的藩篱，又跨越了国界。

故障vs.稳健的人工智能

信息技术对人类的所有事业领域都产生了巨大的积极影响，从科学界到金融业、制造业、交通运输业、医疗服务业、能源产业和传媒产业，但这些影响在人工智能的潜力面前，全都相形见绌。我们对技术的依赖性越强，人工智能的稳健性、可信度和服从度就变得越发重要。

纵观人类历史，为了让技术造福人类，我们一直依赖的是试错的方法，也就是从错误中学习。我们先发明了火，但意识到火灾无情后，才发明了灭火器和防火通道，组建了火警和消防队；我们发明了汽车，但由于车祸频发，后来才又发明了安全带、气囊和无人驾驶汽车。从古至今，技术总会引发事故，但只要事故的数量和规模都被控制在有限的范围内，它们就利大于弊。但是，随着我们不断开发出越来越强大的技术，我们不可避免地会到达一个临界点：即使只发生一次事故，也可能导致巨大的破坏，足以抹杀所有的裨益。有些人认为，可能爆发的全球核战争就是这样的例子。还有一些人认为，生物工程产生的瘟疫也算是其中一例。在第4章，我们将会探讨一个富有争议的话题——未来的人工智能是否会导致人类的灭绝。不过，我们不需要这些极端的例子就能得出一个重要的结论：随着技术变得越来越强大，我们应当越来越少地依赖试错法来保障工程的安全。换句话说，我们应当更加积极主动，而不只是亡羊补牢。我们应该投资人工智能的安全性研究，保证一次事故也不会发生。这就是为什么人类社会在核反应堆安全方面的投资远远超过对捕鼠器安全方面的投资。

这也是为什么在未来生命研究所的第一次会议上，人们对人工智能的安全性研究表现出了极大的兴趣。计算机和人工智能系统总会崩溃，但这次有些不一样：人工智能逐步进入了现实世界。如果它导致供电网、股市或核武器系统的崩溃，那么这可不能用“小麻烦”这个词一笔带过。在本节剩下的部分，我会向你介绍人工智能安全性研究的4个主要领域。这4个领域是当今人工智能安全性研究方面讨论的主流，世界各地都有学者正在钻研。它们分别是：验证（verification）、确认（validation）、安全（secutiry）和控制（control）⁽³⁰⁾。为了避免枯燥，我们先来看看信息技术过去在不同领域的成功和失败案例，看看我们能从中学到什么富有价值的教训，以及这些案例给研究带来了哪些挑战。

大多数故事发生的年代很久远，虽然那时的计算机系统十分落后，没有人会把它们和人工智能联系起来，它们也很少造成什么损失，但或多或少，还是给我们带来了一些教训，指导我们在未来如何设计安全又强大的人工智能。这些人工智能如若发生故障，就会带来真正的灭顶之灾。

人工智能让太空探索成为可能

让我们先来看看我最喜欢的领域：太空探索。计算机技术让人类登上了月球，并用无人飞行器探索太阳系的行星，甚至登上了土星的卫星土卫六和一颗彗星。我们将在第6章谈到，未来的人工智能可能会帮助我们探索其他的恒星系和星系，只要它不发生故障就行。1996年6月4日，当科学家们目睹欧洲空间局的“阿丽亚娜5号”火箭搭载着他们建造的仪器一飞冲天时，都满怀希望，欣喜若狂，期待该火箭能帮他们展开地球磁气圈的研究。但37秒之后，他们脸上的笑容立刻消失了，只见火箭在空中炸成了灿烂的烟花，亿万美元的投资毁于一旦。经过调查，他们发现导致这次事故的原因是，当火箭中的某个软件在处理一个数字时，由于这个数字太大，超出了预先分配给它的16个比特的范围，因此发生了故障^[5]。两年后，NASA的火星气候探测器（Mars Climate Orbiter）意外落入了这颗红色星球的大气层，最终瓦解碎裂，此次事故由计量单位的混淆造成，飞行系统软件使用公制单位计算推进器动力，而地面人员输入的推进器参数则使用的是英制单位，导致飞行系统软件的错误率高达445%。^[6]这是NASA史上第二“昂贵”的故障，排名第一位的是1962年7月22日，NASA的金星探测器“水手1号”在卡纳维拉尔角发射升空后，旋即爆炸，原因是一个符号的错误造成了飞行控制软件的故障。^[7]1988年9月2日，似乎为了证明并不是只有西方人才掌握了将“故障”发射上天的本事，苏联的“福波斯1号”任务也失败了。这是有史以来最重的行星际飞行器，它拥有一个远大的目标：在火卫一上安置一个着陆器。但这一切因为一个连字符的丢失而烟消云散。这个故障将“中止任务”的指令发送给了正在赶往火星途中的“福波斯1号”，导致它关闭了所有系统，与地球的通信中断。^[8]

这些教训告诉我们，计算机科学家所说的“验证”非常重要。验证的意义是，保证软件完全满足所有的预期要求。关系到的生命和资源越多，我们就越希望软件能达到预期要求。幸运的是，人工智能可以帮助我们把“验证”这个过程变得自动化，并对其进行改善。比如，seL4是完全通用型的操作系统内核，它最近进行了一次精确的规范标准验证，旨在保证不会发生崩溃和不安全的运行。虽然它还没有微软Windows和Mac OS系统那些花哨的装饰，但你可以放心大胆地使用，而不用担心它出现蓝屏死机或旋转彩球的现象。美国国防部高级研究计划局（DARPA）资助开发了一系列可被证明是安全的高可靠性开源工具，称为“高可靠性网络军事系统”（High Assurance Cyber Military Systems，简称HACMS）。不过，我们要面对的一个重要挑战是，如何让这些工具变得足够强大，并易于使用，这样它们才会被广泛使用；另一个挑战是，当软件运用于机器人和新环境时，当传统的预先编程软件被能够持续学习的人工智能取代并因此改变行为时，“验证”任务本身会变得更加困难。

为金融业带来巨大盈利机会的人工智能

金融业是另一个被信息技术改变的领域。信息技术让金融资源在全球范围内以光速进行高效地重新分配，让所有昂贵的东西，比如按揭贷款和创业，变得唾手可得。人工智能的进展很可能会给金融贸易行业带来巨大的盈利机会，比如，如今股票市场中的大部分买卖决定都是由计算机自动做出的，而且，我在麻省理工学院的有些学生毕业时总是会受到高薪的诱惑，去改善这些算法，以让计算机做出更好的决策。

验证对金融软件的安全性来说，也十分重要。在这一点上，美国公司骑士资本集团（Knight Capital）在2012年8月尝到了血泪般的教训：它在45分钟内损失了4.4亿美元，只因其部署了未经验证的交易软件。^[9]不过，发生于2010年5月6日、造成数万亿美元损失的华尔街的“闪电崩盘”（Flash Crash）事故则是另一个原因导致的。虽然“闪电崩盘”事故在市场恢复稳定的半小时前造成了巨大的损失，使得像宝洁这样的著名公司的股价在1分钱和10万美元之间来回摇摆，^[10]但这个事故并不能通过“验证”避免，或者是由计算机失灵造成的，而是因为“预期被违背”：许多公司的自动交易程序进入了一个意料之外的情形，在这个情形下，它们的前提假设失效了，比如，其中一个失效的假设认为，如果股票交易计算机报告的股票价格是1美分，那这只股票的价格就真的是1美分。

“闪电崩盘”事故说明，计算机科学家所谓的“确认”非常重要。“验证”问题问的是“我建造系统的方式正确吗”，而“确认”问题问的是“我建造的系统正确吗”，比如，这个系统所依赖的假设是不是总是有效？如果不是，如何改进它，才能更好地应对不确定的情况？⁽³¹⁾

人工智能将引发一切制造业的新潮流

不用说，人工智能在改进制造业上具有巨大的潜力，它控制的机器人在效率和精度上都有很大的提升。日新月异的3D打印机能打印出任何东西的原型，从写字楼到比盐粒还小的微型机械；体积庞大的工业机器人生产着汽车和飞机，与此同时，计算机控制的便宜轧机、机床、切割机等机器不仅驱动着工厂的运转，还催生了草根级的“创客运动”（maker movement），世界各地的爱好者们在1 000多个由社区运营的“微观装配实验室”（fab labs）中实践着自己的想法^[11]（见图3-3）。

图3-3　机器人工作坊

注：传统的工业机器人十分昂贵，也很难编程。现在的趋势是使用人工智能控制的机器人，它们更加便宜，还可以从毫无编程经验的工人那里学习。

不过，我们周围的机器人越多，对它们的软件进行“验证”和“确认”的重要性就越高。

历史上第一个被机器人杀死的人是罗伯特·威廉姆斯（Robert Williams），他是美国密歇根州弗拉特罗克福特汽车工厂的一名工人。1979年，一个本应从储物区取回零件的机器人发生了故障，于是，他爬上该区域，准备亲自取回零件，而这时，机器人一声不响地重新运作起来，敲碎了他的脑袋，直到30分钟后，他的同事才发现这个惨状^[12]。第二个机器人的受害者是日本川崎重工业集团明石工厂的维护工程师浦田健志（Kenji Urada）。1981年，他在维修一台坏掉的机器人时，不小心按下了开关，被机器人的液压臂碾压致死^[13]。2015年，在德国包纳塔尔一家大众汽车生产车间里，当一名22岁的合同工在设置机器人、好让它抓取和操纵汽车零件时，发生了一些故障，致使机器人抓住他，并将他压死在一块金属板上^[14]。

虽然这些意外事故都很惨痛，但我们必须意识到，它们只是所有生产事故中很小的一部分。此外，随着技术的进步，生产事故的数量已经减少了许多，美国的死亡人数从1970年的14 000例降低到了2014年的4 281例^[15]。上面提到的三个例子说明，如果将智能植入愚钝的机器中，让机器学会在人类周围时更加小心谨慎，那么，生产的安全性就一定能得到进一步提升。如果有更好的“确认”，以上三个事故都可以避免。这些机器人造成严重的后果，不是因为故障，也不是出于恶意，而是因为它们做出了无效的假设，这个假设就是：那里没有人，或者那个人是一个汽车零部件。

交通运输业，人工智能大施拳脚的重地

虽然人工智能体在制造业中挽救了许多生命，但它能拯救更多人的领域却是在交通运输业。2015年，单是交通事故就吞噬了120万条生命，空难、列车事故和船难加起来共造成了数千人的死亡。美国的工厂安全标准很高，2016年的机动车事故共造成35 000人死亡，比所有生产事故加起来的死亡人数的7倍还多^[16]。2016年，在得克萨斯州奥斯汀举行的美国人工智能发展协会年度会议上，以色列计算机科学家摩西·瓦尔迪（Moshe Vardi）在人工智能改善交通事故上表达了强烈的认同。他认为，人工智能不仅能够降低交通事故的死亡人数，而且这是它必须做的事情。他宣称：“这是一项伦理责任！”由于大多数车祸都是由人类的错误导致的，因此，许多人都相信，采用人工智能驱动的无人驾驶汽车将能降低至少90%的由交通事故导致的死亡人数。在这种乐观想法的驱动之下，无人驾驶汽车的研究正在如火如荼地进行。在埃隆·马斯克的设想中，未来的无人驾驶汽车不仅会更安全，还能利用闲暇时间在打车应用Uber和Lyft的竞争中掺一脚，为它们的主人赚钱。

目前，无人驾驶汽车的安全记录确实比人类司机的更好，而过去发生的事故强调了“确认”的重要性和难度。无人驾驶汽车的第一次轻微交通事故发生在2016年2月14日，一辆谷歌无人驾驶汽车对一辆公交车做出了错误假设，它错以为当它在公交车前面驶入主路时，公交车司机会让它先行。无人驾驶汽车的第一次致命事故则发生在2016年5月7日。一辆自动驾驶的特斯拉汽车在交叉路口撞上了一辆卡车后面的拖车。这个事故是由两个错误的假设造成的^[17]：第一，它错以为拖车上明亮的白色部分只是天空的一部分；第二，它错以为司机正在注意路况，如果有事发生，他一定不会袖手旁观⁽³²⁾。后来证明，这位拖车司机当时正在看电影《哈利·波特》。

但是，有时就算有了好的“验证”和“确认”，还不足以完全避免事故，因为我们还需要好的“控制”，也就是让人类操作员能够监控系统，并在必要时改变系统的行为。想要这种人工介入（human-in-the-loop）的系统保持良好的工作状态，就必须保持有效的人机交流。比如，如果你忘记关上汽车的后备箱，那么，仪表盘上就会亮起红色的警报灯来提醒你。相比之下，英国渡轮“自由企业先驱号”在1987年3月6日离开泽布吕赫港时，舱门未关闭，船长却没有收到警报灯等的警告，结果，渡轮在离开港口后迅速倾覆，酿成了193人殒命的惨剧。^[18]

2009年6月1日晚，又一次发生了因缺乏“控制”造成的悲剧。如果人机交流更好一些，这个悲剧本可以避免。当晚，法国航空447号航班坠入了大西洋，飞机上的228人无一生还。官方事故调查报告称，机组人员未能意识到飞机已失速，因此，未能及时做出恢复操作，比如下推飞机头部，但等意识到时为时已晚。航空安全专家认为，如果驾驶舱内有一个能提醒飞行员机头上翘角度过大的攻角指示器，这场悲剧便可以避免。

1992年1月20日，因特航空148号航班坠毁在法国斯特拉斯堡附近的孚日山脉，87人不幸丧生。这次事故的原因倒不是缺乏人机交流，而是用户界面不清楚。飞行员想以3.3度的角度下降，因此在键盘上输入了“33”，但自动驾驶仪却将其解读为“每分钟10千米”；由于自动驾驶仪当时处在另一种模式，而显示屏的尺寸过小，导致模式没有显示完整，致使飞行员忽略了显示出的错误。

人工智能让能源优化更高效

信息技术在发电和配电方面发挥了神奇的作用。它用精巧的算法在全球电网中对电力的生产和消耗进行平衡，并用复杂的控制系统保持发电厂安全有效地运行。未来的人工智能程序有可能将智能电网变得更加智能，它能对时时变化的电力供给和需求进行优化调整，甚至能在单个屋顶太阳能电池板和单个家用蓄电池系统的层面上进行调整。然而，2003年8月14日，在那个星期四，美国和加拿大约有5 500万人遭遇了停电，在某些地方，停电甚至持续了好几天。无独有偶，这次事故的主要原因也是因为人机交流的不畅通：在俄亥俄州的一间控制室内，一个软件故障让一个警报系统失灵，未能及时提醒操作员进行电力的重新分配，就像一条过载的线路碰上了未经修剪的树枝，使得一个小问题逐渐走上了失控的道路。^[19]

1979年3月28日，宾夕法尼亚州三里岛的一个核反应堆发生了部分堆心融毁事故，导致了约10亿美元的清理费用，并引发了人们对建立核电站的大规模抗议。最终的事故调查报告揭露了多个原因，比如糟糕的用户界面。^[20]特别值得一提的是，有一个警示灯，操作员认为它指示的是一个重要的安全阀门的开启状态，而实际上，它指示的是关闭阀门的信号有没有被发出去，因此，操作员根本没有意识到这个阀门在关闭时卡住了，一直保持开着的状态。

这些发生在能源业和交通业的事故告诉我们，当我们把人工智能植入越来越实体化的系统中时，不仅需要研究如何让机器自身能运转良好，而且还需要研究如何才能让机器与人类操控者有效地合作。随着人工智能越来越聪明，我们这不仅需要为信息共享开发出更好的用户界面，还需要研究如何才能在人机协作的团队中更好地分配任务。比如，将一部分控制权移交给人工智能，将人类的判断力运用到价值最高的决策问题上，而不是让许多不重要的信息来分散人类操控者的注意力。

为医疗服务业带来巨大变革的人工智能

人工智能在改善医疗服务方面有着巨大的潜力。医疗记录的电子化让医生和病人可以更快和更好地做决定，并让全世界的专家能实时对电子图像进行诊断。实际上，由于计算机视觉和深度学习的快速进步，人工智能系统可能很快会成为最好的诊断专家。比如，2015年，荷兰的一项研究表明，计算机用核磁共振成像（MRI）诊断前列腺癌的表现与人类放射科医生不相上下^[21]。2016年，一项斯坦福大学的研究表明，人工智能用显微镜图像诊断肺癌的表现甚至比人类病理学家还要好^[22]。如果机器学习能够帮助人们揭示基因、疾病和治疗反应之间的关系，那么，它就能变革个性化医疗，能使家畜更加健康，还能增强农作物的适应性。此外，即便没有先进的人工智能加持，机器人依然有潜力成为比人类更精准和可靠的外科医生。近年来，机器人完成了一系列成功的外科手术，这些手术的精度很高，设备和创口都很小，减少了手术的失血量，降低了病人的痛苦程度，并缩短了恢复的时间。

不过，在医疗行业，同样有着许许多多的血泪教训，无时无刻不在提醒着我们，软件的稳健性有多么重要。比如，加拿大生产的Therac-25放射治疗仪的设计初衷是用两种不同模式来治疗癌症患者：第一种采用低能电子射线；第二种采用高能兆伏级别的X射线，并用特殊的防护物来保持对靶。不幸的是，未经验证的软件时而发生故障，使得技术人员在发射兆伏射线时误以为自己发射的是低能射线，由于缺少防护物，无意中夺走了几名患者的生命。^[23]巴拿马国立肿瘤研究所（National Oncologic Institute）的放疗设备使用具有放射性的钴-60来治疗患者，由于其用户界面没有经过正确的验证，使用起来很容易令人误解。2000年和2001年，该设备被编入了过长的暴露时间，导致许多病人死于辐射过量^[24]。根据最近一份报告^[25]，在2000—2013年，有144例死亡和1 391例受伤是由手术机器人事故造成的，主要的原因不仅包括硬件问题，比如电弧，烧坏或损坏的零件落入患者体内，还包括软件问题，比如失控的操作和自发性断电。

值得庆幸的是，该报告还称，除此之外的200万例机器人手术都进行得十分顺利，而且，机器人手术的安全性正变得越来越高。美国政府的一项研究表明，单在美国，每年因糟糕的住院治疗造成的死亡人数超过10万人^[26]，因此，为医疗行业开发更先进的人工智能的伦理责任可能比开发无人驾驶汽车的伦理责任更大。

颠覆通信业的人工智能

通信行业可能是迄今为止受计算机影响最大的行业了。人们在20世纪50年代发明了计算机化的电话交换机，60年代发明了互联网，1989年发明了万维网，如今，数十亿人通过在线的方式进行交流、购物、阅读新闻、看电影或玩游戏，习惯于点击一下就获得全世界的信息——通常还是免费的。物联网的出现正在将一切事物连到网上，从灯泡、恒温器、冰箱到家畜身上的生物芯片收发器。物联网可以改善效率和精度，让一切变得更加方便和经济。

这些惊人的成就将世界连接在一起，也给计算机科学家带来了第四个挑战：他们不仅需要改进验证、确认和控制，还需要保证“安全”，使人工智能不受恶意软件和黑客的攻击。前面我提到的那些事故都是由于不小心的错误造成的，而安全却是因“故意图谋不轨”而导致的。最早引起媒体注意的恶意软件叫作“莫里斯蠕虫”（Morris worm），它施放于1988年11月2日，主要利用UNIX操作系统中的漏洞。据称，它的最初目的是想测量网上有多少台计算机。不过，虽然莫里斯蠕虫感染了当时互联网上10%的计算机（当时总共约有6万台计算机），让它们全数崩溃，但这并没能阻挡住它的发明者罗伯特·莫里斯（Robert Morris）获得麻省理工学院计算机科学系终身教授职位。

还有一些蠕虫，利用的不是软件漏洞，而是人的漏洞。2000年5月2日，仿佛是为了庆祝我的生日，微软Windows用户开始收到来自朋友和同事的电子邮件，标题是“ILOVEYOU”，点击名为“LOVE-LETTER-FOR-YOU.txt.vbs”的邮件附件后，不知不觉在计算机上启动了一个会损害计算机的脚本。这个脚本还会将这封邮件自动转发给该用户通讯录中的所有联系人。这个蠕虫的始作俑者是两名年轻的菲律宾程序员。和莫里斯蠕虫一样，它感染了互联网上大约10%的计算机。由于这时的互联网规模比莫里斯蠕虫时的大很多，它成为史上感染计算机最多的蠕虫，影响了超过5 000万台计算机，造成的损失超过50亿美元。你或许早已痛苦地意识到，今天的互联网中依然出没着数不清的传染性恶意软件。安全专家们将这些软件分为许多类型，名字听起来都十分吓人，比如蠕虫、木马和病毒。它们造成的损害也多种多样，有的会显示无害的恶作剧信息，有的会删除你的文件、盗取你的个人信息、监视你的一举一动，或者控制你的计算机来发送垃圾邮件。

恶意软件的目标是任何一台计算机，但黑客的目标则不一样。黑客攻击的是互联网上的特定目标，最近引起人们注意的受害者包括塔吉特公司（Target）、折扣零售公司TJ Maxx、索尼影视娱乐公司、婚外情网站阿什利·麦迪逊、沙特阿美石油公司和美国民主党全国委员会。此外，黑客们的战利品也越来越惊人。2008年9月，黑客从哈特兰支付系统公司盗取了1.3亿个信用卡号码和其他账户信息；2013年，黑客黑入了超过10亿个雅虎邮箱账户。^[27]2014年，有人黑入了美国政府的人事管理办公室，盗取了超过2 100万人的个人资料和职位申请信息，据称，其中包括最高机密级别的雇员和卧底探员的指纹信息。

因此，每当我读到有人声称某个新系统100%安全、永远不会被黑客破解时，我就忍不住翻个大大的白眼。但是，如果未来我们用人工智能来管理一些系统，比如重要的基础设施或武器，那么，我们确实需要保证它们是黑客无法破解的。因此，随着人工智能在社会中所扮演的角色越来越多，计算机安全的重要性也越来越凸显出来。一些黑客利用的是人类的轻信或新软件中复杂的缺陷，还有一些黑客的攻击则是利用一些长期无人注意的简单漏洞，以便在未经授权的情况下登录远程计算机。2012—2014年肆掠的“心脏出血漏洞”就存在于最流行的计算机间加密通信软件库中；1989—2014年，有一个叫“Bashdoor”的漏洞也被植入了UNIX计算机操作系统中。这意味着，在“验证”和“确认”方面有所改善的人工智能工具也将能提升安全等级。

不幸的是，更好的人工智能也可以用来寻找新的缺陷和执行更复杂的攻击。比如，请想象一下，某一天你收到了一封不寻常的“钓鱼”邮件，试图引诱你泄露个人信息。这封邮件是从你朋友的账户发出的，但实际上这个账户遭到了人工智能的挟持。这个人工智能假扮成你的朋友，分析了他的已发邮件，它不仅能模仿他的文字风格，还在邮件中包含了来自其他来源的关于你的个人信息。你会上当受骗吗？如果这封钓鱼邮件发送自你的信用卡公司，接下来还有一个十分友善的人类声音给你打了个电话，而你根本无法分辨这个声音是不是人工智能生成的，你又会如何处理呢？在计算机安全领域，攻守双方之间的军备竞赛正如火如荼地进行，而目前来看，防守方的胜算甚小。

法律之争

人类是社会性动物，多亏了我们的合作能力，才战胜了其他动物，占领了地球。为了激励和促进合作，我们制定了法律。因此，如果人工智能可以改善我们的法律和政府系统，它就能让人类达到前所未有的合作水平，带来巨大的好处。在这方面，存在着大量的进步机会，不仅涉及法律的执行，还涉及法律的撰写。现在，我们就来探讨一下这两个方面。

当想到法院体系时，你的第一印象是什么？如果是冗长的延期、高昂的费用和偶尔出现的不公平，那么，你并不是唯一一个这样想的。如果能把这种第一印象扭转为“高效”和“公平”，是不是一件绝妙的事？由于法律程序能被抽象地看作一个计算过程，输入证据和法律信息后就能输出判决结论，因此，许多学者梦想着能用“机器人法官”（robojudges）来将这个过程自动化。机器人法官就是一种人工智能，它能不知疲倦地将同样高的法律标准运用到每次判决中，而不会受到人类错误的影响，这些错误包括偏见、疲劳或知识陈旧等。

机器人法官

1994年，美国白人拜伦·德·拉·小贝克威思（Byron De LaBeckwith Jr.）因在1963年刺杀民权领袖梅加·埃弗斯（Medgar Evers）而被判有罪，但在谋杀发生的第二年，尽管证据充足且完全相同，两个全由白人组成的密西西比陪审团却没有判决他有罪^[28]。呜呼哀哉，法律历史中充斥着因肤色、性别、性别取向、宗教、国籍等因素而导致的判决偏见。从原则上来说，机器人法官能保证法律面前人人平等，这是有史以来的第一次。通过编程，机器人法官可以对所有人一视同仁，并可以完全透明、不偏不倚地运用法律。

机器人法官还可以消除意外出现而非有意为之的人类偏见。比如，2012年，有人对以色列的法官进行了一项富有争议的研究^[29]，研究声称，当法官饥饿时，就会做出更加严厉的判决。但是，这些法官否认大约35%的假释决定发生在刚吃完早餐以后，也否认超过85%的假释拒绝发生于正要吃午餐前。人类判断的另一个缺点是，人类没有足够的时间来了解每个案件的所有细节。相比之下，机器人法官可以很容易地进行复制，因为它们只由软件组成，可以同时处理所有的未决案件，而不用一个接一个地解决。这样一来，机器人法官就可以在每个案件上花费足够长的时间。最终，尽管人类法官不可能掌握困扰司法科学领域的每个案子（从棘手的专利纠纷到神秘谋杀案）所需要的技术知识，但从本质上来说，未来的机器人法官却拥有无穷无尽的记忆空间和学习能力。

总有一天，这样的机器人法官将变得更加有效和公平，因为它们不偏不倚，公正不阿，聪明能干，并且办案透明。它们的高效会进一步提升公平性。通过加快司法程序建设，使其更难被狡猾的律师影响，机器人法官就能以相当低的成本实现法庭的公正性。当穷人与亿万富翁或者坐拥豪华律师阵营的跨国企业对抗时，这可以极大地提高前者获胜的机会。

但是，如果机器人法官出现了漏洞，或者被黑客攻击，怎么办呢？这两个问题已经在自动投票机上发生了。这些问题会导致某些人陷入多年的牢狱之灾或者多年积蓄毁于一旦，这也使黑客进行网络攻击的动机变得更强。即便我们能把人工智能建造得足够稳定，足以让人们相信机器人法官使用的算法是合理合法的，但是，是不是所有人都会感到他们能理解机器人法官的逻辑推理过程并尊重它的判断呢？近期，神经网络算法的成功研究进一步增加了应对这一挑战的胜算。神经网络算法的表现经常优于传统的人工智能算法，但传统的算法都很容易理解，而神经网络算法却高深莫测。如果被告想知道他们为何被定罪，我们难道不应该给出比“我们用大量数据训练了算法，这就是它的结论”更好的回答吗？此外，近期的研究发现，如果你用大量囚犯的相关数据训练深度神经网络学习系统，它就能比人类法官更好地预测哪些囚犯会再次犯罪，并据此拒绝他们的假释。但是，如果深度神经网络系统发现，从统计学上来说，累犯率与囚犯的性别或种族有联系，那么，这个性别歧视和种族歧视的机器人法官是不是应该回炉重“编”呢？实际上，2016年的一项研究认为，美国使用的累犯率预测软件对黑人有偏见，并曾导致了不公平的判决^[30]。这些问题十分重要，急需思考和讨论，这样才能保证人工智能对人类是有益的。面对机器人法官这件事，我们要决定的问题不是“要不要使用”，而是司法体系对人工智能的应用应该达到什么程度，以及以什么样的速度推进。要不要让法官像未来的医生那样使用基于人工智能的决策支持系统？要不要更进一步，让机器人法官的判决可以上诉到人类法官？或者一路走到底，让机器人法官来做死刑判决？

让法律适应人工智能的进步

到目前为止，我们只探索了法律方面的应用，现在让我们来看看法律的内容。大多数人都认同，我们的法律需要不断地更新，以跟上技术的脚步。比如，那两个创造了“ILOVEYOU”蠕虫、造成了几十亿美元损失的程序员，之所以被宣判无罪，大摇大摆地走出了法庭，只是因为那个年代的菲律宾还没有制定针对恶意软件的法律。由于技术进步一直在不断地加速，因此，法律总易表现出落后于技术的倾向。我们必须以更快的速度更新法律，才能让法律跟上技术的发展。让更多热爱技术的人进入法学院和政府，或许是一个有益社会的妙招。但接下来，应不应该在选举和立法方面使用基于人工智能的决策支持系统？或者彻底一点，干脆用机器来立法？

如何改变我们的法律以适应人工智能的进步，这是一个令人着迷的争议话题。其中一个争论反映了隐私与信息自由之间剑拔弩张的紧张关系。自由派认为，我们拥有的隐私越少，法庭拥有的证据就越多，判决就会越公平。比如，如果政府有权接入每个人的电子设备，记录他们的位置、他们输入的内容、点击的东西以及所说的话和做的事，许多犯罪行为就能被抓个现形，还可能被杜绝。而隐私派的支持者反驳说，他们不想看到奥威尔式的监控；即便自由派认同的这种情况真的出现了，社会很可能会陷入大规模的集权主义的独裁局面。此外，机器学习技术通过分析功能磁共振成像扫描仪等脑部传感器收集的大脑数据，以判断人类想法（尤其是测谎）的能力逐渐变得越来越强。^[31]在目前的法庭上，案例事实的还原是一个单调而又冗长的过程；如果让基于人工智能技术的脑部扫描技术走进法庭，这个过程将被极大地简化和加快，能使判决更快，也更公平。但是，隐私派的支持者可能会担心这种系统会不会犯错误。还有一个更根本的问题是，我们的思想到底应不应该接受政府的检查。如果一个政府反对自由主义，那它可以用这种技术对拥有这些信仰和观点的人定罪。在公正和隐私之间、在保护社会和保护个人自由之间，你的界限在哪里？这条界限（无论它在哪里）会不会不可阻挡地逐渐移向减少隐私的方向，以此来抵消证据越来越容易被伪造的事实？比如，如果人工智能有能力生成一段你实施犯罪的虚假视频，而且它看起来非常真实，简直能以假乱真，那么，你会不会投票支持政府追踪每个人的实时位置，以此来洗刷你被栽赃的罪名？

还有一个迷人的争议是：人工智能研究是否应该受到监管？或者，政策制定者应该给人工智能研究者以什么样的激励，才能让他们的研究结果尽可能的有益。一些研究者反对对人工智能研究进行任何形式的监管。他们声称，监管会延迟一些迫在眉睫的创新，比如能减少交通事故的无人驾驶汽车，而这些延迟本来是不必要的，会导致对人工智能的前沿研究转向地下，或者转移到对人工智能更宽容的国家。在第1章提到的波多黎各的“人工智能有益运动”会议上，埃隆·马斯克说，当下我们需要政府做的不是监督，而是洞察。具体来说，就是让具备技术能力的人在政府内担任职位，监控人工智能的进展，并在未来需要的时候插手控制。马斯克还说，政府监管有时候能够促进技术进步，而不是扼杀进步。比如，如果政府颁布的《无人驾驶汽车安全标准》能够降低无人驾驶汽车的事故发生率，公众的反对声音就会变小，这样，就能加速新技术的使用。因此，最在意安全的人工智能公司或许会希望政府进行监管，因为这样，那些疏忽大意的竞争者就只能埋头苦干，以追赶前者极高的安全标准。

不过，还有一个有趣的法律争议是，要不要赋予机器权利。美国每年因交通事故丧生的人数达32 000人；假如无人驾驶汽车将死亡人数减半，汽车厂商很可能并不会收到16 000封感谢信，而是16 000起官司。那么，如果无人驾驶汽车发生了交通事故，应该由谁来负责呢？是它的乘客、拥有者还是生产厂家？法律学家戴维·弗拉德克（David Vladeck）给出了不同的答案：由汽车自己负责！具体而言，他提出，应该允许甚至要求无人驾驶汽车持有保险。这样，安全记录良好的汽车型号所需支付的保险费就会很低，甚至可能比人类司机买的保险费还低；而那些马虎大意的厂商生产的设计糟糕的汽车型号只适用于高昂的保险单，进而催高了它们的价格，使其变得过于昂贵，无人想买。

但是，如果我们允许机器（例如汽车）持有保险，那么，我们是否也应该允许它们拥有货币和财产？如果允许的话，从法律上来说，我们就无法阻止聪明的计算机在股市上大捞一笔，并用赚到的钱来购买在线服务。一旦计算机开始付钱给人类，让人类为它工作，那它就能实现人类能做到的一切事情。如果人工智能系统在投资上的表现好于人类，实际上它们在某些领域已经超过人类了，这就有可能出现一种情形：由机器占有和控制了社会大部分的经济命脉。这是我们想要的情形吗？如果这听起来还很遥远，那么请想一想，我们经济的大部分事实上已经属于另一种非人类实体：公司。公司通常比任意单个员工都要强大，就像拥有自己的生命一样。

如果你觉得赋予机器财产权是可以接受的，那么，可不可以赋予它们投票权呢？如果可以，应不应该给每个计算机程序一张选票？但程序可以在云端自我复制；假如它足够富有，甚至可以复制出几千亿份，并以此来影响选举结果。如果你认为不能赋予机器投票权，那么，我们要用什么伦理基础来大言不惭地“歧视”机器意识，认为机器意识不如人类意识？如果机器意识拥有自我意识，能像我们一样拥有主观体验，那答案会有所不同吗？我们将在第4章更深入地探讨与计算机控制世界有关的争议问题，然后在第8章讨论与机器意识有关的话题。

武器

自古以来，人类就遭受着饥荒、疾病与战争等问题的折磨。我们已经提到了人工智能可以减少饥荒和疾病，那战争呢？有些人声称，核武器制止了拥有核武器的国家之间发生战争，因为它们实在是太可怕了；以此类推，何不让所有国家都开发出可怕的人工智能武器，这样就可以一劳永逸地将战争从地球上抹去了。如果你不相信这种论调，并坚信未来的战争是不可避免的，那么，何不用人工智能来让战争变得更加人道？如果战争中只有机器和机器打仗，那么，就不会牺牲人类士兵或者平民。此外，未来由人工智能驱动的无人机等自动化武器系统⁽³³⁾很可能会比人类士兵更加公正和理性：它们会装备超人的传感器，并且不会惧怕死亡。它们还能时刻保持冷静，即使在激烈的战场上也能进行清醒的计算，不容易错杀平民（如图3-4所示）。

图3-4　美国空军MQ-1捕食者号

注：今天的军事无人机，比如美国空军MQ-1捕食者号，都是由人类远程操控的，而未来的无人机是受人工智能控制的，有可能会抹掉人类在决策链中的地位，转而使用算法来决定谁是应该被除掉的目标。

人类介入与否

如果自动化武器系统出现漏洞，搞不清状况，或者行为未能达到我们的预期，会发生什么事呢？美国宙斯盾驱逐舰的密集阵系统⁽³⁴⁾能自动侦察、追踪和袭击具有威胁性的目标，比如反舰导弹和飞行器。已经退役的美国海军“文森斯号”巡洋舰（USS Vincennes）是一艘制导导弹巡洋舰，昵称叫“机器人巡洋舰”（Robocruiser），因为它装备了宙斯盾系统。1988年7月3日，在两伊战争的一场小规模战役中，“文森斯号”巡洋舰对阵几艘伊朗炮艇。当时，雷达发出警告，显示有一架飞行器正在靠近，船长威廉·罗杰斯三世（William Rodgers III）推断，一定是一架伊朗的F-14战斗机正在俯冲过来袭击他们，于是授权宙斯盾系统开火。然而，他没想到的是，击落的其实是伊朗航空655号航班，这是一架伊朗民用客机，导致飞机上的290人全部罹难，引起了全世界的愤怒和谴责。后续调查结果显示，“文森斯号”巡洋舰糟糕的用户界面不能自动显示雷达屏上的哪些点是民用飞机，当时655号航班沿着自己的日常航线飞行，并开启了它的民用飞机应答机；“文森斯号”巡洋舰用户界面也不能显示哪些点在下降，意在袭击，哪些点在上升，当时655号航班从德黑兰起飞后在爬升。相反，当“文森斯号”巡洋舰自动化系统接收到关于那架神秘飞行器的查询请求时，它报告称“下降”，其实这是另一架飞机的状态，自动化系统错误地为那架飞机分配了一个海军用来追踪飞机用的编号。实际上，当时正在下降的飞机是一架由远在阿曼湾的美国部队远程操控的空中战斗巡逻机。

在这个案例的决策链中，是人类做出了最终的决定。在时间的压力下，他过于信任自动化系统告诉他的信息，以致酿成了惨剧。根据全世界各个国家国防部门的说法，目前所有武器部署系统的决策链中都有人类参与，除了低技术含量的诡雷，比如地雷。但是，这些系统正在朝“全自动化武器”的方向发展，这种自动化武器系统能够自主选择和袭击目标。将人类排除出决策链之外，能够提高速度。从军事上来说，这具有很大的吸引力。如果在一场空战中，一方是完全自动化的无人机，能够立刻做出反应，而另一方的无人机反应更迟钝一些，因为它的操控员是坐在地球另一边的人类，你认为哪一方会赢？

不过，在一些案例中，完全是因为决策链中有人类的存在才能侥幸脱险。1962年10月27日，在古巴导弹危机中，11艘美国海军驱逐舰和“伦道夫号”航空母舰在古巴附近、美国“检疫隔离”区域之外的公海水域与苏联潜艇B-59狭路相逢。美国军方当时不知道，潜艇B-59上的温度已经升高到了45℃（相当于113华氏度），因为潜艇B-59的电池耗尽，只得关闭空调。由于吸入了过多的二氧化碳，潜艇B-59上的许多船员都晕过去了，濒临中毒的边缘。潜艇B-59上的船员与莫斯科失去联系好几天了，所以根本不知道第三次世界大战是不是已经爆发了。接着，美国军方开始向潜艇发射小型深水炸弹。潜艇B-59上的船员并不知道，美国军方已经告知了莫斯科方面，他们发射炸弹只是为了警告，迫使潜艇B-59浮上水面并离开。“我们认为，就是这样了，死到临头了，”船员奥尔洛夫（V. P. Orlov）回忆说，“感觉就像坐在一个铁桶里，外面有人不停地用锤子猛敲。”还有一件事美国军方当时也不知道，潜艇B-59上搭载着一枚核鱼雷，潜艇上的军官有权在不请示莫斯科的情况下发射它。鱼雷军官瓦伦汀·格里戈里耶维奇（Valentin Grigorievich）大喊：“我们会死，但我们要把他们都击沉，不能让我们的海军蒙羞！”幸运的是，发射鱼雷的决定需要经过潜艇上三名军官的一致同意。其中有一个名叫瓦西里·阿尔希波夫（Vasili Arkhipov）的军官坚持说“不行”。虽然很少有人听说过阿尔希波夫这个名字，但他的决定可能避免了第三次世界大战的爆发，他或许是现代历史上以一己之力为人类做出最大贡献的人^[32]。我们还需要思考的是，假如潜艇B-59是一艘完全由人工智能控制、人类无法插手的潜艇，又会发生什么样的事呢？

20年后的1983年9月9日，两个超级大国之间再次出现剑拔弩张的紧张局面：美国时任总统罗纳德·里根将苏联称为“邪恶帝国”；而就在前一个星期，苏联击落了一架飞入它领空的大韩航空客机，造成269人死亡，其中包括一名美国国会议员。当时苏联的一个自动化预警系统报告称，美国向苏联发射了5枚陆基核导弹。而此时，只留给军官斯坦尼斯拉夫·彼得罗夫（Stanislav Petrov）几分钟的时间来决定，这是不是一个假警报。他们检查卫星发现，它的运转是正常的，或许，这会促使彼得罗夫给出“核袭击即将到来”的报告。但是，彼得罗夫相信自己的直觉，因为他觉得，如果美国要袭击的话，不会只用5枚导弹，因此他向自己的长官汇报称，这是一个假警报，尽管那时候他并不知道实情。后来的调查发现，卫星当时犯了一个错，将太阳投射在云层上的阴影误认为是火箭引擎的火焰。^[33]我很怀疑，如果当时不是彼得罗夫，而是一个循规蹈矩的人工智能系统，会发生什么样的事。

下一次军备竞赛

现在你可能已经猜出来了，我个人对自动化武器系统怀有深深的担忧。不过，我还没有告诉你我最大的担心，那就是：假如爆发人工智能武器军备竞赛，会导致什么样的结局。2015年7月，我在写给斯图尔特·罗素的公开信中表达了这个担忧，后来，我在未来生命研究所的同事又给予了我许多有用的反馈。^[34]

一封来自人工智能和机器人研究者的公开信

自动化武器能在无人干涉的情况下选择和袭击目标。这些武器可能包括4轴飞行器，它们能够搜索和杀死满足某些预定标准的人。不过，这些武器中不包括导弹或遥控无人机，因为它们的目标决策都是由人类做出的。人工智能技术已经到达了一个临界点，过不了几年，就可能出现实际可行的系统部署，尽管这不一定合法。不用等到几十年后，自动化武器就会带来很大的风险：继火药和核武器之后，它被认为是第三次武器革命。

对自动化武器，有人支持，也有人反对。比如，有人提出，用机器来替代人类士兵可以降低伤亡人数，但也会降低发动战争的门槛。人类今天面临的一个重要问题是，是展开一场全球人工智能军备竞赛，还是努力阻止它发生？只要任意一个主要军事力量推动人工智能武器开发，那全球军备竞赛几乎是不可避免的，而这场技术进步的终点是显而易见的，那就是：自动化武器会成为明天的AK突击步枪。与核武器不同，它们不需要昂贵或稀有的原材料，因此，它们会变得无处不在，并且价格便宜，能够被所有主要军事力量大规模生产。那么，自动化武器早晚都会出现在黑市、恐怖分子、意欲控制人民的独裁者、想要种族清洗的军阀等人的手中。自动化武器是刺杀、颠覆政权、制伏人群或选择性地杀死某个种族的理想工具。因此，我们相信，人工智能军备竞赛对人类无益。人工智能有许多方式可以在无须创造出新型杀人工具的情况下，使战场对人类（特别是平民）而言变得更加安全。

正如化学家和生物学家没兴趣开发生化武器一样，大多数人工智能研究者也没有兴趣开发人工智能武器，也不希望其他人用这种研究来玷污这个领域。因为这会激起公众对人工智能的反对，从而限制人工智能未来可能为社会带来的裨益。实际上，化学家和生物学家广泛支持那些阻止生化武器研究的国际条约，而这些条约都非常成功；无独有偶，大多数物理学家也都支持那些禁止太空核武器和致盲激光武器研发的条约。

有人可能会认为，这些担忧只是“和平环保狂”的杞人忧天。为了避免这种想法，我想要让尽可能多的硬核人工智能研究者和机器人学家在这封公开信上签名。国际机器人武器控制委员会（The International Campaign for Robotic Arms Control）曾召集几百人签名反对杀手机器人。我觉得我们可以做得更好。我知道，专业机构通常不愿意为了某些带有政治意味的目的，而将自己庞大的会员电子邮箱地址分享出来，因此，我从网络文档中收集和整理了一份研究者和研究机构的名录，并在亚马逊的MTurk共享平台上做广告，招募人马来寻找这些人的电子邮箱地址。大多数研究者的邮箱地址都可以在他们所属的大学网站上找到。

在花了24小时和54美元之后，可以很骄傲地说，我成功获取了几百名成功入选美国人工智能发展协会的人工智能研究者的电子邮箱地址。其中，英裔澳籍人工智能教授托比·沃尔什（Toby Walsh）非常好心地同意向名单中的所有人发一封邮件，帮我们宣传这个活动。全球各地MTurk平台上的成员不知疲倦地为沃尔什列出更多的邮件名单。不久之后，就有超过3 000名人工智能研究者和机器人研究者在我们的公开信上签名，其中包括6位美国人工智能发展协会前任主席，还有来自谷歌、Facebook、微软、特斯拉等公司人工智能领域的领袖。未来生命研究所的志愿者团队夜以继日、不知疲倦地核对签名列表，删除开玩笑的条目，比如比尔·克林顿和莎拉·康娜。除此之外，还有17 000人也签了名，其中包括史蒂芬·霍金。沃尔什在国际人工智能联合会议（International Joint Conference on Artificial Intelligence）上组织了一场新闻发布会后，这件事成了闻名世界的大新闻。

由于生物学家和化学家选择了自己的立场，如今他们才得以把主要精力放到创造对人类有益的药物和材料上，而不是制造生化武器上。人工智能和机器人学界现在也开始发声，公开信的签署者们希望他们的领域能以“创造更好的未来”，而不是“开发杀人新方法”被人们熟知。但是，人工智能未来的主要应用会是民用还是军用的呢？虽然在本章里我已花了很多笔墨来讨论前者，但人类可能很快就会开始在后者上投入重金，假如人工智能军备竞赛打响的话。2016年，民用人工智能的投资额超过了10亿美元，但这与美国国防部2017年120亿～150亿美元的人工智能相关项目的预算相比，简直是小巫见大巫。与此同时，中国和俄罗斯可能也注意到了美国国防部副长罗伯特·沃克（Robert Work）在宣布预算时所说的话：“我想要我们的竞争者好奇，黑幕后面到底藏着什么。”^[35]

是否应该付诸国际条约

虽然现在在国际上，禁止杀手机器人的风头正旺，但我们依然不知道未来会发生什么。如果真要发生点儿什么，会发生什么事呢？关于这个问题的争论十分活跃。虽然许多主要利益相关者都同意，世界众强国应该起草一份国际法规来指导自动化武器系统的研究与使用，但是，究竟应该禁止什么样的武器，以及禁令应当如何执行，这些问题都尚未达成协议。比如，是应该只禁止致命的自动化武器，还是应该把那些严重致残，比如致盲的武器也包括进去？我们应该禁止自动化武器的开发、生产还是拥有权？禁令应该禁止所有的自动化武器，还是如我们的公开信所说，只禁止攻击性武器，而允许防御性武器存在，比如防空炮和导弹防御系统？如果是后一种情况，那么，既然自动化武器系统很容易进入敌方领土，那它到底算不算是防御性系统？自动化武器的大部分部件都可以用于民用，那么，应如何执行这种条约？比如，运送亚马逊包裹的无人机和运送炸弹的无人机之间并没有太大的区别。

在这场争论中，一些人认为，要设计一份有效的自动化武器系统国际条约实在是太难了，简直毫无希望，因此，我们根本不应该尝试。但是别忘了，约翰·肯尼迪在宣布“登月计划”时曾强调说，只要某一件事在未来能大大造福于人类，那么，再困难也值得尝试。此外，许多专家认为，尽管事实证明，生化武器禁令的执行十分困难，但这样的禁令仍然具有很大的价值，因为禁令会让生化武器使用者蒙羞，从而间接限制它们的使用。

2016年，我在一次晚宴上遇到了美国前国务卿亨利·基辛格（Henry Kissinger），抓住这个机会，我询问了他在生化武器禁令中所扮演的角色。他向我解释了当他还在担任美国国家安全顾问时，是如何让前总统尼克松相信，生化武器禁令有利于美国国家安全。作为一位92岁高龄的老人，他的思维和记忆是如此敏锐，令我十分钦佩。同时，他从局内人的角度讲述的故事深深地吸引了我。由于美国已经因历史原因和核威慑力处在了超级大国的位置，如果爆发一场结局不明的全球性生化武器军备竞赛，对于美国来说，弊大于利。换句话说，如果你已经是最有权力的人，那么，最好遵照“如果没坏，就别修理”的格言。后来，斯图尔特·罗素加入了我们的餐后谈话，我们一起讨论了，为什么致命性的自动化武器禁令有利于国家安全，甚至是全人类的安全：从这场军备竞赛中获益最大的，并不是超级大国，而是一些较小的“流氓国家”和非国家主体，比如恐怖分子，因为一旦自动化武器被开发出来，他们就可以在黑市上进行交易。

一旦大规模生产的小型人工智能杀人无人机的成本降到只比智能手机贵一点点，那么，无论是想要刺杀政客的恐怖分子，还是想要报复前女友的失恋者，只要他们把目标的照片和地址上传到杀人无人机，它就会飞到目的地，识别和杀死那个人，然后自毁，以保证没人知道谁是幕后黑手。无独有偶，那些想要进行种族清洗的人也能很容易地对无人机进行编程，让它们只杀死那些拥有某些肤色或种族特征的人。斯图尔特·罗素预言，这种武器变得越智能，杀死每个人所需要的材料、火力和成本也就越低。比如，罗素很担心有人会用黄蜂大小的无人机来杀人，如果它们能射击眼睛（因为眼球很柔软，很小的子弹就能深入大脑），那它们就能用极小的爆炸力来杀人，成本也极低。或者，它们也可以用金属爪子抓住人的头部，然后施加微小的聚能引爆装置击穿头骨。如果一辆卡车可以释放100万个这样的杀手无人机，那你就拥有了一种恐怖的全新大规模杀伤性武器，它可以用来选择性地杀死事先规定的某一类人，而保证其他人和其他物体均毫发无伤。

许多人可能会反驳说，我们可以让杀手机器人的行为符合伦理标准，以此来消除上述的担忧，比如，让它们只杀敌方士兵。但是，如果我们连一个禁令都执行不了，又如何能保证敌人的自动化武器是100%符合伦理标准的呢？这难道不比从一开始就禁止生产自动化武器更难？我们怎能一边认为，文明国家训练有素的士兵不遵守战争规则，还不如机器人做得好，而另一边又认为，流氓国家、独裁者和恐怖分子十分遵守战争规律，永远不会部署机器人来打破这些规则。这不是自相矛盾吗？

网络战争

关于人工智能在军事中的应用，还有一个有趣的应用可以让你在手无寸铁的情况下攻击敌人，那就是网络战争。有一件事堪称未来网络战争的小小序曲——震网病毒（Stuxnet）。震网病毒感染了伊朗铀浓缩项目的高速离心机，使其分崩离析。社会的自动化程度越高，攻击性人工智能的力量就越强大，网络战争的破坏性就越大。想想看，如果你黑入了敌人的无人驾驶汽车、自动巡航飞机、核反应堆、工业机器人、通信系统、金融系统和电网，那么，你就能高效地摧毁对方的经济体系，削弱其防卫系统。如果你还能黑入对方的武器系统，那就更好了。

本章一开始，我们就探讨了人工智能近期有许多有益于人类的惊人机遇，只要我们保证它是稳定的，并且不被黑客攻破。人工智能本身当然可以用来加强网络防线，从而让人工智能系统更加稳定，但很显然，人工智能也可以用来进行攻击。如何保证防御方胜出，或许是近期人工智能研发最严峻的目标；如若不然，我们建造的高级武器也可能倒持戈矛，被用来攻击我们自己！

工作与工资

本章到目前为止，我们主要聚焦于人工智能如何催生具有变革性但同时又让普通人负担得起的新产品和新服务，从而影响消费者。那么，人工智能会如何通过变革就业市场来影响劳动者呢？如果我们在用自动化促进经济繁荣发展的同时，能搞清楚如何做才不会剥夺人们的收入和生活目标，那么，我们就能创造出一个人人都可享有闲暇和空前富足的美好未来。在这一点上思考得最多、最深入的人，莫过于经济学家埃里克·布莱恩约弗森了，他也是我在麻省理工学院的同事。虽然他总是梳洗整洁，衣着考究，但他其实是冰岛裔。我常常忍不住想，布莱恩约弗森或许是为了融入我们学校的商学院，前不久才刮掉了满脸“维京人”式的狂野红胡子。无论如何，他自己肯定没有“刮掉胡子”的疯狂想法。布莱恩约弗森把自己对就业市场的乐观预期称为“数字化雅典”（Digital Athens）。古代雅典公民之所以能拥有悠闲的生活，享受民主、艺术和游戏，主要是因为他们蓄养奴隶来做苦工。那么，为何不用人工智能来代替奴隶，创造出一个人人都有权享受的数字化乌托邦呢？在布莱恩约弗森的心目中，人工智能驱动的经济不仅可以消除忧愁和苦差，创造出富足的物质生活，让每个人都能得到自己想要的东西，它还能提供许多美妙的新产品和新服务，满足今天的消费者尚未意识到的需求。

技术加剧不平等的3个方面

如果每个人的时薪都逐年增长，每个想要更多闲暇的人都可以在逐渐减少工作时间的同时持续提升生活质量，那么，我们就能在未来的某一天实现布莱恩约弗森所说的“数字化雅典”。从图3-5中我们可以看到，这正是美国从第二次世界大战到20世纪70年代中期这段时间内所发生的事情：尽管存在收入不均，但收入的总体体量在变大，使得每个人分到的蛋糕也变得越来越大。不过接下来，发生了一些改变，布莱恩约弗森是第一个注意到这件事的人：从图3-5中可以看到，虽然经济水平正在持续增长，平均收入持续提升，但过去40年中的收益都进入了富人的口袋，主要是顶端1%的富人，而底端90%穷人的收入停滞增长。这种不平等的加剧在财富上的表现更加明显。对美国社会底层90%的家庭来说，2012年的平均财富是85 000美元，与25年前一模一样，而顶端1%的家庭在这段时间内的财富即使经过通胀调整之后，还是翻了一倍多，达到了1 400万美元。^[36]从全球的角度来看，情况更糟。2013年，全球最穷的一半人口（约36亿人口）的财富加总起来，只相当于世界最富有的8个人的财富总额。^[37]这个统计数据不仅暴露了底层人民的贫困与脆弱，也暴露了顶端富豪令人叹为观止的财富。在我们2015年的波多黎各会议上，布莱恩约弗森告诉参会的人工智能研究者，他认为人工智能和自动化技术的进步会不断将总体经济的蛋糕做大，但并没有哪条经济规律规定每个人或者说大部分人会从中受益。

尽管大多数经济学家都同意不平等现象正在加剧，但这个趋势是否会继续下去？如果会的话，又是为什么？有趣的是，在这个问题上，经济学家们各执一词。政治谱系上位于左翼的人通常认为，主要的原因是全球化和某些经济政策，比如对富人减税。但布莱恩约弗森和他在麻省理工学院的合作者安德鲁·麦卡菲认为另有原因，那就是技术^[38]。具体而言，他们认为数字技术从三个不同的方面加剧了不平等的程度。

图3-5　1920—2015年，美国家庭收入的变化趋势

注：这张图展示了在整个20世纪经济极大地提高了每个群体的平均收入，以及不同群体分别获益的份额。20世纪70年代以前，无论贫富，人们的生活都在变好。而在那之后，大多数收益都进入了顶端1%的富人的口袋，而底端90%的人几乎没有任何改善^[39]。图中的数据经过了通胀调整，以2017年的美元表示。

第一，技术用需要更多技能的新职业取代旧职业，这有益于受过良好教育的人：从20世纪70年代中期开始，硕士学位持有者的薪水增长了约25%，而高中辍学者的平均工资降低了30%^[40]。

第二，布莱恩约弗森和他的合作者认为，从2000年开始，在公司的收入中，越来越大的份额进入了那些拥有公司而不是为公司辛勤工作的人的口袋里。此外，只要自动化技术持续发展，我们还会看到，机器拥有者分走的蛋糕会越来越大。这种“资本压倒劳动力”的趋势对持续增长的数字经济来说至关重要；数字经济的概念是由技术预言家尼古拉斯·尼葛洛庞帝（Nicholas Negroponte）提出的，他认为数字经济是移动的比特，而不是移动的原子。如今，从书本到电影，再到税务筹备工具，一切都被电子化了，在全世界任何地方多卖出一套这些东西的成本几乎为零，而且不用雇用新员工。这使得收益的大部分进入了投资者而不是劳动者的口袋，这也解释了，为什么尽管底特律“三巨头”⁽³⁵⁾ 1990年的总收益与硅谷“三巨头”在2014年的总收益几乎相等，但后者的员工数比前者少9倍，并且股市上的市值是前者的30倍^[41]。

第三，布莱恩约弗森和他的合作者认为，数字经济通常会让“超级明星”而不是普通人受益。《哈利·波特》的作者J. K.罗琳是第一个成为亿万富翁的作家，她比莎士比亚富有多了，因为她的故事能以文字、电影和游戏等各种形式在数十亿人口中以极低的成本传播。同样地，斯科特·库克（Scott Cook）在税务筹划软件TurboTax上赚了10亿美元，而TurboTax与人类税务筹划员不一样，它能以下载的形式售卖。由于大多数人只愿意购买排名最高的前10个税务筹划软件，并且愿意花的钱少之又少，因此，市场上的“超级明星”席位极其有限。这意味着，如果全世界的父母都试图把自己的孩子培养成下一个J. K.罗琳、吉赛尔·邦辰、马特·达蒙、克里斯蒂亚诺·罗纳尔多、奥普拉·温弗瑞或埃隆·马斯克，那么，几乎没有孩子会觉得这种就业策略是可行的。

给孩子们的就业建议

那么，我们应该给孩子们什么样的就业建议呢？我鼓励我的孩子去做那些机器目前不擅长，并且在不远的未来也似乎很难被自动化的工作。近期，在对“哪些工作会被机器取代”的一项预测中，^[42]有人提出了一些在职业教育之前应了解的职业问题。这些问题十分有用。比如：

◦　这份工作是否需要与人交互，并使用社交商？

◦　这份工作是否涉及创造性，并能使你想出聪明的解决办法？

◦　这份工作是否需要你在不可预料的环境中工作？

在回答这些问题时，得到的肯定答案越多，你的就业选择可能会越好。这意味着，相对安全的选择包括教师、护士、医生、牙医、科学家、企业家、程序员、工程师、律师、社会工作者、神职人员、艺术家、美发师和按摩师。

相比之下，那些高度重复、结构化以及可预测的工作看起来过不了多久就会被机器自动化。计算机和工业机器人早在很久以前就已经取代了这类工作中最简单的那部分。持续进步的技术正在不断消灭更多类似的工作，从电话销售员到仓管员、收银员、火车司机、烘焙师和厨师。接下来，就是卡车、公交车、出租车和Uber/Lyft司机等。还有更多职业，包括律师助理、信用分析师、信贷员、会计师和税务员等，虽然这些工作不属于即将被完全消灭的工作之列，但大多数工作任务都将被自动化，因此所需的人数会越来越少。

但是，避开自动化并不是唯一的职业挑战。在这个全球化的数字时代，立志成为职业作家、电影人、演员、运动员或时尚设计师是有风险的，原因是：虽然这些职业并不会很快面临来自机器的激烈竞争，但根据之前提到的“超级明星”理论，他们会遇到全球各地其他人的严酷竞争，因此，鲜有人能脱颖而出，获得最终的成功。

在许多情况下，站在整个领域的层面给出就业建议是短视和不够有针对性的。许多工作并不会完全被消灭，只不过它们的许多任务会被自动化取代。比如，如果你想进入医疗行业，最好别当分析医疗影像的放射科医生，因为他们会被IBM的沃森取代，但可以成为那些分析放射影像、与病人讨论分析结果并决定治疗方案的医生；如果你想进入金融行业，别做那些用算法来分析数据的定量分析师，也就是“宽客”，因为他们很容易被软件取代，而要成为那些利用定量分析结果来做战略投资决策的基金管理者；如果你想进入法律行业，不要成为那些为了证据开示而审阅成堆文件的法务助理，因为他们的工作很容易被自动化，而要成为那些为客户提供咨询服务并在法庭上陈情激辩的律师。

到目前为止，我们已经探讨了个人在人工智能时代如何才能在就业市场上获得最大的成功。那么，政府应该做些什么来帮助人们获得职业成功呢？比如，什么样的教育系统才能帮助人们在人工智能迅速进步的情况下，做好充分的就业准备？我们目前采用的模型，也就是先上一二十年学，然后在一个专业领域工作40年，还能奏效吗？或者说，是否应该让人们先工作几年，然后回到学校里待一年，接着工作更长时间，如此往复？这种模式会不会好一点呢？^[43]又或者，是否应该让继续教育（可以在网上进行）成为每份职业必有的标准部分呢？

此外，什么样的经济政策最能帮助我们创造出新的好职业？安德鲁·麦卡菲认为，许多政策或许都能帮上忙，包括加大科研、教育和基础设施方面的投资，促进移民、鼓励创业等。麦卡菲觉得，“《经济学原理》的教材十分清楚，但没有人按此执行”^[44]，至少在美国没有。

人类最后会全体失业吗

如果人工智能始终保持进步的势头，将越来越多的工作自动化，那会发生什么事呢？许多人对就业形势十分乐观。他们认为，在一些职业被自动化的同时，另一些更好的新工作会被创造出来。毕竟，过去也发生过类似的事情。在工业革命时期，卢德分子也曾对技术性失业感到忧心忡忡。

然而，还有一些人对就业形势十分悲观。他们认为，这一次和以前不一样，空前庞大的人群不仅会失去工作，甚至会失去再就业的机会。这些悲观主义者声称，在自由市场中，工资是由供需关系来决定的。如果便宜的机器劳动力的供给持续增长，将进一步压低人类劳动力的工资，甚至低到最低生活标准之下。由于一份工作的市场价格等于完成这份工作的最低成本，不管是由人来完成，还是其他东西来完成，所以在过去，只要能把某种职业外包给收入更低的国家或者成本更低的机器，人们的工资就会降低。在工业革命时期，我们学会了用机器来取代肌肉，人们逐渐转向了那些薪水更高、使用更多脑力的工作。最终，蓝领职业被白领职业取代。而现在，我们正在逐渐学习如何用机器来取代我们的脑力劳动。如果我们真的做到了，那还有什么工作会留给我们呢？

一些职业乐观主义者认为，在体力职业和脑力职业之后，会出现一波新的职业，这就是创造力职业。但职业悲观主义者却反驳说，创造力只是另一种脑力劳动而已，因此最终也会被人工智能所掌握。还有一些职业乐观主义者认为，新技术会创造出一波超出我们想象的新职业。毕竟，在工业革命时期，有谁能想象到，他们的后代有一天会当上网页设计师和Uber司机呢？但职业悲观主义者反驳说，这只是一厢情愿的想法，缺少经验数据的支持。职业悲观主义者指出，一个世纪前或者早在计算机革命发生之前的人也可以说同样的话，预测说今天大部分职业都会是崭新的、前所未有的，超出前人想象，并且是由技术促成的。这种预测是非常不准确的，如图3-6所示，今天大部分职业早在一个世纪前就已经存在了，如果把它们根据其提供的就业岗位数进行排序的话，一直要到列表中的第21位，我们才会遇到一个新职业：软件工程师，而他们在美国就业市场中所占的比例不足1%。

这里，让我们再回头看一看图2-2，就会对事态有一个更好的理解。图2-2展示了“人类能力地形图”，其中，海拔代表机器执行各种任务的难度，而正在上升的海平面表示机器当前可以完成的事情。就业市场中的主要趋势并不是“我们正在转向完全崭新的职业”，而是“我们正在涌入图2-2中尚未被技术的潮水淹没的地方”。图3-6表明，这个结果形成的并不是一座孤岛，而是复杂的群岛。其中的小岛和环礁就是那些机器还无法完成，但人类却很容易做到的事情。这不仅包括软件开发等高科技职业，还包括一系列需要超凡灵巧性和社交技能的各种低科技职业，比如按摩师和演员。人工智能是否会在智力上迅速超越人类，最后只留给我们一些低科技含量的职业？我的一个朋友最近开玩笑说，人类最后的职业，或许会回归人类历史上的第一种职业：卖淫。后来，他把这个笑话讲给一个日本机器人学家听，这位机器人学家立刻反驳道：“才不是呢，机器人在这种事情上游刃有余！”

职业悲观主义者声称，终点是显而易见的：整个群岛都将被海水淹没，不会再有任何用人比用机器更便宜的工作存在。苏格兰裔美国籍经济学家格雷戈里·克拉克（Gregory Clark）指出，我们可以从我们的好朋友——马身上窥见未来的踪影。请想象一下，1900年，两匹马凝视着早期的汽车，思考着它们的未来。

“我很担心技术性失业。”

“嘶嘶，别做个卢德分子。在蒸汽机取代我们在工业中的地位、火车取代我们拉货车的工作时，我们的祖先也说过同样的话。但今天，我们的就业岗位不减反增，而且，这些岗位比过去更好，我宁愿拉一辆轻巧的四轮马车，也不愿整天原地打转，只为了驱动一台愚蠢的矿井抽水机。”

“但是，如果内燃机真的腾飞了呢？”

“我肯定，一定会有超出我们想象的新工作给我们来做。过去一直都是这样的，就像轮子和犁发明的时候一样。”

图3-6　2015年，美国1.49亿劳动人口的职业分布

注：这张饼形图表明了2015年美国1.49亿劳动者在从事什么职业。这里的职业按照美国劳工统计局的标准，按照普及程度，总共划分为535个种类^[45]。所有超过100万人的职业都进行了标记。一直到第21位，才出现第一个由计算机技术延伸而来的新职业。这张图是根据费德里科·皮斯托诺（Federico Pistono）的分析而绘制的。^[46]

呜呼！马儿的那些“超乎想象”的新工作从未降临。那些没有实用价值的马儿被屠杀殆尽，导致马匹数量骤减，从1915年的2 600万匹降低到1960年的300万匹^[47]。既然机械式的“肌肉”让马匹成为无用之物，那么，机械“智能”是否会让同样的事降临到人类头上？

让人们的收入与工作脱节

有人说，在旧工作被自动化的同时，会涌现出更好的新工作；也有人说，人类最后都会失业。究竟谁对谁错？如果人工智能发展的势头持续增强，那么，双方都可能是正确的。只不过，一方说的是短期，另一方说的是长期。虽然人们在讨论职业的消逝时，总是带着一种凄惨和绝望的情绪，但实际上，这并不一定是一件坏事。卢德分子执迷于某一些特定的工种，而没有意识到，其他工作也可以带来同样的社会价值。同样地，当今社会，那些执迷于工作的人或许也太过于狭隘了。我们想要工作，是因为它们能给我们带来收入和目标，但是，如果机器能生产出丰富的资源，那么或许也存在其他方法，能在不需要工作的情况下，带给我们收入和目标。马的结局其实也有些类似，因为马并没有完全灭绝。相反，从1960年以来，马匹数量增长了三倍还多，因为它们被一个有点类似“马匹社会福利”的体系保护了起来。虽然马不能支付自己的账单，但人类决定照顾好它们，为了好玩、运动和比赛的目的而让它们留下来。我们是否可以用同样的方法来照顾好我们的同类呢？

让我们先来看看关于收入的问题。在持续变大的经济蛋糕中，只需要切下小小的一块进行重新分配，就能让每个人过上更好的生活。许多人认为，这不应仅仅停留在我们“能够”做的事上，而应该成为我们“应该”做的事。前文我曾提到过，摩西·瓦尔迪在一个研讨会上探讨了用人工智能技术拯救生命的伦理责任。正是在同一个会议上，我发表了自己的看法。我认为，让人工智能技术有益于人类，同样是一项伦理责任。这其中就包括分享财富。埃里克·布莱恩约弗森也出席了那次会议，他说：“在新一代财富阶层崛起的同时，如果我们不能避免一半人类的生活水平恶化，那将是我们的耻辱！”

那么，应该如何分享财富呢？人们提出了许多方法，每种方法都有许多支持者和反对者。最简单的方法叫作“基本收入”（basic income）。这种方法是指，每个月向每个人发放一笔收入，这笔收入是无条件的，对收款人也没有任何要求。对基本收入这种方法，人们已经在加拿大、芬兰和荷兰等地进行了一些小规模的实验，还有一些实验正在计划中。支持者声称，基本收入比其他方法（比如基于需求的福利性支出）更有效，因为它不需要由人来决定谁有资格和谁没资格领钱，这样一来，就消除了一些管理上的麻烦。有人曾批评说，基于需求的福利性支出会抑制人们工作的积极性。不过，在一个无人工作的未来世界，这条批评也就无关紧要了。

政府帮助公民的方法有很多，不仅可以直接给他们金钱，还可以向他们提供免费或有补助的服务，比如道路、桥梁、公园、公共交通、儿童保育、教育、医疗、养老院和互联网等。诚然，许多国家的政府现在已经在提供了许多这样的服务。与基本收入不同，这些政府投资服务旨在实现两个目标：一是降低人们的生活成本；二是提供就业机会。即便在未来，机器能在任何工作上都胜过人类，政府还是可以在儿童保育、照顾老人等事情上付钱雇用人类，而不是直接把看护工作外包给机器。

有趣的是，即便没有政府干预，技术的进步也能免费向人们提供许多有价值的产品和服务。比如，在过去，人们会花钱购买百科全书和地图册、寄信、打电话，而现在，只要你有互联网，就可以免费获得这些服务。此外，还有免费的视频会议、照片分享、社交媒体、在线课程等数不胜数的新服务。一些对人们来说价值连城的东西，比如救命的抗生素，如今都非常便宜。因此，多亏了科技，今天许多穷人才能够获得过去连世界首富都梦寐以求的东西。有些人认为，这意味着，过上体面生活所需的收入正在降低。

如果在未来的某一天，机器可以用最低的成本生产出今天所有的商品和服务，那么，我们显然已经有足够的社会财富来让所有人过上更好的生活。换句话说，即使是相对少量的税收也足以让政府负担得起基本收入和免费服务。然而，虽然这种财务分享的方法是可能的，但并不意味着它一定会发生。并且，在政界，人们在“应不应该采用这种财务分享的方法”这个问题上各执一词。正如我们之前看到的那样，美国目前似乎正朝着相反的趋势前进——几十年来，一些人越来越穷。如何分享日益增长的社会财富的政策会影响每个人的生活，因此，关于“应该构建哪种未来经济”的对话，应该让每个人参与进来，而不只是人工智能研究者、机器人学家和经济学家。

一些辩论者认为，降低收入上的不平等不仅在人工智能主导的未来是一个需要解决的问题，在今天也应受到重视。虽然主要的讨论集中在伦理问题上，但仍有证据表明，更高程度的平等能带来更好的民主。当社会有很多接受过良好教育的中产阶级时，选民更难被操纵；一小部分人或公司想通过买通政府来实现卑劣目标的企图也会更难达成。更好的民主还能促进经济发展，减少腐败现象，使经济变得更加高效，增长速度更快，最终让所有人受益。

让人们的目标与工作脱节

工作带给人们的不只是金钱。伏尔泰在1759年写道：“工作驱扫了人类的三种邪恶根源：无聊、不道德行为和贪婪。”同样地，给人们发放收入并不足以保证他们就能活得很好。罗马帝国为了让人民满意，不仅向他们提供面包，还建起了马戏团。有一位圣人曾强调过非物质需求的重要性：“人活着不只是为了吃饭。”那么，在金钱之外，工作还给我们带来了哪些有价值的东西呢？如果工作消失了，社会又将如何弥补？

这些问题的答案十分复杂，因为有人讨厌工作，也有人热爱工作。此外，许多孩子、学生和家庭主妇也没有工作，但他们照样生活得不亦乐乎。同时，历史上充满了各种被宠坏的王公贵族因无聊和抑郁而精神崩溃的故事。2012年，一项综合了多个研究的分析表明，失业会对幸福造成长期的负面影响，而退休则利弊兼有^[48]。正在发展的积极心理学研究发现了一些能促进人们幸福感和目标感的因素，并发现一些工作能提供许多这样的因素，比如：^[49]

◦　朋友和同事的社交网络；

◦　健康和善良的生活方式；

◦　尊敬，自尊，自我效能，还要有一种叫作“心流”⁽³⁶⁾的心理状态，也就是在做自己擅长的事情时获得的愉悦感；

◦　被别人需要和与众不同的感觉；

◦　当你感觉自己属于和服务于某些比个人更宏大的事物时，所获得的意义感。

这为职业乐观主义者提供了理由，因为所有这些因素都可以在工作之外获得，比如，通过运动和兴趣爱好获得，还可以通过与家人、朋友、团队、俱乐部、社区团体、同学、人道主义组织和其他组织相处而获得。因此，为了创造出一个繁荣昌盛而不是自我毁灭的低就业社会，我们必须搞明白，如何才能促进这些产生幸福感的活动的发展。这个问题的解决不仅需要科学家和经济学家的努力，还需要心理学家、社会学家和教育者的参与。只要我们认真对待为全人类创造幸福的项目（项目的部分资金可能来源于未来人工智能创造出来的财富），那么，社会肯定能变得前所未有的繁荣，至少应当让每个人都像获得了梦寐以求的工作那样快乐。只要你打破了“每个人的活动都必须创造收入”这个束缚，那未来就有无限的可能。

人类水平的智能

在这一章，我们已经讨论了，只要我们未雨绸缪，防患于未然，人工智能就可能在不远的未来极大地改善我们的生活水平。那么，从长期来看，人工智能的发展会如何呢？人工智能的进步会不会最终因为某些不可跨越的桎梏而停滞下来？人工智能研究者最终能否成功实现他们的最初目标，创造出人类水平的通用人工智能？在第2章，我们已经了解到，物理定律允许一团合宜的物质具备记忆、计算和学习的能力，也了解了物理定律并不阻止这些物质具备这些能力，并发展出比人脑更高的智能。我们人类能否成功建造出这种超人类水平的通用人工智能？如果能，何时能创造出来？这些问题正变得越来越模糊。从第1章的内容可知，我们还不知道答案，因为世界顶级人工智能专家都各执一词。大部分专家预计，这将会在几十年到100年内实现，还有一些人认为这永远不会发生。这很难预测，因为当你探索一片处女地时，你并不知道你和目的地之间隔着几座山峰，只能看见最近的那座山，只有当你爬上去，才看得见下一个横在面前的障碍物。

最先会发生什么事呢？即便我们知道如何用今天的计算机硬件制造出人类水平的通用人工智能，我们依然需要足够的硬件，来提供所需的计算能力。那么，如果以第2章中所说的FLOPS（浮点运算次数）⁽³⁷⁾来衡量的话，人类大脑具备什么样的计算能力呢？这个问题既好玩又棘手，其答案极大程度上取决于我们如何问这个问题，比如：

◦　问题1：要模拟大脑，需要多少次FLOPS？

◦　问题2：人类智能需要多少次FLOPS？

◦　问题3：人类大脑能执行多少次FLOPS？

关于问题1的答案，已经发表了许多相关的论文。它们给出的答案大概在100个每秒千万亿次FLOPS，也就是10¹⁷次FLOPS^[50]。这差不多相当于2017年全世界运行最快的超级计算机——价值3亿美元的“神威·太湖之光超级计算机”（如图3-7所示）的计算能力。就算我们知道如何用神威·太湖之光超级计算机来模拟一个技术精湛的劳动者的大脑，但如果我们不能把租用它的成本降到该劳动者的时薪之下，就根本无法盈利。甚至于，我们可能会花费得更多，因为许多科学家相信，要精确复制大脑的智能，光有数学简化的神经网络（就像第2章所说的那种神经网络）是行不通的。或许，我们需要在单个分子甚至亚原子粒子的层面上进行模拟，如果是这样，那所需的FLOPS就要高得多。

图3-7　神威·太湖之光超级计算机

注：神威·太湖之光超级计算机是2017年全世界运行最快的超级计算机，它的计算能力可能已经超过了人类大脑。

问题3的答案更简单一些：我不擅长计算19位数的乘法，即使用纸笔来演算，也要花好几分钟的时间。这样一算，我的FLOPS低于0.01次，比问题1的答案少了19个数量级！造成这种巨大差距的原因是，大脑和超级计算机都被优化来完成极端困难的任务。在下面这两个问题上，我们可以看到同样的差距：

◦　一台拖拉机如何才能完成F1赛车的工作？

◦　一辆F1赛车如何才能完成一台拖拉机的工作？

如果我们想要预测人工智能的未来，需要回答哪一个问题呢？都不需要！如果我们想要模拟人类的大脑，就需要关心刚才提出的3个问题中的问题1；但是，要建造人类水平的通用人工智能，就应该重点关注问题2。人工智能的未来会是什么样的，没人知道它的答案，但是，无论我们是选用软件来适应今天的计算机，还是建造更像大脑的硬件⁽³⁸⁾，都比模拟大脑便宜得多。

为了评估答案^[51]，汉斯·莫拉维克对大脑和今天的计算机都能有效完成的一个计算任务进行了一个类比。这个任务就是：人类视网膜在将处理结果经视神经传输到大脑之前，在人眼球后部进行的某种低级图像处理任务。莫拉维克发现，想要在一台传统计算机上复制视网膜的这种计算任务，需要大约10亿次FLOPS，而整个大脑所需要的计算量大约是视网膜所需的1万倍（基于体积比和神经元的数量），因此，大脑所需要的计算能力大约为10¹³次FLOPS，差不多相当于2015年一台价值1 000美元的计算机经过优化以后可以达到的能力。

简而言之，没有人能保证我们在有生之年能建造出人类水平的通用人工智能，我们不清楚最后到底能不能建造出来，但也并没有无懈可击的理由说，我们永远无法建造出来。硬件能力不足或者价格太昂贵，都已不再是令人信服的理由。关于架构、算法和软件，我们不知道终点在哪里，但当前的进步是迅速的，并且，全球各地的天才人工智能研究者组成了一个正在迅猛发展的共同体。他们正在逐渐解决各种挑战。换句话说，我们不能对“通用人工智能最终会到达甚至超过人类水平”这种可能性视而不见，认为它绝不可能发生。下一章，就让我们来探索一下这种可能性吧，看看它会将我们引向何方！

本章要点

◦　人工智能的短期进步可能会在许多方面极大地改善我们的生活，比如，让我们的个人生活、电力网络和金融市场更加有效，还能用无人驾驶汽车、手术机器人和人工智能诊断系统来挽救生命。

◦　如果我们要允许人工智能来控制真实世界中的系统，就必须学着让人工智能变得更加稳健，让它听从命令，这非常重要。说到底，要做到这一点，就必须解决与验证、确认、安全和控制有关的一些棘手的技术问题。

◦　人工智能控制的自动化武器系统也迫切需要提升人工智能的稳健性，因为这种系统的风险太高了。

◦　许多顶级人工智能研究者和机器人学家都呼吁签署一份国际条约来限制某些自动化武器的使用，以避免出现失控的军备竞赛，因为这样的军备竞赛可能会带来人人唾手可得（只要你有钱，又别有用心）的暗杀机器。

◦　如果我们能弄明白如何让机器人法官做到透明化和无偏见，人工智能就能让我们的法律系统更加公正高效。

◦　为了跟上人工智能的发展，我们的法律必须不断快速更新，因为人工智能在隐私、责任和监管方面提出了很多棘手的法律问题。

◦　在人工智能把人类完全取代之前的很长一段时间里，它们可能会先在劳动力市场上逐渐取代我们。

◦　人工智能取代人类的工作不一定是一件坏事，只要社会能将人工智能创造出来的一部分财富重新分配给社会，让每个人的生活变得更好。许多经济学家认为，如若不然，就会极大加剧不公平的现象。

◦　只要未雨绸缪、提前计划，即使社会的就业率很低，也能实现繁荣昌盛，这不仅体现在经济上，还体现在人们能从工作以外的其他地方获得生活的目标上。

◦　给今天的孩子们的就业建议：进入那些机器不擅长的领域，这些领域需要与人打交道，具有不可预见性，需要创造力。

◦　有一个不容忽视的可能性是：通用人工智能会持续进步，直到达到甚至超过人类水平。我们将在下一章探讨这个问题！