在探索了智能、目标和意义的起源与命运之后，我亲爱的读者，我们终于走到了这本书的最后篇章。那么，我们应该如何将这些思想转化为行动呢？做哪些具体的事情，才能创造出一个最好的未来？这正是我此时此刻扪心自问的问题。此时是2017年1月9日，我们刚刚在阿西洛马组织了一场关于人工智能的会议，而我正坐在从旧金山返回波士顿的飞机舷窗前。请允许我在本书的结尾向你分享一些自己的想法。

我的妻子梅亚正坐在我身边小睡，她为准备和组织这场会议度过了若干个不眠之夜。这是多么疯狂的一周！我们设法将本书中提到的几乎所有人都聚集在一起，参加我在书里提到过的波多黎各之后的后续会议。这些人包括埃隆·马斯克和拉里·佩奇这样的企业家，来自学术界和DeepMind、苹果、IBM、微软和百度这类公司的人工智能研究领袖，还包括经济学家、法律学者、哲学家和其他了不起的思想家（见图9-1）。这场会议的结果超出了我的最高预期。现在，我对生命的未来感到了长时间以来最高程度的乐观。让我在这篇后记中告诉你原因。

呱呱坠地

从我14岁知道核军备竞赛以来，就一直担心我们的技术力量比我们控制它的智慧增长得更快。因此，我决定在我的第一本书《穿越平行宇宙》中用一章的篇幅来讨论这个问题，尽管这本书主要是讲物理学。2014年伊始，我做了一个新年决定——在认真思考我个人能做些什么之前，我不再抱怨任何事情。在那一个月的新书巡回之旅中，我信守诺言，决定成立一家非营利性组织，专注于用技术管理来改善未来生命的境况。

为此，梅亚和我一起做了很多头脑风暴，她坚持说，我们应该起一个积极一些的名字，最好别是什么“厄运与绝望研究所”“让我们担心未来吧研究所”之类的。由于“人类未来研究所”这个名字已经存在了，我们决定使用包罗万象的“未来生命研究所”。2014年1月22日，新书巡回来到了圣克鲁兹。当加州的夕阳在太平洋上徐徐落下时，我们和老朋友安东尼·阿奎尔共进晚餐，并说服他加入我们的队伍。他是我认识的最有智慧和最理想主义的人之一。十几年以来，他和我一起运营着另外一家非营利性组织（见网站http://fqxi.org）。

接下来的一个星期，我跟着新书巡回来到了伦敦。由于心中总是记挂着人工智能的未来，我找到了DeepMind公司联合创始人丹米斯·哈萨比斯。他慷慨地邀请我参观DeepMind的总部。自两年前的麻省理工学院一叙之后，他们取得的惊人成果，这让我很惊讶。谷歌以6.5亿美元的价格买下了他们的DeepMind公司。哈萨比斯宽敞的办公室里坐满了才气横溢的头脑，他们都追逐着哈萨比斯大胆的目标——解决智能问题，这让我打心眼里相信，成功是可能的。

【加V信：209993658，免费领取电子书】

关注微信公众号:njdy668（名称：奥丁弥米尔）

看到第一时间必回！

奥丁弥米尔：一个提供各种免费电子版书籍的公众号，

总有些书是你一生中不想错过的！

【更多新书公众号首发：njdy668 (名称：奥丁弥米尔)】 class="calibre_2">

图9-1　参加阿西洛马会议的全体人员

注：2017年1月，我们在阿西洛马举行的会议是波多黎各会议的后续会议，本次会议将人工智能及其相关领域的许多研究者聚集在一起。这帮人真的很了不起。后排从左往右分别是：帕特里克·林（Patrick Lin）、丹尼尔·韦尔德（Daniel Weld）、阿里尔·康恩（Ariel Conn）、南希·钱、汤姆·米切尔、雷·库兹韦尔、丹尼尔·杜威、玛格丽特·博登、彼得·诺维格（Peter Norvig）、尼克·海（Nick Hay）、莫舍·瓦尔迪（Moshe Vardi）、斯科特·西斯金德（Scott Siskind）、尼克·波斯特洛姆、弗朗西斯卡·罗西、谢恩·列格、曼纽拉·维罗索（Manuela Veloso）、戴维·马布尔（David Marble）、卡特娅·格蕾丝、伊拉克利·贝里泽（Irakli Beridze）、马蒂·特南鲍姆（Marty Tenenbaum）、吉尔·普拉特（Gill Pratt）、马丁·里斯（Martin Rees）、约舒亚·格林、马特·谢勒（Matt Scherer）、安杰拉·凯恩（Angela Kane）、阿玛拉·安杰莉卡（Amara Angelica）、杰夫·莫尔（Jeff Mohr）、穆斯塔法·苏莱曼、史蒂夫·奥莫亨德罗（Steve Omohundro）、凯特·克劳福德（Kate Crawford）、维塔利克·布特林（Vitalik Buterin）、松尾丰（Yutaka Matsuo）、斯特凡诺·俄曼（Stefano Ermon）、迈克尔·韦尔曼（Michael Wellman）、巴斯·斯托纳布林克（Bas Steunebrink）、文德尔·华莱士、艾伦·达福（Allan Dafoe）、托比·奥德、托马斯·迪特里奇、丹尼尔·卡尼曼（Daniel Kahneman）、达里奥·阿莫德伊（Dario Amodei）、埃里克·德雷克斯勒（Eric Drexler）、托马索·波吉奥、埃里克·施密特（Eric Schmidt）、佩德罗·奥尔特加（Pedro Ortega）、戴维·利克（David Leake）、肖恩·奥黑格尔忒、欧文·埃文斯、扬·塔里安、安卡·德拉甘（Anca Dragan）、肖恩·勒加斯克（Sean Legassick）、托比·沃尔什（Toby Walsh）、彼得·阿萨罗（Peter Asaro）、凯·弗思·巴特菲尔德（Kay Firth·Butterfield）、菲利普·萨贝斯（Philip Sabes）、保罗·梅洛拉（Paul Merolla）、巴尔特·塞尔曼、图克·戴维（Tucker Davey）、雅各布·斯坦哈特、摩西·卢克斯（Moshe Looks）、乔西·特南鲍姆、汤姆·格鲁伯（Tom Gruber）、吴恩达、卡里姆·阿尤布（Kareem Ayoub）、克雷格·卡尔霍恩（Craig Calhoun）、珀西·梁（Percy Liang）、海伦·特纳（Helen Toner）、大卫·查尔默斯、理查德·萨顿、克劳迪娅·帕索斯·费里拉（Claudia Passos·Ferriera）、雅诺什·克拉玛（János Krámar）、威廉·麦卡斯基尔（William MacAskill）、埃利泽·尤德考斯基、布赖恩·齐巴特（Brian Ziebart）、休·普莱斯、卡尔·舒尔曼（Carl Shulman）、尼尔·劳伦斯（Neil Lawrence）、理查德·马拉（Richard Mallah）、尤尔根·施米德胡贝（Jürgen Schmidhuber）、迪利普·乔治、乔纳森·罗思伯格（Jonathan Rothberg）、诺亚·罗思伯格（Noah Rothberg）；前排依次是：安东尼·阿奎尔、索尼娅·萨克斯（Sonia Sachs）、卢卡斯·佩里（Lucas Perry）、乔弗里·萨克斯（Jeffrey Sachs）、文森特·科尼泽（Vincent Conitzer）、史蒂夫·古斯（Steve Goose）、维多利亚·克拉科芙娜、欧文·科顿·巴勒特（Owen Cotton·Barratt）、丹妮拉·鲁斯（Daniela Rus）、迪伦·哈德菲尔德·梅内尔（Dylan Hadfield·Menell）、维里蒂·哈丁（Verity Harding）、希冯·齐利斯（Shivon Zilis）、劳伦特·奥索（Laurent Orseau）、拉玛纳·库马尔（Ramana Kumar）、纳特·索尔斯、安德鲁·麦卡菲、杰克·克拉克、安娜·萨拉蒙（Anna Salamon）、欧阳隆（Long Ouyang）、安德鲁·克里奇（Andrew Critch）、保罗·克里斯蒂亚诺（Paul Christiano）、约舒亚·本吉奥、戴维·桑福德（David Sanford）、凯瑟琳·奥尔森（Catherine Olsson）、杰西卡·泰勒（Jessica Taylor）、玛蒂娜·孔茨（Martina Kunz）、克里斯汀·索里森（Kristinn Thorisson）、斯图尔特·阿姆斯特朗、扬·勒丘恩（Yann LeCun）、亚历山大·塔马斯（Alexander Tamas）、罗曼·亚姆波尔斯基（Roman Yampolskiy）、马林·索里亚彻克（Marin Soljačić）、劳伦斯·克劳斯（Lawrence Krauss）、斯图尔特·罗素、埃里克·布莱恩约弗森、瑞安·卡洛、薛晓岚（ShaoLan Hsueh）、梅亚·奇塔·泰格马克、肯特·沃克、希瑟·罗夫、梅雷迪思·惠特克（Meredith Whittaker）、迈克斯·泰格马克、阿德里安·韦勒、乔斯·埃尔南德斯·奥拉罗（Jose Hernandez·Orallo）、安德鲁·梅纳德（Andrew Maynard）、约翰·赫林（John Hering）、艾布拉姆·德姆斯基（Abram Demski）、尼古拉斯·伯格鲁恩（Nicolas Berggruen）、格雷戈里·邦尼特（Gregory Bonnet）、山姆·哈里斯、蒂姆·黄（Tim Hwang）、安德鲁·斯奈德·贝蒂（Andrew Snyder·Beattie）、玛尔塔·哈利娜（Marta Halina）、塞巴斯蒂安·法夸尔（Sebastian Farquhar）、斯蒂芬·凯夫（Stephen Cave）、简·莱克（Jan Leike）、塔莎·麦考利（Tasha McCauley）、约瑟夫·戈登·莱维特（Joseph Gordon·Levitt）；后来抵达的人有：古鲁达斯·巴纳瓦尔（Guruduth Banavar）、丹米斯·哈萨比斯、拉奥·卡姆巴哈帕蒂（Rao Kambhampati）、埃隆·马斯克、拉里·佩奇、安东尼·罗梅罗（Anthony Romero）。

第二天晚上，我和朋友扬·塔里安在Skype上通了一次话——这个软件的创造中有他的一份力量。我向他解释了未来生命研究所的愿景。一小时之后，塔里安决定每年给我们捐赠10万美元的经费。没有什么比获得超过我应得的信任更让我感动的了。一年之后，在我第1章中提到过的波多黎各会议上，他开玩笑说，这是他做过的最好的一笔投资。这对我来说简直意味着整个世界。

第二天，我的出版商给我留出了一点自由时间，于是我拜访了位于伦敦南肯辛顿区的英国科学博物馆。在长时间沉迷于智能的过去与未来之后，突然觉得我正行走在自己思维的物质体现中。这家博物馆组织了一场代表人类知识增长的精彩展览，从史蒂文森的“火箭号”机车到福特T型车、真实大小的“阿波罗11号”月球车复制品，还有各式各样的计算机，最早从巴贝奇设计的差分机一直到现代的计算机硬件。这家博物馆还有一个展览，是关于智能的历史的，从意大利物理学家路易吉·加尔瓦尼（Luigi Galvani）的青蛙腿实验到神经元、脑电图和功能性磁共振成像。

我这个人平常很少哭，但在走出博物馆时，我哭了，就在熙熙攘攘的隧道里。人们步履匆匆，前往南肯辛顿地铁站。这些人过着幸福的生活，完全不知道我脑中在想什么。此时回旋在我脑海中的是，首先，人类发现了如何用机器来复制一些自然过程，由此创造出了人造的风、闪电和机械马力。慢慢地，人类开始意识到自己的身体也是机器。接着就发现了神经细胞，这个发现模糊了身体与心智的界限。然后，人类开始建造比我们的肌肉更加强壮、比我们的大脑更加聪明的机器。那么，在发现自我的同时，我们是否也不可避免地淘汰了自己？如果是的话，那简直太悲剧了。

这个想法让我感到害怕，但也增强了我践行新年决定的决心。我觉得，未来生命研究所创始团队还需要一个能带领一群理想主义的年轻志愿者的人物才算完整。最合乎逻辑的选择就是哈佛大学杰出学生维多利亚·克拉科芙娜（Viktoriya Krakovna）。她不仅赢得了国际奥数竞赛银奖，而且还创办了Citadel。Citadel是一所房子，供十几个想要在人生和世界中扮演更大角色的理想主义年轻人使用。梅亚和我邀请她5天后到我家吃饭（如图9-2所示），并告诉她我们的愿景。那一天，我们桌上的寿司还没吃完，未来生命研究所就诞生了。

图9-2　未来生命研究所诞生之日

注：2014年5月23日，扬·塔里安、安东尼·阿奎尔、我自己、梅亚·赤塔-泰格马克和维多利亚·克拉科芙娜在我家吃寿司，以庆祝未来生命研究所的成立。

波多黎各的冒险

波多黎各会议标志着一段精彩冒险的开始。正如我在第1章中提到的那样，我们经常在我家举行头脑风暴般的会议，与数十名理想主义的学生、教授和其他本地思想家一起，把评价最高的想法转化为实际的项目。第一个项目就是第1章中提到的与史蒂芬·霍金、斯图尔特·罗素、弗兰克·韦尔切克共同撰写的专题文章，旨在引发公众讨论。在建设未来生命研究所这个新组织（比如整合和招募顾问委员会以及发布网站）的同时，我们在麻省理工学院的礼堂前举行了一个有趣的发布会。在那里，艾伦·艾尔达（Alan Alda）等顶级专家探讨了技术的未来。

我们把那一年剩下的时间都用来组织波多黎各会议上。正如我在第1章中提到的那样，这个会议的目的是让世界顶级人工智能研究者参与到“如何保证人工智能对人类有益”的讨论中来。我们的目标是把人们对人工智能安全性的担忧转化为实际行动：从争论我们应不应该担心，到同意开展一些具体的研究项目，以获得尽可能好的结果。为了做好充分准备，我们收集了来自世界各地的关于人工智能安全性研究的点子，并邀请学术界对我们不断扩大的项目名单提出反馈和意见。在斯图尔特·罗素和一群勤劳的年轻志愿者，特别是丹尼尔·杜威、亚诺思·克拉马尔和理查德·马拉的帮助下，我们从这些研究项目中提炼出了一个文件，供大会讨论^[1]。我们希望让人们意识到值得做的人工智能安全性研究有很多，并鼓励人们实际开展这些研究。我们的最终目标是，说服某些人来资助这些项目，因为到目前为止，政府在这方面几乎没有任何投入。

这时，埃隆·马斯克闪亮登场了。2014年8月2日，他进入了我们的搜寻雷达，因为他发布了一条著名的推特：“尼克·波斯特洛姆的《超级智能》值得一读。我们需要对人工智能保持谨慎。它们可能比核武器还要危险。”于是，我联系上了他，并向他介绍了我们的愿景。几个星期后，我和他通了一次电话。虽然当时我就像见到大明星一样感到非常紧张，但成果是毋庸置疑的：他同意加入未来生命研究所的科学顾问委员会，出席我们的会议，并可能资助即将在波多黎各会议上宣布的第一个人工智能安全性研究项目。这给我们的未来生命研究所团队打了一剂强心针，让我们更有动力加倍努力地组织一场精彩的会议，确定有前景的研究课题，并为其收集来自学术界的支持。

两个月后，马斯克来到麻省理工学院参加空间研讨会时，我终于有机会与他见面，商讨进一步的规划。当时，他就像摇滚明星一样，被1 000多名麻省理工学院的学生簇拥着；而片刻之后，我和他单独待在一间绿色的小房间里，这感觉十分奇特。但是几分钟后，我满脑子就只剩下我们的合作项目。我很快对他产生了好感。他浑身散发着真诚的态度，十分关心人类的长期未来，并大胆地将自己的愿望变为行动，这让我深受启发。马斯克希望人类能够探索宇宙，并在其中安居乐业，所以他创办了太空探索技术公司（SpaceX）；他想要可持续发展的能源，所以创办了一家太阳能公司和一家电动汽车公司。马斯克身材高大、英俊潇洒、知识渊博，很容易理解为什么人们愿意倾听他的见解。

不幸的是，这次麻省理工学院的活动也让我意识到媒体是可以多么的危言耸听、哗众取宠和四分五裂。马斯克在台上讲了一个小时关于太空探索的迷人话题，我认为这完全可以编辑成一档精彩的电视节目。最后，一个学生问了他一个关于人工智能的问题——这个问题其实与当天的话题无关。马斯克在回答中讲了“开发人工智能可能会召唤出恶魔”这么一句话，结果这成为当天大多数媒体报道的唯一事情。他们断章取义，揪着这句话不放。令我感到震惊的是，许多记者的报道与我们想在波多黎各完成的宗旨背道而驰，我们想通过强调共同点来构建社区共识，而媒体却想强调个中分歧。他们报道的争议越多，他们的尼尔森收视率和广告收入就越高。而且，我们希望让各界人士聚在一起，增进理解，而媒体报道却有意无意地引用了许多断章取义的话，加剧了人们对持异议者的不满，造成了误解。出于这个原因，我们禁止记者参加波多黎各会议，并实施“查塔姆大厦规则”（Chatham House Rule），也就是禁止与会者向外界透露会上谁说了什么⁽⁷⁷⁾。

虽然我们的波多黎各会议最终取得了成功，但成功来之不易。在最后一段时间里，我们做了大量辛勤的准备工作。比如，我必须打电话或用Skype联系大量的人工智能研究者，好组成一个重量级的参会团队，才能吸引来更多参与者。还有一些戏剧性的时刻，比如，2014年12月27日上午7点，我接到埃隆·马斯克从乌拉圭打来的电话。这个电话的通话质量十分糟糕。他说：“我认为这行不通。”他担心人工智能安全性研究计划可能会给人们带来错误的安全感，让那些不计后果的研究者误以为只需动动嘴皮子、聊聊人工智能的安全性就万事大吉了。虽然通话质量不断变糟，但我们还是充分讨论了将该话题纳入主流视野、促使更多人工智能研究者从事人工智能安全性工作的好处。通话结束后，马斯克给我发来了一封电子邮件，堪称我这辈子最爱的邮件之一：“刚才没信号了。无论如何，文档看起来不错。我很愿意在3年内为这个研究资助500万美元。或许，1 000万美元？”

4天后，2015年为我和梅亚开了一个好头——我们在会议前来了一次短暂的放松，在波多黎各的海滩上跳舞，看烟花照亮天空。会议也取得了一个良好的开端：人们普遍认为，需要开展更多的人工智能安全性研究。基于与会者的进一步讨论，我们之前精炼的研究重点文件得到了完善和落实。我们传阅了第1章中提到的人工智能安全性研究公开信，很高兴几乎每个人都签了字。

我和梅亚在酒店的房间里与埃隆·马斯克进行了一次神奇的会谈。他称赞了我们对资助项目的详细计划。梅亚感动于马斯克朴实坦率的个人生活以及他对我们的极大兴趣。他问我们是如何认识的，他很喜欢梅亚讲述的详细故事。第二天，我们为他拍摄了一个关于人工智能安全性问题以及他为什么支持人工智能安全性研究的采访视频^[2]。一切似乎都走上了正轨。

会议的高潮是马斯克发布捐款声明，计划于2015年1月4日晚上7点举行。那是一个星期天。我感到非常紧张，以至于前一天晚上几乎睡不着觉。然而，在我们出发前往会议的15分钟之前遇到了麻烦！马斯克的助理打电话来说，他可能无法参加这个活动。梅亚说，她从没见过我如此紧张和失望。好在，就在活动开始的几秒前，马斯克终于赶来了。他解释说，两天后SpaceX要进行一次重要的火箭发射，他们希望让第一级火箭着陆在一艘遥控船上。如果成功，这将是人类有史以来的第一次。由于这将是一个重大的里程碑，SpaceX团队不希望有其他事情来分散马斯克的媒体关注度。安东尼·阿奎尔一如既往的冷静和清醒，他指出，这意味着没有人想要媒体关注我们的会议，马斯克不想要，我们也不想要。活动推迟了几分钟开始，但我们制订了一个新计划：我们不打算提到捐赠的数额，这样媒体就会认为我们宣布的消息不值得关注，而且我会监督“查塔姆大厦规则”的执行，确保所有人都保守秘密，让大家在长达9天的时间里不泄露关于马斯克捐款声明的任何消息。之所以是9天，是因为9天后，他的火箭将到达太空站（无论着陆是否成功）；他说，如果火箭发射时发生了爆炸，他可能还需要比9天更多的时间。

倒计时终于归零，活动开始。我主持的超级智能小组成员仍然坐在我旁边的椅子上，他们是：埃利泽·尤德考斯基、埃隆·马斯克、尼克·波斯特洛姆、理查德·马拉、默里·沙纳汉、巴尔特·塞尔曼、谢恩·列格和弗诺·文奇。人们的掌声逐渐平息，但小组成员仍然坐在那里，因为是我让他们留下的，他们不知道我葫芦里卖的什么药。梅亚后来告诉我，当时她的脉搏跳到了最快。她在桌子下面紧紧抓着维多利亚·克拉科芙娜平静的手。我笑了。我知道，这是我们努力已久、期盼已久、等待已久的时刻。在会议上我说道：

很高兴大家在“保证人工智能有益于人类，我们需要进行更多研究”上达成了共识，并且，我们也讨论出了许多马上就可以着手开展的具体研究方向。不过，既然我们已经在会议上谈到了严重的风险问题，那么，在大家出发到外面的酒吧和露天晚宴之前，最好先振奋一下精神，保持乐观的情绪。现在，我们把话筒交给埃隆·马斯克！

当马斯克拿着麦克风宣布他将捐出大量资金用于人工智能安全性研究时，我感到历史正在改变。不出所料，他博得满堂喝彩。按照计划，他并没有提到金额的多少，但我知道是说好的1 000万美元。实在太炫酷了！

会议结束之后，梅亚和我去瑞典和罗马尼亚分别拜访了我们的父母。在斯德哥尔摩，我们和我的父亲一起屏着呼吸观看了火箭发射直播。不幸的是，火箭着陆失败，终结于被马斯克委婉称为“RUD”的状态，这是“意外快速解体”（rapid unscheduled disassembly）的简写。又过了15个月，马斯克带领的团队终于成功实现了海上着陆。^[3]他们的所有卫星都成功进入了轨道，我们的资助计划也一样。马斯克在社交平台上向他的几百万粉丝宣布了这一消息。

让人工智能安全性研究进入主流

波多黎各会议的一个重要目标是让人工智能的安全性研究进入主流。看到这个目标逐步实现，我十分振奋。第一步是会议本身。一旦研究者意识到他们的社群正在增长，就会开始喜欢讨论这个话题。很多参会者的鼓励让我深受感动。例如，康奈尔大学人工智能教授巴尔特·塞尔曼给我发电子邮件说：“我从未见过比你们组织得更好、更激动人心、更启发人智慧的科学会议。”

第二个主要步骤开始于2015年1月11日，当时马斯克在推特上发布“世界顶级人工智能开发者签署了致力于人工智能安全性研究的公开信”，并链接到一个注册页面。该页面很快就收集了8 000多个签名，其中包括许多享誉全球的人工智能开发者。突然之间，那些爱说“担心人工智能的安全的人不知道自己在说什么”的人很难开口了，因为这意味着他们在说，世界上最牛的人工智能研究者也不知道自己在说什么，这显然不切实际。世界各地的媒体都报道了这封公开信，但他们报道的方式让我们觉得，禁止记者参加会议是一个明智的决定。虽然信中最危言耸听的词语不过是“陷阱”，但却引发了诸如“埃隆·马斯克和斯蒂芬·霍金签署公开信，以预防机器人起义”这样的头条新闻，并配上了终结者的照片。在我们看过的数百篇文章中，我们最喜欢的一篇文章嘲讽地写道：“这个标题令人联想到机器人脚踩人类头骨的场景，将复杂和变革的技术变成了一场狂欢派对。^[4]”幸运的是，也存在许多清醒的新闻文章，但它们给我们带来了另一个挑战，那就是如何对不断涌来的新签名进行手动验证，以保护我们的信誉，并除掉恶作剧签名，比如“HAL 9000”“终结者”“莎拉·珍妮特·康纳“和“天网”。为此，也为了今后的公开信，维多利亚·克拉科芙娜和亚诺思·克拉马尔组织了一个轮班制的志愿团队来检查签名。这个团队包括杰西·加莱夫、埃里克·佳斯特弗莱德和雷瓦蒂·库马尔，当身在印度的库马尔准备睡觉时，她就会把接力棒传递给身在波士顿的佳斯特弗莱德，然后再继续传递下去。

第三个主要步骤开始于4天后，当时马斯克在推特上发布了我们宣布他捐赠1 000万美元用于人工智能安全性研究的链接。一周之后，我们推出了一个在线通道，世界各地的研究者可以通过这个通道申请并竞争这笔资金。我们能如此迅速地推出申请系统，要多亏阿圭尔和我在过去的10年中一直运营类似的物理奖学金竞赛。位于加州的开放慈善项目（Open Philanthropy Project）通常聚焦于高影响力的捐赠，他们在马斯克的捐赠基础上又慷慨地加了一些，让我们能为研究者提供更多资金。我们不确定会有多少申请者，因为这个话题很新，截止日也没剩几天了。结果让我们震惊了——全世界大约有300个团队申请，总资金需求量大约1亿美元。一个由人工智能教授等研究人员组成的小组仔细审查了这些提案，并选出了37个获奖团队，资助他们3年的资金。当我们宣布获奖名单时，媒体对我们的报道产生了微妙的变化，再也没有终结者的照片。有志者，事竟成。人工智能安全性研究终于不再是空谈，而是有许多实际有用的工作要做。并且，许多优秀的研究团队纷纷卷起袖子加入进来。

第四个主要步骤是一个有机的过程，发生在接下来的两年里。全球范围内出现了大量技术出版物，还有几十个关于人工智能安全的研讨会，通常是作为主流人工智能会议的一部分。为了让人工智能社区参与到安全性研究中来，许多人已经坚持了许多年，但成功的次数寥寥无几。然而现在，事情真正起飞了。这些出版物中有许多是由我们的项目资助的。在未来生命研究所，我们尽自己最大的努力来帮助组织和资助尽可能多的研讨会，但我们看到，由人工智能研究者投入自己的时间和资源组织的会议占了越来越大的部分。因此，有越来越多的研究者从同行那里了解了人工智能安全性研究，并发现这些研究不仅有用，还可能很好玩，涉及有趣的数学和计算问题，够他们思考好一会儿了。

当然，并不是每个人都觉得复杂的方程很好玩。在波多黎各会议的两年之后，阿西洛马会议之前，我们还举办了一个技术研讨会。在会上，未来生命研究所资金的获奖者展示了他们的研究，大屏幕上的幻灯片里写满了数学符号。莱斯大学的人工智能教授摩西·瓦尔迪开玩笑说，他知道，一旦开会变成一件无聊的事，我们就成功地将人工智能安全性研究搞成了一个正式的研究领域。

人工智能安全性工作的迅速发展并不局限于学术界。亚马逊、DeepMind、Facebook、谷歌、IBM和微软发起了一个“人工智能有益运动”的行业伙伴关系^[5]。我们最大的非营利性姊妹机构包括加州大学伯克利分校的机器智能研究所、牛津大学的人类未来研究所和剑桥大学的存在风险研究中心（Centre for the Study of Existential Risk）。由于在人工智能安全性研究方面获得了大额的新捐赠，这些机构得以扩展它们的研究。此外，还有一些别的“人工智能有益运动”项目也因获得了1 000万美元（或者更多）捐助而启动了，包括剑桥大学莱弗休姆智能未来中心（Leverhulme Centre for the Future of Intelligence）、位于匹兹堡的高盖茨伦理与计算技术基金会（K&L Gates Endowment for Ethics and Computational Technologies）以及位于迈阿密的人工智能伦理与管理基金会（Ethics and Governance of Artificial Intelligence Fund）。最后，还有一件同样重要的事——埃隆·马斯克等企业家耗资10亿美元在旧金山开办了一家非营利性公司OpenAI。人工智能安全性研究就此成型。

随着这一波研究的兴起，一大批个人意见和集体意见不断涌现。人工智能行业的合作伙伴关系发布了它的创始原则；美国政府、斯坦福大学和电气与电子工程师协会（简称IEEE，世界上最大的技术专家组织）都发表了长篇报告和建议；除此之外还有几十份报告和意见书^[6]。

我们希望促进阿西洛马会议与会者之间有意义的讨论，并希望了解这个多元化的社区到底有哪些共识。因此，卢卡斯·佩里承担了一项很重要的任务——阅读我们找到的所有文件，并提取出其中所有的观点。阿奎尔发起了一项马拉松式项目，在这个项目中，未来生命研究所团队召开了一系列长时间的电话会议，尝试将相似的意见集中在一起，删除冗长的官僚辞令，最后整理出一个简洁的原则列表，其中包括一些没有正式发表但拥有一定的影响力，并在某些非正式场合发表过的意见。不过，这个列表中有很多模糊和矛盾的地方，需要进一步解释。所以，在会议的一个月前，我们向参会者分享了这份列表，收集了他们的观点和修改意见，以及一些更新颖的原则。来自社群的投入极大改进了这份原则列表，最终成形，供会议使用。

图9-3　一桌伟大的思想家正在阿西洛马思考有关人工智能的原则

这个集体努力的过程既费时又费力。在会议中，阿奎尔、梅亚和我都缩短了睡眠和午餐时间，争取尽早准备好下一步骤所需的所有内容。但这也令人兴奋。经过如此详细、棘手、时而争吵的讨论和如此广泛的反馈，我们惊喜地看到在最后的调研中，围绕许多原则涌现出了高度的共识，有些原则甚至获得了97%以上的支持率。这促使我们为最终列表设定了一个很高的标准：我们只保留至少90%参会者同意的原则。这意味着一些时髦的原则在最后时刻被摒弃了，包括我个人最喜欢的一些原则^[7]。然而，这能让大多数参与者感到满意，愿意签名以表示支持。以下是结果。

阿西洛马人工智能原则

人工智能已经向全世界的人们提供了日常使用的有益工具。如果以下列原则为指导继续发展下去，我们将有惊人的机会帮助未来数十年甚至数百年后的人类，并赋予他们力量。

研究问题

1．研究目标：人工智能研究的目标应该是创造有益的智能，而不是没有方向的智能。

2．研究经费：在对人工智能的投资中，应该留出一部分资金来研究如何确保它的应用对人类有益，包括计算机科学、经济学、法律、伦理和社会研究中的棘手问题，例如：

a）如何让未来的人工智能系统具备高度的稳健性，好让它们按我们的要求运行，而不会出现故障或被黑客攻入？

b）如何通过自动化来实现繁荣发展，同时保留人类的资源和目标？

c）如何升级法律系统，使其更加公正有效，以跟上人工智能的发展，并管理人工智能带来的风险？

d）人工智能应该符合怎样的价值体系，以及它应该拥有怎样的法律和伦理地位？

3．科学与政策的联系：在人工智能研究者和政策制定者之间应该存在具有建设性的健康的信息交流。

4．研究文化：应该在人工智能研究者与开发者之中建立一种合作、信任和透明的文化。

5．避免竞争：开发人工智能系统的团队应该积极合作，避免在安全标准上偷工减料。

伦理与价值

6．安全：人工智能系统在它的整个运营寿命中应该是安全可靠的，并且，其安全性在其适用和可行之处必须是可验证的。

7．故障透明度：如果人工智能系统造成了危害，必须有方法查明原因。

8．公平透明度：自动化系统参与的任何法律决策都应该提供令人满意的解释，并且，这些解释能通过具有一定资质的权威人士的审计。

9．责任：先进人工智能系统的设计者和建造者是其使用、误用和行为的道德后果的利益相关者，肩负着承担这些后果的责任，也拥有承担这些后果的机会。

10．价值定位：高度自主的人工智能系统的设计应该保证它们的目标和行为在其运营寿命中与人类价值观相一致。

11．人类价值：人工智能系统的设计和运营应该符合人类尊严、权利、自由和文化多样性的理想。

12．个人隐私：在给予人工智能分析和使用人类数据的权利时，人类也应该有权利访问、管理和控制自己产生的这些数据。

13．自由与隐私：人工智能对个人数据方面的应用不应该不合理地剥夺人们的自由，包括真实的自由和感觉到的自由。

14．共享利益：人工智能技术应该惠及和赋予尽可能多的人口。

15．共同富裕：人工智能创造的经济效益应该被广泛分享，惠及所有人。

16．人类控制：人类应该决定要不要赋予人工智能决策权以及如何赋予它们决策权，以完成人类的目标。

17．非颠覆：由于控制了高度先进的人工智能系统而获得的权力应该尊重和改进健康社会所依赖的社会与公民程序，而不应该起到颠覆的反作用。

18．人工智能军备竞赛：应该避免开发致命自动化武器的军备竞赛。

长期问题

19．能力警惕：由于还未达成共识，我们应该避免在未来人工智能的能力上限方面做出强假设。

20．重要性：先进的人工智能可能为地球生命的历史带来深远的改变，应该用相应的谨慎和资源进行计划和管理。

21．风险：人工智能系统带来了一些风险，尤其可能带来灾难性的后果以及危及人类存在的风险，我们应该投入与这些风险的预期影响相称的努力，以缓解后果。

22．迭代式自我改进：设计出来迭代式自我改进或自我复制的人工智能系统，如果可能导致质量或数量的快速增长，那应该对其安全性和可控性进行严格的评估。

23．公共利益：超级智能只应该被开发以服务于广泛认同的伦理理念和全人类的利益，而不是服务于单个国家或组织的利益。

我们把这份原则发布在网上后，签名人数急剧增加。到现在，已经涵盖了超过1 000名人工智能研究者和许多顶级思想家。如果你也想加入，成为签名者，你可以访问这个网址：http://futureoflife.org/AI-principles。

令我们震惊的，不仅是这些原则获得了很多共识，还因为它们本身的力度就很强。诚然，其中一些原则乍一看就像“和平、爱和母性是有价值的”这种话，看起来似乎毫无争议，但却暗藏机关，只要设想一些与之违背的陈述，就很容易看出来。例如，“超级智能是不可能的”违反了第19条，“减少人工智能存在风险的研究完全是浪费”违反了第21条。你可以观看我们关于长期影响的小组讨论视频^[8]，在那里你可以看到，埃隆·马斯克、斯图尔特·罗素、雷·库兹韦尔、丹米斯·哈萨比斯、山姆·哈里斯、尼克·波斯特洛姆、戴维·查尔默斯、巴尔特·塞尔曼、扬·塔里安这些人都同意超级智能有可能被开发出来。因此，人工智能的安全性研究非常重要。

警觉的乐观

正如我在开头所说，对生命的未来，我从来没有像现在这般乐观。请允许我向你分享我的个人故事，来解释一下为什么。

过去几年的经历因为两个不同的原因提升了我的乐观程度。首先，我亲眼目睹了人工智能界以非凡的方式聚集在一起，并与其他领域的思想家合作，积极应对未来的挑战。埃隆·马斯克在阿西洛马会议后告诉我，他惊讶地发现人工智能的安全性问题在短短几年内，从一个边缘问题进入了主流视野，我自己也感到同样惊喜。现在，不仅第3章中讨论的短期问题成了严肃的话题，甚至连阿西洛马人工智能原则中谈到的超级智能和存在风险也逐渐被越来越多的人讨论。这些原则如果放到两年前的波多黎各会议上，肯定无法通过——那时的那封公开信中最吓人的词也不过是“陷阱”而已。

我喜欢观察人。在阿西洛马会议的最后一天早上，我站在礼堂旁边，看着与会者聆听关于人工智能和法律的讨论。有一股温暖而模糊的感觉掠过我全身，让我非常感动。这与波多黎各会议如此不同！在波多黎各，我记得人工智能界大多数人对人工智能的态度是尊重和恐惧共存——并不是与我们针锋相对，但我和我那些关心人工智能的同事都觉得，这些人尚等待着我们去说服。而现在，我能明显感觉到他们和我们站在同一边了。正如你从本书中看到的那样，我依然不知道如何用人工智能创造美好的未来，所以，能成为这个不断成长的社区的一部分，与他们共同寻找答案，我感觉棒极了。

图9-4　在阿西洛马会议上，寻找答案的人越来越多

我变得更加乐观的第二个原因是，未来生命研究所的经历赋予了我力量。在伦敦催我泪下的是一种面对必然无能为力的感觉：一个令人不安的未来可能即将来临，而我们却无力回天。但接下来的三年时间里，我那忧郁的宿命感逐渐被消解了。如果一个名不见经传的志愿者团队都愿意免费为这个当今最重要的对话做出积极的贡献，那么请想象一下，如果全人类合力，我们将完成多么伟大的壮举！

埃里克·布莱恩约弗森在阿西洛马发表了演讲。在其中，他提到了两种乐观主义。第一种是无条件的乐观，比如，我们乐观地相信太阳明早一定还会出来。第二种是警觉的乐观，也就是说，相信只要计划周全、坚持不懈，就一定会有好的结果。我对未来的感觉，正是这第二种乐观。

那么，随着我们踏进人工智能的时代，你能为生命的未来做出什么积极的贡献呢？我认为，如果你还没准备好，那么第一大步就是努力成为一个警觉的乐观主义者。接下来我将解释一下原因。要成为一个成功的警觉乐观主义者，重要的是要对未来形成一个积极的愿景。每当麻省理工学院的学生来我的办公室咨询就业建议时，我通常会先问他们认为自己10年后会在哪里。如果一个学生回答“我可能会躺在癌症病房里，或者被汽车撞死了，埋在公墓里”，那我会对他毫不客气。只看到悲观的未来对职业规划来说是很糟糕的！诚然，把自己100%的精力都花在避免疾病和意外上，对抑郁症和妄想症患者来说是一个良方，但对幸福却不是。相反，我想听到学生激情四射地描述自己的目标，然后，我们就可以开始讨论要到达那里可能有哪些策略，同时如何避免陷阱。

布莱恩约弗森指出，根据博弈论，积极的愿景构成了世界上所有合作的大部分基础，从婚姻到企业并购，再到美国各州组成一个国家的决定。毕竟，如果不能得到更大的回报，为什么要牺牲一些自己拥有的东西？这意味着，我们不仅要为我们自己，还要为社会和全人类想象一个积极的未来。换句话说，我们需要更多的“存在希望”！虽然梅亚总是提醒我，从《弗兰肯斯坦》到《终结者》，人们在文学和电影作品中对未来的想象大都不甚理想。换句话说，全社会对未来的计划都很糟糕，就像我假想出来的那个麻省理工学院的学生一样。这就是为什么我们需要更多警觉的乐观主义者。这也是为什么我在这本书里一直鼓励你去思考，你想要什么样的未来，而不是你害怕什么样的未来。这样，我们才能找到共同的目标，然后一起努力去实现它。

在这本书里，我们看到了人工智能可能会带来巨大的机会和艰巨的挑战。有一个策略可能对所有人工智能挑战都有用，那就是让我们一起行动，在人工智能完全起飞之前对人类社会进行改善。如果我们教育年轻人，在技术获得巨大的力量之前保证技术是稳健而有益的，那一切就会变得更好。如果我们及时修改法律，让其跟上技术的发展，以免过时，那一切也会变得更好。如果我们能在国际争端升级为自动化武器军备竞赛之前就解决它们，那一切也会变得更好。如果我们能在人工智能加剧不平等现象之前就创造出一个人人富裕的社会，一切也会变得更好。如果在我们的社会中，人工智能安全性研究的成果得以实施，而不是被人忽视，那一切也会变得更好。再看得远一点，看看与超人类通用人工智能有关的挑战。如果我们在教给强大的智能机器基本伦理标准之前，在某些标准上达成了共识，那一切就会变得更好。在一个极端和混乱的世界里，有权有势的人有更大的动机和能力用人工智能来胡作非为，同时，比起彼此合作，争先恐后的通用人工智能开发团队们更有动力在安全性上偷工减料。总而言之，如果我们能创建一个齐心协力追求共同目标的和谐社会，那么，人工智能的变革极有可能会带来皆大欢喜的结果。

换句话说，想要改善生命的未来，最好的方法就是从明天开始做起。你有许多方式可以实现这一点。当然了，你可以用选票告诉代表你的政客，你对教育、隐私、自动化武器、技术性失业等问题的看法。但你每天也在通过其他事情进行投票，比如你买的东西、你阅读的新闻、你分享的信息和你扮演的角色。你是想成为一个打断人们谈话并检查他们手机的人，还是想要计划周全、小心谨慎地使用科技并从中获得力量？你想要拥有你的科技产品，还是被你的科技产品所拥有？你希望在人工智能时代身为一个人类的意义是什么？请和你周围的人讨论这些问题——这个话题不仅很重要，而且引人入胜。

我们就是未来生命的守护者，因为人工智能时代正在由我们塑造。虽然我在伦敦流下了眼泪，但我现在觉得，未来没有什么是必然发生、不可避免的。并且，我知道，要做出改变，比我想象的容易得多。我们的未来并没有镌刻在石头上，只等着发生——它要由我们来创造。让我们一起创造一个振奋人心的未来吧！