注释

    01　欢迎参与我们这个时代最重要的对话

    [1]　让人工智能更强健和有益的公开信：http://futureoflife.org/ai-open-letter/.

    [2]　媒体对机器人危言耸听的报道案例：http://tinyurl.com/hawkingbots.

    02　物质孕育智能

    [1]　关于通用人工智能（AGI）这个词的来源的注解：http://wp.goertzel.org/who-coined-the-term-agi.

    [2]　选自汉斯·莫拉维克于1998年发表的文章《当计算机硬件与人类大脑相媲美时》（When will computer hardware match the human brain）, Journal of Evolution and Technology, vol. 1.

    [3]　在显示每年的计算成本的图片中，2011年以前的数据来自雷·库兹韦尔的书《人工智能的未来》（How to Create a Mind），之后的数据是根据以下参考文献计算出来的：https://en.wikipedia.org/wiki/FLOPS.

    [4]　量子计算先驱戴维·多伊奇在下面这本书中描述了他为什么把量子计算视为平行宇宙的证据：David Deutsch 1997, The fabric of reality, Allen Lane。如果你想了解我对量子平行宇宙的看法（我将其视为四层多重宇宙中的第三层），你可以读一下我的前一本书：《穿越平行宇宙》。

    03　不远的未来：科技大突破、变故、法律、武器和就业

    [1]　DeepMind公司的深度强化学习人工智能教自己玩计算机游戏《打砖块》的视频：https://tinyurl.com/atariai.

    [2]　DeepMind公司的人工智能如何玩雅达利游戏的相关论文：http://tinyurl.com/ataripaper.

    [3]　《纽约时报》关于机器翻译的最新进展的文章：http://www.nytimes.com/2016/12/14/magazine/the-%20great-%20ai-%20awakening.htm.

    [4]　威诺格拉德模式挑战赛：http://tinyurl.com/winogradchallenge.

    [5]　调查委员会提供的“阿丽亚娜5号”501号飞行故障报告：http://tinyurl.com/arianeflop.

    [6]　NASA的火星气候探测器事故调查委员会第一阶段报告：http://tinyurl.com/marsflop.

    [7]　关于“水手1号”金星任务失败事故，最详细一致的分析认为，失败原因是手工抄写时导致一个数学符号错误（丢失了一个上画线）：http://tinyurl.com/marinerflop.

    [8]　苏联的“福波斯1号”火星任务的失败，在这本书的308页有详细描述：Soviet Robots in the Solar System, Wesley Huntress & Mikhail Marov 2011, Praxis Publishing.

    [9]　未经验证的软件如何让骑士资本集团在45分钟内损失了4.4亿美元：http://tinyurl.com/knightflop1和http://tinyurl.com/knightflop2.

    [10]　美国政府对华尔街“闪电崩盘”事故的报告：http://tinyurl.com/flashcrashreport.

    [11]　基于社区的“微观装配实验室”的全球地图：https://www.fablabs.io/map.

    [12]　关于罗伯特·威廉姆斯被工业机器人杀死的新闻文章：http://tinyurl.com/williamsaccident.

    [13]　关于浦田健志被工业机器人杀死的新闻文章：http://tinyurl.com/uradaaccident.

    [14]　大众汽车工人被工业机器人杀死的新闻文章：http://tinyurl.com/baunatalaccident.

    [15]　美国政府对工厂事故的报告：https://www.osha.gov/dep/fatcat/dep_fatcat.html.

    [16]　汽车事故统计数据：http://tinyurl.com/roadsafety2%20and%20http://tinyurl.com/roadsafety3.

    [17]　特斯拉自动驾驶汽车第一起事故的新闻报道：http://tinyurl.com/teslacrashstory；美国政府的报告：http://tinyurl.com/teslacrashreport.

    [18]　一本描述“自由企业先驱号”灾难的书：R. B. Whittingham, The Blame Machine: Why Human Error Causes Accidents, Elsevier 2004.

    [19]　2003年美国和加拿大停电事故的官方报告：http://tinyurl.com/uscanadablackout.

    [20]　三里岛事故调查委员会的最终报告：http://www.threemileisland.org/downloads/188.pdf.

    [21]　荷兰一项研究表明，在对MRI图像进行前列腺癌诊断时，人工智能的表现超过人类放射科医生：http://tinyurl.com/prostate-ai.

    [22]　斯坦福大学的一项研究表明，人工智能在诊断肺癌时的表现比人类病理学家还要好：http://tinyurl.com/lungcancer-ai.

    [23]　Therac-25放疗事故调查：http://tinyurl.com/theracfailure.

    [24]　因用户界面不清楚而导致的放疗设备辐射过量致命事故调查报告：http://tinyurl.com/cobalt60accident.

    [25]　手术机器人操作不良造成的事故的研究：https://arxiv.org/abs/1507.03518.

    [26]　这篇文章描述了糟糕的住院治疗导致的死亡数量：http://tinyurl.com/medaccidents.

    [27]　10亿雅虎账号用户被攻击，为“大规模攻击”制定了新的标准：https://www.wired.com/2016/12/yahoo-hack-billion-users/.

    [28]　《纽约时报》上一篇关于三K党凶手被宣判无罪，后又被定罪的文章：http://tinyurl.com/kkkacquittal.

    [29]　Danziger等人在2011年进行的研究（http://www.pnas.org/content/108/17/6889.full）声称，饥饿的法官会更严厉，但这个研究被Weinshall-Margela & John Shapard批评说是有缺陷的（http://www.pnas.org/content/108/42/E833.full），但Danziger等人坚称他们的结论是有效的：http://www.pnas.org/content/108/42/E834.full.

    [30]　关于累犯预测软件中存在种族偏见的报告：http://tinyurl.com/robojudge.

    [31]　在审讯时使用功能磁共振成像等脑扫描技术获取的数据作为证据，是争议性非常高的，因为人们怀疑这种技术的可靠性，但一些团队声称其准确性高于90%：http://journal.frontiersin.org/article/10.3389/fpsyg.2015.00709/full.

    [32]　PBS拍摄了一部电影《那个拯救世界的男人》（The Man Who Saved the World），描述了瓦西里·阿尔希波夫如何以一人之力避免了苏联的核攻击。

    [33]　斯坦尼斯拉夫·彼得罗夫如何将美国核攻击的警报视为假警报的故事后来被改编为一部电影《那个拯救世界的男人》（The Man Who Saved the World）（不要和前一条注释中的那部电影混淆了，它们虽然名字相同，但是两部不同的电影）。彼得罗夫后来被联合国授予了“世界公民奖”的荣誉。

    [34]　人工智能和机器人学家关于自动化武器的公开信：http://futureoflife.org/open-letter-autonomous-weapons/.

    [35]　一名美国政府官员似乎在警告人工智能军备竞赛：http://tinyurl.com/workquote.

    [36]　牛津赈灾会（Oxfam）关于全球财富不平等状况的报告：http://tinyurl.com/oxfam2017.

    [37]　一项关于美国从1913年以来的财富不平等状况的研究：http://gabriel-zucman.eu/files/SaezZucman2015.pdf.

    [38]　关于技术驱动的不平等，有一个很好的介绍，请参见：“The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies” by Erik Brynjolfsson & Andrew McAfee, Norton, 2014.

    [39]　数据来自：Facundo Alvaredo, Anthony B. Atkinson, Thomas Piketty, Emmanuel Saez, and Gabriel Zucman, The World Wealth and Income Database (http://www.wid.world, 31/10/2016)，包括资本利得。

    [40]　《大西洋月刊》上关于受教育程度较低者的工资降低的文章：http://tinyurl.com/wagedrop.

    [41]　詹姆斯·玛尼卡（James Manyika）关于收入从劳动转向资本的演讲：http://futureoflife.org/data/PDF/james_manyika.pdf.

    [42]　牛津大学关于未来职业自动化的预测（http://tinyurl.com/automationoxford），以及麦肯锡的预测（http://tinyurl.com/automationmckinsey）。

    [43]　马林·索里亚奇克（Marin Soljačić）在2016年的一次研讨会上探讨了这些选项：“发狂的计算机：人工智能的发展对社会的影响和意义。” http://futureoflife.org/2016/05/06/computers-gone-wild/.

    [44]　安德鲁·麦卡菲关于如何创造更多好工作的建议：http://futureoflife.org/data/PDF/andrew_mcafee.pdf.

    [45]　美国劳工统计局：http://www.bls.gov/cps/cpsaat11.htm.

    [46]　认为技术性失业“这次不一样”的论据：Robots Will Steal Your Job, but That's OK, Federico Pistono 2012, http://robots-willstealyourjob.com.

    [47]　美国马匹数量的变化：http://tinyurl.com/horsedecline.

    [48]　综合分析表明，失业会影响幸福感：Maike Luhmann et al. 2012: “Subjective well-being and adaptation to life events: a meta-analysis”, Journal of personality and social psychology 102.3 (2012): 592, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3289759.

    [49]　关于如何提升人们幸福感的研究：Angela Duckworth, Tracy Steen, and Martin Seligman 2005, Positive Psychology in Clinical Practice (http://tinyurl.com/wellbeingduckworth)，Weiting Ng & Ed Diener, “What matters to the rich and the poor? Subjective well-being, fi-nancial satisfaction, and postmaterialist needs across the world.”, Journal of personality and social psychology 107.2 (2014): 326 (http://psycnet.apa.org/journals/psp/107/2/326), Kirsten Weir 2013, “More than job satisfaction” (http://www.apa.org/monitor/2013/12/job-satisfaction.aspx).

    [50]　将1011个神经元、每个神经元104个连接、每秒每个神经元大约放电1（100）次乘起来，结果表明，大约1015FLOPS（1 petaFLOPS）就足以模拟人类大脑，但是，还有许多复杂的东西是我们理解得不甚透彻的，包括放电的具体时机，以及是否也需要模拟神经元和突触的较小部件。根据IBM计算机科学家哈蒙德拉·莫得哈（Dharmendra Modha）估计，需要38 petaFLOPS（http://tinyurl.com/javln43），而神经科学家亨利·马克拉姆（Henry Markram）估计大约需要1 000 petaFLOPS（http://tinyurl.com/6rpohqv）。人工智能研究者卡特娅·格蕾丝和保罗·克里斯蒂亚诺则认为，大脑模拟最昂贵的部分并不是计算，而是通信，但即便如此，这也已经是目前最好的超级计算机可以完成的任务了：http://aiimpacts.org/about。

    [51]　这篇论文包含关于人脑计算能力的有趣估算：Hans Moravec 1998, “When will computer hardware match the human brain”, Journal of Evolution and Technology, vol. 1.

    04　智能爆炸？

    [1]　第一只机器鸟的视频：https://www.ted.com/talks/a_robot_that_flies_like_a_bird.

    05　劫后余波，未知的世界：接下来的1万年

    [1]　这句关于人工智能尊敬人类的话引用自这本书：Ray Kurzweil 2005, The Singularity is Near, Viking Press.

    [2]　描述本·格策尔的“保姆人工智能”情景的文章：https://wiki.lesswrong.com/wiki/Nanny_AI.

    [3]　关于机器与人类的关系，以及机器是不是我们的奴隶的文章：http://tinyurl.com/aislaves.

    [4]　尼克·波斯特洛姆在他的《超级智能》一书中讨论了“智能犯罪”，并在这篇更近一些的论文中讨论了更多技术细节：Nick Bostrom, Allan Dafoe & Carrick Flynn 2016, “Policy Desider-ata in the Development of Machine Superintelligence”, http://www.nickbostrom.com/papers/aipolicy.pdf.

    [5]　东德间谍组织头领的回忆录：http://www.mcclatchydc.com/news/nation-world/national/article24750439.html.

    [6]　人们为什么会有动机创造出没有人想要的东西？对于这个问题，我推荐一个发人深省的反思：“Meditations on Molloch” http://slatestarcodex.com/2014/07/30/meditations-on-moloch.

    [7]　一个关于核战争可能因意外而爆发的互动式时间线：http://tinyurl.com/nukeoops.

    [8]　美国铀处理和核试验辐射受害者获得的赔偿金：https://www.justice.gov/civil/awards-date-04242015.

    [9]　美国对核爆电磁脉冲的研究报告：http://www.empcommission.org/docs/A2473-EMP_Commission-7MB.pdf.

    [10]　美国和苏联科学家分别警告里根和戈尔巴乔夫关于核冬天风险的独立研究：

    a) Crutzen, P. J. & Birks, J. W. 1982, “The atmosphere after a nuclear war: Twilight at noon”, Ambio,11.
    b) Turco, R.P., Toon, O. B., Ackerman, T. P., Pollack, J. B. & Sagan, C. 1983, “Nuclear winter: Global consequences of multiple nuclear explosions”, Science, 222, 1283-1292.
    c) Aleksandrov, V. V. & Stenchikov, G. L. 1983, “On the modeling of the climatic consequences of the nuclear war”, Proceeding on Applied Mathematics, 21: Computing Centre of the USSR Academy of Sciences, Moscow.
    d) Robock, A. 1984, “Snow and ice feedbacks prolong effects of nuclearwinter”, Nature, 310, 667-670.

    [11]　对全球核战争的环境影响的计算：Robock A., Oman, L. & Stenchikov, L. 2007, “Nuclear winter revisited with a modern climate model and current nuclear arsenals: Still catastrophic consequences”, J. Geophys. Res., 12, D13107.

    06　挑战宇宙禀赋：接下来的10亿年以及以后

    [1]　安德斯·桑德伯格（Anders Sandberg）收集的关于戴森球的资料：http://tinyurl.com/dysonsph.

    [2]　弗里曼·戴森关于戴森球的开创性论文：Freeman Dyson 1959, “Search for Artificial Stellar Sources of Infrared Radiation”, it Science, vol. 131, 1667-1668.

    [3]　路易斯·克兰和肖恩·威斯特摩兰解释了他们提出的黑洞引擎：http://arxiv.org/pdf/0908.1803.pdf.

    [4]　一张来自欧洲粒子物理研究所（CERN）的漂亮的信息图，总结了已知的基本粒子：http://tinyurl.com/cernparticle.

    [5]　在宇宙中，小星系远远比大星系多。如果我们算上那些质量只相当于银河系百万分之一的微型星系，那么，星系的总数预计会上升到2 000亿～2万亿这么多：https://arxiv.org/pdf/1607.03909.pdf.

    [6]　关于激光帆的教育片：http://www.lunarsail.com/LightSail/rit-1.pdf.

    [7]　杰伊·奥尔森分析了在宇宙中扩张的文明：http://arxiv.org/abs/1411.4359.

    [8]　第一篇对我们遥远未来的全面科学分析：Dyson, Freeman J. 1979, “Time without end: Physics and biology in an open universe”, Reviews of Modern Physics 51.3, 447, http://tinyurl.com/dysonfuture.

    [9]　上面提到过的塞思·劳埃德的方程告诉我们，在一个时间段τ内运行一个计算过程需要消耗的能量E≥h/4τ，其中h是普朗克常量。如果我们想在时间T内一个接一个地完成N个计算运算，那么，τ=T/N，因此，E/N≥hN/4T。这告诉我们，我们可以用能量E和时间T来执行次串行运算。所以，能量和时间都是资源。如果有许多能量和资源，将大有裨益。如果你将你的能量分割成N个不同的并行计算，那它们的速度会变慢，但能量效率会提高。尼克·波斯特洛姆估计，要模拟一个人100年的人生，大约需要N=1027次运算。

    [10]　如果你想知道为什么生命的起源可能需要非常偶然和侥幸的事件，使得我们最近的邻居也在101 000米之外，那么，我推荐普林斯顿物理学家兼天文生物学家埃德温·特纳（Edwin Turner）做的视频（扫码中文版序最后一页上的二维码，获取“湛庐阅读”APP，搜索“生命3.0”获取精彩视频）。

    [11]　马丁·里斯关于寻找地外智能生命的文章：https://www.edge.org/annual-question/2016/response/26665.

    07　目标

    [1]　一篇关于杰里米·英格兰的“耗散驱动适应性效应”理论的科普文章：https://www.scientificamerican.com/article/a-new-physics-theory-of-life/.这本书打下了许多基础：Ilya Prigogine & Isabelle Stengers 1984, Order Out of Chaos: Man's New Dialogue with Nature, Bantam.

    [2]　关于感觉以及它们的生理基础：

    a) Principles of Psychology, William James 1890, Henry Holt & Co.
    b) Evolution of Consciousness: The Origins of the Way We Think, Robert Ornstein 1992, Simon & Schuster.
    c) Descartes' Error: Emotion, Reason, and the Human Brain, 空标题文档 - 图1 onio Da空标题文档 - 图2asio 2005, Penguin.
    d) Self Comes to Mind: Constructing the Conscious Brain, Antó nio Damá sio 2012, Vintage.

    [3]　埃利泽·尤德考斯基曾经讨论过，不需要让友好的人工智能的目标与我们目前的目标相一致，但需要让它们符合我们的“连贯推断意志”（Coherent Extrapolated Volition，简称CEV）。简单而言就是说，假设我们的知识更多、思考的速度更快、代表的人数更多，那么，一个理想化的人类想要什么东西。尤德考斯基在2004年发表了关于CEV的文章（http://intelligence.org/files/CEV.pdf），之后不久，就开始批评这种思想。因为它很难实施，也因为不清楚它是否能收敛到任何确定的东西上。

    [4]　逆向增强学习方法的一个核心思想是，人工智能试图最大限度满足的不是它自己的目标，而是人类的目标。因此，在不清楚它的主人想要什么时，它有动机保持谨慎，并试图找出这个目标。如果它的主人关掉它也应该没关系，因为这意味着它误会了主人的意思。

    [5]　史蒂夫·奥莫亨德罗关于人工智能目标涌现的论文：http://tinyurl.com/omohundro2008.

    [6]　下面这本发人深省的书，讨论了当智能盲目服从命令而不质疑其伦理偏见的时候，会发生什么事：Hanna Arendt (1963), "Eichmann in Jerusalem: A Report on the Banality of Evil", Penguin.类似的困境也适用于埃里克·德莱克斯勒近期提出的一个想法（http://www.fhi.ox.ac.uk/reports/2015-3.pdf）——将超级智能分割成无法理解全局的简单部分，以此来控制超级智能。如果这种方法可行的话，这或许又为超级智能提供了一个缺乏固有道德规范的强有力工具，它会尽力实现主人任何心血来潮的命令，而不考虑任何道德问题。这会让人想起反乌托邦极权主义情景中的分裂的官僚机构：一个部门负责建造武器，但不知道这些武器是如何使用的；另一个部门负责处决罪犯，却不知道他们犯了什么罪，等等。

    [7]　现代版本的黄金定律是约翰·罗尔斯（John Rawls）提出的：在一个假想的情况中，如果人们不会提前知道自己是该情况中的哪个角色时，就没有人想改变原始的情况。

    [8]　比如说，希特勒的一些高级官员的IQ值都很高：http://tinyurl.com/nurembergiq.

    08　意识

    [1]　斯图尔特·萨瑟兰（Stuart Sutherland）写的意识条目非常迷人：Macmillan Dictionary of Psychology, Macmillan, 1989, ISBN 978-0-333-38829-7.

    [2]　量子力学的创始人之一埃尔温·薛定谔在他的书《心灵与物质》（Mind andMatter）中思考“过去”的时候，做出了上述精彩的评论，以及如果有意识的生命从来没有进化出来过，会发生什么事情。另一方面，人工智能的崛起提出了一个符合逻辑的可能性，那就是，我们在未来可能会演出一场无人观看的戏剧。

    [3]　斯坦福哲学百科全书对“意识”的不同定义和使用做出了广泛的调研：http://tinyurl.com/stanfordconsciousness.

    [4]　Yuval Noah Harari 2017, Homo Deus, p116.

    [5]　一个先驱对“系统1”和“系统2”的精彩介绍：Daniel Kahneman 2011, Thinking, Fast and Slow, Farrar, Straus & Giroux.

    [6]　参见：The Quest for Consciousness: A Neurobiological App-roach, Christof Koch 2004, W. H. Freeman.

    [7]　在每秒进入我们大脑的信息中，我们可能只意识到了很少的部分（比如说10～50比特）：Küpfmüller, K. 1962, "Nachricht-enverarbeitung im Menschen", in Taschenbuch der Nachrichtenverarbeitung, Steinbuch, K., Ed., 1481-1502；Nørretranders, T. 1991, The User Illusion: Cutting Consciousness Down to Size, Viking.

    [8]　“The Future of the Mind: The Scientific Quest to Understand, Enhance, and Empower the Mind”, Michio Kaku 2014, Doubleday.

    a) "On Intelligence", Jeff Hawkins & Sandra Blakeslee 2007, Times Books.
    b) "A neuronal model of a global workspace in effortful cognitive tasks", Stanislas Dehaene, Michel Kerszberg & Jean-Pierre Changeux 1998, Proceedings of the National Academy of Sciences, 95, 14529-14534.

    [9]　近年来，意识相关神经区（NCC）的研究进入了神经科学界的主流。参见："Neural correlates of consciousness in humans", Geraint Rees, Gabriel Kreiman & Christof Koch 2002, Nature Reviews Neuroscience, 3, 261–270，和“Neural correlates of consciousness: Empirical and conceptual questions”, Thomas Metzinger 2000, MIT press.

    [10]　连续闪烁抑制的工作原理：

    a) The Quest for Consciousness: A Neurobiological Approach, Christof Koch 2004, W.H. Freeman.
    b) “Continuous flash suppression reduces negative afterimages”, Christof Koch & Naotsugu Tsuchiya 2005, Nature Neuroscience, 8, 1096-1101.

    [11]　“Neural correlates of consciousness: progress and problems”, Christof Koch, Marcello Massimini, Melanie Boly & Giulio Tononi 2016, Nature Reviews Neuroscience, 17, 307.

    [12]　参见这本书的第260页：“The Quest for Consciousness: A Neurobiological Approach”, Christof Koch 2004, W.H. Freeman。斯坦福哲学百科全书对其展开了进一步的讨论（http://tinyurl.com/consciousnessdelay）。

    [13]　关于意识感知的同步性：

    a) The Brain: The Story of You, David Eagleman 2015, Pantheon.
    b) Stanford Encyclopedia of Philosophy, http://tinyurl.com/consciousnesssync.

    [14]　"Mind Time–The Temporal Factor in Consciousness" Benjamin Libet 2004, Harvard University Press，"Unconscious determinants of free decisions in the human brain", Chun Siong Soon, Marcel Brass, Hans-Jochen Heinze, John-Dylan Haynes 2008, Nature Neuroscience, 11, 543-545, http://www.nature.com/neuro/journal/v11/n5/full/nn.2112.html.

    [15]　近期关于意识的理论方法的例子：

    a) Consciousness explained, Daniel Dennett 1992, Back Bay Books
    b) In the Theater of Consciousness: The Workspace of the Mind, Bernard Baars 2001, Oxford Univ. Press.
    c) The Quest for Consciousness: A Neurobiological Approach, Christof Koch 2004, Roberts.
    d) A Universe Of Consciousness How Matter Becomes Imagination: How Matter Becomes Imagination, Gerald Edelman & Giulio Tononi 2008, Hachette.
    e) Self Comes to Mind: Constructing the Conscious Brain, António Damásio 2012, Vintage.
    f) Consciousness and the Brain: Deciphering How the Brain Codes Our Thoughts, Stanislas Dehaene 2014, Viking.
    g) “A neuronal model of a global workspace in effortful cognitive tasks”, Stanislas Dehaene, Michel Kerszberg & Jean-Pierre Changeux 1998, Proceedings of the National Academy of Sciences, 95, 14529-14534.
    h) “Toward a computational theory of conscious processing”, Stanislas Dehaene, Lucie Charles, Jean-Ŕemi King & Śebastien Marti 2014, Current opinion in neurobiology, 25, 760-84.

    [16]　大卫·查尔默斯全面地讨论了“涌现”（emergence）这个词在物理学和哲学中的不同意义：http://cse3521.artifice.cc/Chalmers-Emergence.pdf.

    [17]　我关于“意识就是信息以某种复杂的方式处理时的感觉”的论证：

    a) https://arxiv.org/abs/physics/0510188.
    b) https://arxiv.org/abs/0704.0646.
    c) Max Tegmark 2014, Our Mathematical Universe, Random House.（中文书名：《穿越平行宇宙》）。
    d）大卫·查尔默斯在他1996年的书《有意识的头脑》（The Conscious Mind）中也表达了相关的感觉：“体验就是由内部而来的信息；物理学就是从外部而来的信息。”

    [18]　“A theoretically based index of consciousness independent of sensory processing and behavior”, Adenauer Casali et al. 2013, Science translational medicine, 5, 198ra105, http://tinyurl.com/zapzip.

    [19]　信息整合理论不适用于连续系统：

    a) https://arxiv.org/abs/1401.1219.
    b) http://journal.frontiersin.org/article/10.3389/fpsyg. 2014. 00063/full.
    c) https://arxiv.org/abs/1601.02626.

    [20]　克莱夫·韦尔林的短期记忆只能保持30秒（扫码中文版序最后一页上的二维码，获取“湛庐阅读”APP，搜索“生命3.0”获取对他的采访视频）。

    [21]　斯科特·阿伦森对信息整合理论的批评：http://www.scottaaronson.com/blog/?p=1799.

    [22]　斯科特·阿伦森对信息整合理论的批评，认为整合度不是意识的充分条件：http://tinyurl.com/cerrullocritique.

    [23]　信息整合理论预测，模拟的人类将是无意识的僵尸：http://rstb.royalso-cietypublishing.org/content/370/1668/20140167.

    [24]　默里·沙纳汉对信息整合理论的批评：http://arxiv.org/ftp/arxiv/papers/1504/1504.05696.pdf.

    [25]　无意盲视：http://tinyurl.com/blindsight-paper.

    [26]　在每秒进入我们大脑的信息中，我们可能只意识到了很少的部分（比如说10-50比特）：Küpfmuüller, K. 1962, “Nachrichtenverarbeitung im Menschen”, in Taschenbuch der Nachrichtenverarbeitung, Steinbuch, K., Ed., 1481-1502; Nørretranders, T. 1991, The User Illusion: Cutting Consciousness Down to Size, Viking.

    [27]　支持和反对“不能获取的意识”（consciousness without access）的例子：“How neuroscience will change our view on consciousness”, Victor Lamme 2010, Cognitive Neuroscience, 204-20, http://www.tandfonline.com/doi/abs/10.1080/17588921003731586.

    [28]　这个问题及其相关问题在丹尼尔·丹尼特（Daniel Dennett）的《意识的解释》（Consciouness Explained）一书中有详细讨论。

    [29]　一个先驱对“系统1”和“系统2”的精彩介绍：Daniel Kahneman 2011, Thinking, Fast and Slow, Farrar, Straus & Giroux.

    [30]　斯坦福哲学百科全书的这篇文章对自由意志的争论进行了评述：https://plato.stanford.edu/entries/freewill.

    [31]　斯塞斯·劳埃德解释了为什么人工智能会觉得自己拥有自由意志（扫码中文版序最后一页上的二维码，获取“湛庐阅读”APP，搜索“生命3.0”获取视频）。

    [32]　参见：Dreams of a Final Theory: The Search for the Fundam-ental Laws of Nature.

    [33]　第一篇对我们遥远未来的全面科学分析：Dyson, Freeman J. 1979, “Time without end: Physics and biology in an open universe”, Reviews of Modern Physics 51.3, 447, http://tinyurl.com/dysonfuture.

    后记　未来生命研究所团队风云传

    [1]　波多黎各会议产生的那封公开信（http://futureoflife.org/ai-open-letter/）认为，如何让人工智能系统稳健和有益，这个问题不仅很重要，而且迫在眉睫，并指出，已经有一些具体的研究方向可供今天的人们研究，比如这份研究优先级文件：http://futureoflife.org/data/documents/research_priorities.pdf.

    [2]　我就人工智能的安全性问题对埃隆·马斯克进行了采访（扫码中文版序最后一页上的二维码，获取“湛庐阅读”APP，搜索“生命3.0”获取采访视频）。

    [3]　在这个视频集锦中，你可以看到SpaceX的几乎每一次火箭着陆尝试，从第一次成功的海上着陆开始（扫码中文版序最后一页上的二维码，获取“湛庐阅读”APP，搜索“生命3.0”获取采访视频）。

    [4]　这篇文章嘲笑了那些对我们的公开信危言耸听的新闻：http://www.popsci.com/open-letter-everyone-tricked-fearing-ai.

    [5]　致力于让人工智能有益于人类和社会的企业伙伴关系：https://www.partnershiponai.org.

    [6]　最近一些表达观点的人工智能报告：

    a）斯坦福的人工智能百年研究：http://tinyurl.com/stanfordai.
    b）白宫关于人工智能未来的报告：http://tinyurl.com/obamaAIreport.
    c）白宫关于人工智能与就业的报告：http://tinyurl.com/AIjobsreport.
    d）电气和电子工程师协会关于人工智能和人类幸福的报告：http://standards.ieee.org/develop/indconn/ec/ead_v1.pdf.
    e）美国机器人发展路线图：http://tinyurl.com/roboticsmap.

    [7]　在被删掉的原则中，我最喜欢的是这个：“意识警惕：由于还未达成共识，我们应该避免对先进的AI是否拥有意识或是否需要意识或感觉做出强假设。”这个原则经历了多次修改，在最后的版本中，“意识”这个颇有争议的词被“主观体验”所替代，但这个原则只获得了88%的认可，差一点就达到90%的标准了。

    [8]　与埃隆·马斯克等伟大的思想家一起探讨超级智能的讨论小组：http://tinyurl.com/asilomarAI.