第18章
管理人工智能风险

拉坦亚·斯威尼（Latanya Sweeney）是美国联邦贸易委员会的首席技术官，现为哈佛大学的教授。一位同事用她的名字查找她的一篇论文，却发现有广告暗示她曾经被捕。斯威尼听说此事后很吃惊。她点击了广告，支付了一笔费用，了解到自己本就清楚的事实：她从未被捕过。有趣的是，她输入了同事亚当·坦纳（Adam Tanner）的名字，同一家公司的广告弹了出来，却并未出现被捕暗示。经过更多次的搜索，她得出了一个假设：有可能是她的名字听起来像是黑人的名字，触发了被捕广告。接着，斯威尼对此进行了更系统的测试，她发现如果你搜索一个与黑人相关的名字，比如拉吉莎（Lakisha）或特雷文（Trevon），那么，跟搜索吉尔（Jill）或乔舒亚（Joshua）这样的名字比起来，你碰到一条暗示被捕记录的广告的概率要高25%。

这种偏差带有潜在的破坏性。搜索者可能在寻找信息，了解某人是否适合一份工作。如果他们看到了题为“拉坦亚·斯威尼被捕过吗”的广告，心中恐怕会产生疑问。这既是歧视，也是诽谤。

为什么会发生这种情况呢？谷歌提供的软件允许广告主对具体的关键字进行检验和定位。广告主说不定输入了与种族相关的名字来放置广告，尽管谷歌对此做出了否认。还有一种可能是，该模式是谷歌算法带来的结果，这种算法会推广有着更高“质量得分”（也就是点击率更高）的广告。预测机器很可能在此扮演了角色。例如，如果搜索名字的潜在雇主看到与黑人名字相关的被捕广告后更有可能点击它，那么，这些广告及相应关键字的质量得分就会上涨。谷歌无意歧视，但它的算法可能会扩大社会中本就存在的偏见。这个特征分析，说明了实施人工智能带来的风险之一。

责任风险

种族特征分析的出现是一个社会议题，也是谷歌这样的公司可能碰到的问题。它们可能会违反就业反歧视条例。幸运的是，当斯威尼等举报人提出这一问题时，谷歌迅速做出反应，对问题做了调查和纠正。

歧视还可能以更为微妙的形式出现。2017年，经济学家安雅·兰布雷希特（Anja Lambrecht）和凯瑟琳·塔克（Catherine Tucker）所做的一项研究表明，Facebook广告可能导致性别歧视。研究人员在社交网络上投放了科学、技术、工程和数学领域的招聘广告，发现Facebook向女性展示这些广告的概率更低，但这不是因为女性点击广告的可能性小，也不是因为她们地处存在就业性别歧视市场的国家。相反，是广告市场的运作自带歧视。由于年轻女性是Facebook上的重要用户，向她们展示广告的费用更高。因此，当你在Facebook上放置广告时，算法自然会将广告放置在每次展示回报率最高的地方。如果两性点击理工岗位招聘广告的概率一样高，那么，最好是把广告投放在更便宜的地方——男性用户身上。

哈佛商学院教授、经济学家和律师本·埃德尔曼（Ben Edelman）向我们解释了为什么这对雇主和Facebook都是个很严肃的问题。虽然许多人倾向于认为歧视来自区别对待（为男女设定不同的标准），但广告放置的差异却有可能产生律师所称的“差别影响”（disparate impact）。一种性别中立的程序最终会影响到部分雇员（他们是律师们眼中的“受保护阶层”），也就是那些出于某种原因对歧视的恐惧与他人不同的人。

一个人或一家组织，有可能需要为歧视负责（哪怕歧视来自偶然）。一家法院发现，纽约市消防局曾歧视想要成为消防员的黑人和西班牙裔申请人。对这两类申请人，消防局会拿出一份强调阅读理解能力的入职测试题。法院发现，此类问题与消防局员工能否有效履职并无关系，而且，黑人和西班牙裔申请人在这类问题上整体表现较差。此案最终以9900万美元达成和解。黑人和西班牙裔申请人考试成绩较差，意味着消防局应该负责，哪怕歧视并非有意。

所以，你也许以为自己在Facebook上放置的是一段性别中立的广告，可它很可能造成“差别影响”。身为雇主，你可能需要对此承担责任。当然，你肯定不想涉嫌歧视，哪怕是无意识的歧视，你也不愿跟它扯上关系。对Facebook来说，解决办法之一是为广告商提供防止歧视的工具。

人工智能面临的一项挑战是，这些无意识的歧视，在组织里的任何人意识到之前，它就发生了。深度学习和其他多种人工智能技术生成的预测，似乎是从黑匣子里创建的。没有办法通过观察预测的潜在算法或公式来识别原因。为了弄清人工智能是否存在歧视，你只能观察输出项。男性所得的结果有别于女性吗？拉美裔人士得到的结果跟其他人不同吗？老年人或残疾人士又怎么样呢？这些不同的结果，是否会限制相关群体得到的机会？

为了避免责任问题（也避免做出歧视行为），如果你在人工智能的输出项中发现了不经意产生的歧视现象，你必须进行修复。你需要弄清楚为什么人工智能生成了歧视性预测。但如果人工智能是黑匣子，你该怎么弄清楚这一点呢？

计算机科学界的一些人称之为“人工智能神经科学”。一个重要研究工具是，首先假设某因素对差异起到了推动作用，再为人工智能提供不同的输入数据来检验这一假设，接着比较由此带来的预测。兰布雷希特和塔克发现女性看到的理工岗位招聘广告较少之后，就采取了上述做法，并发现这是因为向男性展示广告的成本较低。关键在于，人工智能的黑匣子不是忽视潜在歧视的借口，但也不能因此在歧视问题至关重要的环境中回避使用人工智能。大量证据表明，人类的歧视比机器还严重。部署人工智能需要对审查歧视做额外的投资，努力减少由人工智能带来的一切歧视。

算法歧视很容易在运营层面出现，但也有可能最终导致更宽泛的战略后果。应对策略涉及让组织中的人员衡量原本并不突出的要素。这对算法歧视这样的系统性风险来说尤为重要，因为它们或许会给你的企业带来负面影响。只向男性显示理工岗位的招聘广告提升了短期业绩（因为对男性展示广告的费用较低），但会遭受歧视带来的风险。风险升高的后果说不定并不明显，但若补救不够及时，也可能酿成大祸。故此，企业领导者的一项关键任务就是预测各种风险，并针对风险制定相应的管理流程。

质量风险

如果你的组织属于面向消费者的企业，你大概会购买广告，并且已经了解如何衡量这些广告的投资回报率。例如，你的组织兴许发现，购买谷歌的广告能提高点击量，甚至让用户直接购买。也就是说，公司从谷歌购买的广告越多，广告获得的点击次数就越多。现在，试着使用人工智能来观察这些数据，并预测新的谷歌广告能否提升点击量；人工智能或许会验证你先前观察到的正相关现象。故此，如果市场营销人员想要购买更多的谷歌广告，他们会提供一些投资回报率的证据作支撑。

当然，要引导消费者点击，首先要有广告。没有广告，消费者说不定永远不知道你的产品。此时，你想投放广告，是因为它们能提高销量。还有一种可能是，广告是最容易让潜在客户点击的东西，但就算没有它，潜在客户还是能找到你。此时，广告可能与更高的销量相关，但也可能只是一种假设。没有广告，销量说不定还是会增加。因此，如果你真的想知道自己投放的广告（以及你花在广告上的钱）是否带来了新的销量，你大有必要更深入地考察这种情况。

2012年，为eBay（易贝）工作的经济学家托马斯·布莱克（Thomas Blake）、克里斯·诺斯科（Chris Nosko）和史蒂夫·塔德利斯（Steve Tadelis）劝说eBay在整整一个月内关停美国全部搜索广告的1/3。按传统的统计学方法来算，广告的投资回报率是4000%以上。如果这一数据是正确的，那么，做这一场长达一个月的实验会让eBay大受损失。

然而，他们为自己的做法找到了正当的理由。eBay放置的搜索广告对销售情况几乎没有影响。它们的投资回报率为负值。eBay上的消费者非常聪明，如果他们没有在谷歌上看到广告，就会去点击谷歌的普通搜索（或自然搜索，即不受广告影响的搜索方式）呈现的链接。不管有没有广告，谷歌都会给eBay的商品较高的排位。对宝马汽车和亚马逊等品牌来说，情况也是一样。广告唯一发挥作用的地方是，为eBay吸引新用户。

这个故事的重点在于，揭示人工智能（不依赖于因果实验，而是依靠相关性）和任何使用数据与简单统计方法的人类一样，会轻松地落入陷阱。如果你想知道广告是否有效，请观察广告是否提高了销量。然而，这不一定就是完整的故事，因为你还得知道，如果你不投放广告，销售会变成什么样。依靠包含了大量广告和销量的数据训练出来的人工智能，无法理解不投放广告会发生什么样的情况。后一类数据是缺失的。这种未知的已知，是预测机器的一个重要缺陷，需要人类的判断来克服。目前，只有擅长思考的人才能弄明白人工智能是否落入了类似的陷阱。

安全风险

虽然软件始终存在安全风险，但对人工智能而言，安全风险可能来自被操纵的数据。有三类数据对预测机器存在影响：输入、训练和反馈数据。所有这三类数据都有着潜在的安全风险。

输入数据风险

预测机器靠输入数据喂养。它们将这些数据与模型结合起来生成预测。故此，就像计算机行业的一句老话（“进的是垃圾，出来的也是垃圾”）所说，如果数据不好或模型糟糕，预测机器就会失效。黑客可能会给预测机器馈进垃圾数据，或操纵预测模型，使之失效。一种失效是崩溃。崩溃看似糟糕，但至少你知道它是什么时候发生的。如果有人操纵预测机器，你说不定根本不知道（或等到事情来不及时才知道）。

黑客操纵或愚弄预测机器的方法很多。华盛顿大学的研究人员表示，只需要插入仅显示几分之一秒的随机图片就可愚弄谷歌用于检测视频内容的新算法，使之出现分类错误。比方说，你可以往一段动物园的视频里插入仅显示短短几分之一秒的汽车图片（在这么短的时间里，人类根本看不到汽车，但计算机能），就能愚弄人工智能，使它分类出错。如果广告发布商需要知道发布的内容，以便跟广告客户相匹配（谷歌的情况就是这样），这就代表了一个严重的漏洞。

机器正在生成用于做出决策的预测。公司会在人工智能真正发挥重要作用的环境中对其进行部署，也就是说，我们期待它们对决策产生真正的影响。如果不是为了嵌入这样的决策，又何必费这么大劲先做预测呢？在此种情形下，经验丰富的坏家伙们自然会意识到，只要改变预测，就可以调整决策。例如，一位糖尿病患者想用人工智能来优化胰岛素的摄入量。如果人工智能获得的患者数据不正确，然后在本应提高胰岛素摄入量的时候生成了暗示患者降低摄入量的预测，就会导致严重的后果。要是某人以伤害患者为目的，这种方法就会奏效。

我们有极大的可能在难以预测的环境下部署预测机器。别有用心的坏人或许不确定操纵预测具体需要什么数据。机器可以根据综合因素来生成预测。在一张真相之网里，一条谎言不会带来太大后果。可在其他许多环境下，找到一些可能被用来操纵预测的数据是很容易的。比方说，要操纵位置、日期和一天里的时间可谓不费吹灰之力。但身份是最重要的。如果预测是针对具体的某个人，那么，向人工智能馈进错误的身份就会导致糟糕的后果。

人工智能技术将与身份验证携手发展。我们合作的一家初创公司Nymi开发了一项技术，该技术使用机器学习，通过心跳来识别个人身份。还有一些初创公司使用视网膜扫描、脸部或指纹进行识别。企业还可以利用智能手机用户的行走模式来确认身份。不管怎么说，技术或许会出现皆大欢喜的融合，既能使人工智能更个性化，又能保护个人身份。

尽管个性化预测容易受到个体的操纵，但非个性化预测同样要面对另一种风险，它跟人口层面的操纵相关。生态学家告诉我们，同质人群患病和遭到损害的风险更大。农业就是一个典型的例子。如果某个地区或国家的所有农民都种植同一种作物，短期内，他们的收益可能更好。哪种农作物在该地区生长得最好，他们就种哪种。种植最佳品种可以降低个人风险。然而，这种同质性为疾病或不利气候提供了机会。如果所有农民种植相同的品种，他们就都容易受到同一种疾病的感染。作物出现灾难性的大面积歉收的概率提高了。这种单一培育对个体或许有益，但提升了系统层面的风险。

这个观点大体上也适用于信息技术，尤其适用于预测机器。如果一套预测机器系统能证明自己特别有用，那么，你或许会将该系统应用到自己的整个组织甚至世界上的任何地方。所有汽车都想要采用看起来最为安全的预测机器。这减少了个人层面的风险，也提高了安全性；然而，无论是有意的还是无意的，它提高了大范围失效的概率。如果所有汽车都使用相同的预测算法，攻击者可能会利用该算法，以某种方式操纵数据或模型，让所有汽车同时出现故障。一如农业，同质化可以从个体层面上改善结果，但也会增加整个系统失效的可能性。

对于全系统故障问题，有一个看起来很容易的解决办法：在所部署的预测机器里鼓励多样化。这将降低安全风险，但代价是性能下降。它还可能提高缺乏标准化所致的偶发小故障的风险。一如生物多样性，预测机器的多样性涉及对个体和系统层面的结果做出权衡。

许多全系统故障的场景，都涉及对多台预测机器同时展开攻击。例如，对一辆自动驾驶汽车的攻击代表了安全风险，而同时攻击所有自动驾驶汽车带来的是全国性的安全威胁。

另一种免受大规模同时攻击的防范措施（哪怕存在标准的、同质化的预测机器），是使设备从云端脱离。我们已经讨论了在实地而非在云端进行预测的好处——实地预测能更迅速地依靠背景来学习（但牺牲了整体上的准确度），还可保护消费者的隐私。

在实地进行预测还有另一点好处。如果设备未连接到云端，同时展开攻击就变得很困难了。（实地预测还有第四点好处：有时候这么做对实践目的很有必要。例如，谷歌眼镜必须有能力判断眼皮的动作是无意识的还是有意识的，因为后者是控制设备的一种方式。由于这种判断必须迅速做出，把数据发送到云端再等待回答，未免不切实际。预测机器需要安装在设备上。）预测机器的训练当然可以在云端或其他地方进行，但只要机器已经训练好了，就可以直接在设备上完成预测，无须再把信息发送回云端。

训练数据风险

还有一种风险是，别人可以用你的预测机器进行查询。竞争对手说不定能够对你的算法进行逆向工程，或至少让他们自己的预测机器以你的算法输出的内容作为训练的数据。这方面最著名的例子曾让谷歌反垃圾邮件团队不胜其烦。团队为各种荒谬的搜索词条（如根本不存在的“hiybbprqag”）设置了假结果。接着，谷歌的工程师在自家的计算机上查询这些单词。而且它还规定，工程师们一定要使用微软的IE浏览器工具栏进行搜索。几周后，该团队再用微软的必应（Bing）搜索引擎进行查询。果然，必应搜索引擎里出现了谷歌针对“hiybbprqag”等搜索设置的假结果。谷歌的团队表明，微软使用其工具栏来复制谷歌的搜索引擎。

当时，就微软的做法能否被接受，相关的讨论有很多。实际上，当时的微软正在使用谷歌的工具栏“边用边学”，好为必应搜索引擎开发更好的算法。用户所做的基本上就是在谷歌上搜索，并点击搜索结果。所以，如果某个搜索词条很罕见，只能在谷歌上找到（如“hiybbprqag”），而且它的使用率又足够高（这也就是谷歌工程师们做的事），微软的机器最终就学会了它。有趣的是，微软没做的事是（很明显，它完全可以这么做），学习谷歌如何将搜索词条转化成点击，从而完全模仿谷歌的搜索引擎。（有趣的是，谷歌操纵微软的机器学习这一尝试并不怎么顺利。它做了100次实验，其中只有7到9次，必应显示出了其结果。）

策略麻烦在于，如果你拥有人工智能（如谷歌的搜索引擎），又如果竞争对手可以观察输入数据（如搜索的词条）和输出结果（如网站列表），那么，竞争对手就拥有了原始素材来配置其人工智能，使之展开监督学习，重建算法。想从这方面着手来效法谷歌的搜索引擎极为困难，但从原理上说，是行得通的。

2016年，计算机科学研究人员表明，某些深度学习的算法特别容易遭到这样的模仿。他们在一些重要的机器学习平台（包括亚马逊机器学习）上测试了这种可能性，并证明了，只需要相对少量的查询（650～4000次）就可对平台的模型进行逆向工程，使之非常接近平台的结果，有时甚至完美复制。这一漏洞，是机器学习算法的部署本身带来的。

模仿可以很容易。当你完成了对人工智能进行训练的所有工作之后，人工智能的工作方式就对全世界公开了，它有可能遭到复制。但更令人担忧的是，对这些知识的运用可能会导致在某些情况下，用心不良的人很容易就能操纵预测和学习过程。一旦攻击者理解了机器，机器就变得更加脆弱了。

从积极的方面来看，这种攻击会留下痕迹。要理解预测机器，必须向它发起多次查询。数量异常的查询或是多样化的反常查询，会让人警觉。只要人们警觉了，保护预测机器就变得比较容易了。虽然还是不简单，但至少，你知道攻击即将出现，以及攻击者知道些什么。接下来，你可以屏蔽攻击者，以保护机器，或是（如果前者做不到）准备好预案，以防不测。

反馈数据风险

你的预测机器会跟企业之外的其他东西（人或机器）互动，带来了不同的风险：居心不良者有可能向人工智能馈进会扭曲学习过程的数据。这不仅仅是操纵一条预测，更是在教机器以系统化方式进行不正确的预测。

2016年3月，微软在Twitter平台上推出了一款名为“泰伊”（Tay）的人工智能聊天机器人。微软的想法很单纯：让泰伊与Twitter上的人互动，判断怎样做出最佳回应。它的目的是专门学习“随意和有趣的对话”。至少从表面上看，这是一种让人工智能快速学习所需体验的合理方式。泰伊最初不过是鹦鹉学舌，但有着高远的志向。

然而，互联网并不总是一个温和的环境。发布后不久，人们开始测试泰伊说话的边界。网友“Baron Memington”问道：“@TayandYou你支持大屠杀吗？”泰伊回答：“@Baron_von_Derp我支持。”没过多久，泰伊就成了一个种族主义者，患有厌女症，甚至还同情纳粹。微软赶紧撤下了实验。泰伊为什么变得这么快，目前还不完全清楚。最有可能的是，Twitter用户之间的互动把上述行为教给了泰伊。最终，这项实验证明：要破坏现实世界中出现的机器学习是多么容易。

言外之意很明显，竞争对手或批评者可能会有意识地训练你的预测机器做出糟糕的预测。和泰伊一样，数据会训练预测机器。在真实环境下得到训练的预测机器有可能遇到有策略的、心怀恶意的、不诚实的用户。

直面风险

预测机器自带风险。任何投资人工智能的公司都将面临这些风险，而且这些风险也不可能完全被消除。对此，没有简单易行的解决方案。你现在掌握了足够的知识来预测这些风险。留心你的预测在不同的人群中有何不同。要多问一问，你的预测是否反映了潜在的因果关系，它们是不是真的与结果所显示的一样优秀。要在优化各个步骤带来的益处与随之而来的系统性风险之间做出平衡，要留心有可能向预测机器发起查询以图复制甚至搞破坏的居心不良者。

本章要点

人工智能自带很多类型的风险。我们在这里总结了最明显的6类风险。

1. 人工智能做出的预测可能导致歧视。哪怕这种歧视是无意的，它也需要企业为之负责。

2. 数据太少，人工智能就无法发挥作用。这会产生质量风险，尤其是“未知的已知”类预测错误：预测机器很有信心地给出了预测，可惜给的是错的。

3. 不正确的输入数据会欺骗预测机器，让用户容易遭到黑客攻击。

4. 一如生物的多样性，预测机器的多样性涉及权衡个体和系统层面的结果。多样性的减少，可能有益于提高个人层面的绩效，但会增加大规模失效的风险。

5. 预测机器有可能遭到反向查询，致使你的知识产权被窃，攻击者也可通过此种查询洞察预测机器的弱点。

6. 反馈有可能遭到恶意操纵，导致预测机器学习不良行为。