02

大数据的历史教训

第1章提到POS机产生的数据如何引起一场大数据革命，从而促成20世纪八九十年代快速消费品行业和零售业的巨大转变。让我们再多花点时间，好好研究一下这个案例，因为我们可以从中学到很多能够运用到如今的大数据革命中的有价值的经验教训。

被通用产品代码颠覆的快速消费品行业和零售业

20世纪80年代初期，像宝洁、联合利华、高露洁、卡夫和通用磨坊这样的快速消费品制造商、食品杂货商、药品零售商和大卖场零售商，在做市场决策时依据的是尼尔森双月刊商店审计数据。尼尔森会派工作人员到样本商店（仅在全美的12个城市）进行实物审计——清点货架上的商品数量、产品价格、产品在货架上占据的空间、产品在该店的销售量以及其他数据。尼尔森会根据产品种类将数据进行聚合统计，从而计算出货架空间份额和按产品数量和利润计算出的市场份额。审计的结果每两个月以小册子的形式寄给零售商和快速消费品生产商。快速消费品制造商也可以要求磁带格式的数据，但是当时数据的容量一般只有MB级。

宝洁会把这些数据和公司的内部指标以及出货量结合起来，对比佳洁士牙膏和其他品牌牙膏的销售情况。佳洁士牙膏小组会使用这些数据来计划、执行、权衡营销策略，包括促销活动的花费、新产品的介绍以及定价。

由于尼尔森需要对数据进行整理、排列、分析以确保结果的准确性和数据的一致性，在审计期结束后还需要经过几周的时间，附有审计结果的小册子才能到达用户手中。这样一来，在营销活动结束后，制造商可能要等上两三个月的时间才能知道营销活动在增加利润、提高单位产品销售额以及增加市场份额方面的有效性。

在20世纪80年代末，信息资源有限公司开发出了Infoscan，可以将零售网点POS机系统和通用产品代码结合起来，彻底改变了快速消费品生产商—零售商的价值链流程。零售商的销售数据量一下子从MB级跃升到GB级，并很快达到TB级。现有的基于大型机的信息管理系统在数据量的压力下崩溃了，这使我们迫切地需要具备新一代的数据处理能力，像Britton-Lee、Red Brick、Teradata、Sybase IQ和Informix这样的数据平台。我们也见证了商业智能软件行业的诞生，很多早期的商业智能公司可以将它们的起源追溯到20世纪80年代末宝洁公司领导的“决策支持”项目。

数据量戏剧性的暴增破坏了现有的技术平台，使得新一代数据平台和分析能力成为必然。听上去很熟悉？但是这并不是最有趣的。最有趣、与POS机革命最息息相关的是像宝洁、菲多利、乐购和沃尔玛这样的公司如何利用新的数据资源和技术创新来创造全新的业务应用——这些业务应用在以前是完全不可能被创造出来的。这就像我们在第1章中谈到的，组织转型到业务洞见和业务优化阶段时，这些新的业务应用利用了具体的POS机数据和数据管理创新及数据分析创新，从而创造新的应用类型。例如：

• 基于需求的预测，快速消费品制造商在了解当周零售商店正在销售的产品种类之后，可以几乎实时地创建并更新产品预测。这对于那些销售日常消费品的公司来说是一个很大的突破，这些商品有相对持续的客户购买需求，例如卫生纸、牙膏、肥皂、清洁剂以及大多数食品。

• 供应链优化，通用产品代码中蕴含的具体的产品销售数据和不断更新的存货数据（在每一个分派中心、每一个商店以及订单上）使零售商和快速消费品制造商能够将多余的存货、储藏以及派送成本从供应链中剔除。节约下来的供应链维护资金对其本身来说是非常重要的，更不用说在其他方面节约的开支，例如货物变质、跌价、不必要的人力、花在分配中心和交通运输上的费用。

• 促销的成效，快速消费品制造商可以更快地根据量化数据确定针对某个零售商最行之有效的促销方式，用更加及时的方式完成这项分析，从而真正地影响现有的促销活动。

• 市场购物篮分析，零售商可以深入了解什么产品在一年当中的什么时候被捆绑销售给了什么客户。这一了解不仅能够改变零售商对商店内商品的布置，而且使零售商处于一个有能力通知制造商最佳的跨产品类别促销时机的有利地位。

• 产品类别管理，这是受领先制造商拥护的一个全新概念。就像几十年前品牌管理彻底改变了品牌的管理和营销那样，产品类别管理使快速消费品制造商在产品类别的层面上（比如强力清洁剂、厕纸、尿布或者牙膏）重新运用了很多品牌管理的概念，以提高有效性和赢利性。这为零售商和制造商创造了一门共同语言，使它们能够相互合作以提高所有类别的销售额和赢利能力。“类别赢家”，我们将此称号赋予制造商，它们将负责零售商店内产品类别的管理，包括定价、货物补给、推广以及存货管理。

• 价格及收益优化，企业在考虑单个商店和季节影响的情况下做出最优的产品定价，将实时销售数据、历史销售额（需求）、产品销售额随季节的变化趋势以及可获得的存货（在手的和已预订的）有机结合。例如，零售商知道相比于一般的住宅区，它们可以在热门旅游区给同样的商品定更高的价格，因为来旅游的购物者对价格并不敏感。

• 减价管理，零售商整合季节性商品或短期时髦商品的POS机历史销售数据，智能地根据最近的存货数据和产品需求趋势降低产品价格，从而达到优化产品或卖家降价管理流程的目的。比如，日用杂货商和药品连锁零售商使用POS机数据和高级分析来决定什么时候以及多大程度上对复活节、圣诞节、情人节以及其他假日特别商品进行降价。百货公司利用POS机数据和高级分析来决定什么时候以及多大程度上对季节性商品（比如泳装、大衣、冬靴）和时髦商品进行降价。

• 客户忠诚度项目，对我来说这是最大的创新。零售商们突然有了机会向客户介绍在购买商品时扫描就可以参加产品打折和奖励活动的贵宾卡。查查你的账单或钱包，看看你参加了多少这样的活动（我参加了星巴克、西夫韦 ^[1] 、沃尔格林 ^[2] 、运动权威和Foot Locker ^[3] 的活动，这还只是一部分）。这使得零售商能够将特定商品和购物篮的购买情况与个人客户的信息联系起来。潜在（用户）分析、目标锁定以及将客户分类的可能性几乎是无限的，而且对零售商来说，这是一条未来能够为其提供丰富洞见的渠道，能够帮助它们为最重要的客户更好地推广、销售并提供服务。

图2–1简要概括了POS机数据驱动制造商—零售商行业转型的关键变化。

图2–1 大数据的历史教训

新的数据源和技术创新的结合同样带来了新的数据货币化的机遇（大数据商业模式成熟度索引中的数据货币化阶段），例如沃尔玛的“零售链接”向沃尔玛的快速消费品制造商和分销伙伴提供详细的产品销售信息。打造一个平台或生态系统，使合作商和其他可增加价值的开发商能够提供新的服务、处理能力和应用，这种模式是进入第1章讨论的业务转型阶段的第一步。

更加详细的、高速的数据改变了快速消费品行业和零售业之间原有的势力平衡。在POS机产生的数据出现之前，快速消费品制造商比零售商更具体地了解消费者购物行为（通过无数的焦点小组、调查以及初步研究艰难地收集到的），因此由他们向零售商下达关于销售和付款方面的指令。然而，由于POS机产生的数据以及随之得到的对客户和产品的洞见，零售商忽然对客户购买行为、价格与促销活动的敏感性以及产品和市场偏好有了更多的了解。零售商能够利用这些对客户和产品的超前认识指挥产品制造商的定价、促销和配送。

大数据运动中的经验教训

零售POS机系统的问世创造了新的数据源，这样一来就需要有新的数据管理技术以及新的数据分析软件。但是，真正的竞争优势来自那些利用新的数据源和技术创新去发掘或驱动新的业务区分、竞争优势以及货币化来源的企业。

如何将POS机数据的经验运用到现今的大数据运动中？首先，新的大容量、高速的结构化和非结构化数据（包括企业内部和外部的数据）正在淘汰传统的数据管理工具和平台，挑战现有的数据和分析建模技术。诸如网站日志、社交网站上的帖子、医生的诊疗记录、服务评论、研究论文以及机器和传感器等数据源正源源不断地制造大量数据，一些领导企业已经开始处理PB级数据，并为将来不可避免的ZB级数据做着准备。传统的数据管理和数据仓库平台并不适应这些类型的数据的容量、速度以及复杂性。

其次，必须开发出新的工具来利用这场新的数据资源海啸。像谷歌、雅虎以及脸谱网这样的数字媒体公司，其主要价值定位是围绕管理海量数据并利用这些数据赢利而确立的，它们已经开发出了新的数据管理及分析技术，例如Hadoop、MapReduce、Pig、Hive以及HBase。

最后，胜利者将是这样的公司：它们挖掘新的数据源，运用先进的数据管理和分析技术升级或者丰富现有的业务流程，创造新的能够提供独特的竞争优势和业务分类的商业应用。宝洁（运用类别管理）、沃尔玛（运用供应链优化）以及乐购（运用客户忠诚度项目）都从新的数据源和技术创新中获得了竞争优势，如今的企业应该集中精力确定在现有的价值创造过程中，数据和技术创新可以在哪一部分发挥作用，从而为客户创造新的价值，为自己挖掘新的利润和收入来源。

小结

本章讲述了20世纪80年代末人们从零售POS机带来的早期“大数据”革命中获得的经验教训。POS机产生的数据量很快从MB级增长到GB级，最终达到TB级，取代了原先被商家用来进行营销、推广、产品、定价以及商店布置决策的商店审计数据。

我们回顾了POS机数据的容量、多样性以及速度是如何打垮原有数据管理和分析技术的。在大型机上运行的EIS分析软件无法处理如此规模的数据，这就催生了新的处理技术，例如特殊的数据管理平台（如Red、Brick、Teradata、Britton Lee和Sybase IQ）以及新的分析软件包（如Brio、Cognos、Microstrategy和Business Objects）。

最后，本章谈到了最后的赢家为何是这样的公司：它们能够创造新的分析驱动型商业应用，例如分类管理和基于需求的预测。那些能够及时获取POS机数据并同时拥有客户忠诚度数据的公司，忽然对客户购买行为以及产品性能有了更多的了解，因而可以打破行业间的实力平衡，在产品定价、包装、推广以及店内产品摆放这些方面对制造商提出要求。

[1] 西夫韦：美国连锁超市。——编者注

[2] 沃尔格林：美国最大的连锁药店。——编者注

[3] Foot Locker：体育用品网络零售商。——编者注