解构“大数据”驱动未来的路径_数据分析师考试

“大数据”是近年关注度极高的一个概念，而在目前A股市场信息服务行业绝大多数公司都或多或少的涉足这一领域。大数据的发展与IT行业的飞速进步息息相关。软件驱动世界的进程已进入深化发展阶段，原子世界正与比特世界展开深度交叉融合，形成人类更易洞察的数据世界。未来软件将不断重新定义世界的万事万物，数据在软件冶炼工艺的作用下价值将不断被挖掘出来。

1、 IT变化令人惊叹的十年

过去十年， IT对经济社会的影响比之前的50年还要显著。2012年，美国国家科学院（United States National Academy of Sciences, NAS）对IT历史的研究表明，移动通信、微处理器、PC、互联网、企业IT系统和个人娱乐等多个领域尽管早在20世纪80年代前后便已形成产业化，但形成100亿美元规模产业却基本都是在1995年互联网爆发之后。微处理器在1980年开始批量进入市场，在1986年左右形成10亿美元产业，在1995年形成100亿美元规模产业；PC虽然在1983年便已形成10亿美元规模，但在1998才达到100亿美元；企业IT系统在1982年产业化，在1990年才形成10亿美元产业，1997年突破100亿美元；个人娱乐更是早在1970年便已产业化，在1977年就形成10亿美元产业，但在2004年才达到100亿美元。 

全球网民从2000年的2.5亿，增长到2013年的26亿，手机用户更是从5亿跃升至68亿，无论是在纽约、伦敦，北京、里约热内卢，还是在摩加迪沙、开普敦，到处都能看到打电话、发短信的手机用户。移动互联网用户从无到有，规模在短短的6年时间，用户数量便达到26亿，已超过将近半个世纪历史的PC互联网用户，发展中国家的很多用户直接跨越PC互联网阶段进入移动互联网时代。中国国家互联网信息办公室发布的报告显示，截至2013年9月底，中国网民数量达到6.04亿，互联网普及率达到45%；移动互联网用户达8.28亿，手机超越台式电脑成为第一大上网终端，中国互联网已进入移动互联网时代。

图1：2007年~2015年全球的移动互联网用户增长趋势

互联网经济呈现爆发式增长态势，波士顿（BCG）的研究显示，如果把互联网也当成一个国家经济体，它是仅次于美国、中国、日本以及德国的全球第五大经济体。2010年中国的互联网经济价值约为3260亿美元，占GDP的5.5%，成为支柱性产业。20国集团的互联网经济在2016年之前的五年期间将以每年10%以上的速度增长，发达市场互联网经济将以每年8%左右的速度增长，而发展中经济体中，互联网经济的年均增长率将是发达市场的两倍以上，平均达到18%。到2016年，互联网经济总共将为20国集团的GDP贡献4.2万亿美元。 

微观层面来看，光学相机被数码相机取代，智能手机大有取代数码相机之势，移动磁盘、光盘基本被U盘取代，以软件为核心的云计算存储（云盘）正在不断吞噬U盘市场。电子书没有红火两年，便基本被智能手机、平板电脑消灭掉，在操作系统上构建一个阅读软件比电子书便宜的多、功能丰富的多。2007年，苹果公司以iOS重新定义智能手机后，PC在信息化中的核心终端地位逐步被智能手机所取代。智能手机的性能更是日新月异，2007年的iPhone的CPU性能便已相当于早期的奔腾II水平，目前智能手机的运算速度比10多年前的台式计算机要快若干倍，但体积仅有其键盘的八分之一，而价格仅有其十分之一。4核心CPU、64位处理器、1080P屏幕未来1~2年将成为高端智能手机的标准配置，即使100美元的智能手机，其性能也堪比4-5年前的PC。

图2：2000年的iMac Bondi与2010年的iPhone4对比 

智能手机的出现也带来IT产业格局的重塑。诺基亚、摩托罗拉、黑莓从巅峰坠入谷底，落得被变卖的结局，微软、英特尔在苹果、谷歌、高通、联发科的冲击下，不知所措。曾经辉煌的IBM、微软、英特尔、惠普、雅虎等被硅谷苹果、谷歌、亚马逊、Facebook等新四强取代。 

IT产业巨变的核心动力来自于用户群体的快速增加，也可以说是IT扩散的范围迅速变大，核心IT设备PC从每个办公室扩展到每个家庭。软件从驱动办公室自动办公设备，为数亿办公室白领用户服务、生产流程管理服务，扩展到软件驱动互联网为数十亿普通消费者的生活、娱乐、信息消费服务。

依照电的发展进程规律，未来十年IT产业、IT对经济社会的影响不会比过去十年弱。移动互联网时代，软件驱动的对象转变为每人一部甚至多部的智能手机、多件可穿戴设备，IT从每个办公室一个（PC），到一个家庭一个（PC），再到一个人一个（手机），直至一个人多个（可穿戴设备），IT的影响也将更加广泛和深入。更为关键的是整个经济社会加快在网络空间的映射，形成现实社会与虚拟网络空间交融的数字世界，更进一步促进比特与原子的融合；各种数据将被软件定义的各种函数充分挖掘其潜在价值，将形成数据生产力，IT产业的未来图景也将更加广阔。 

2 、软件驱动世界的进程与电非常相似 

从历史的长周期来看，电脑普及的速度（从1971年到2001年）和电力技术普及的速度（从1894年到1924年）差不多。

图3：软件驱动世界与电驱动世界的进程非常相似 

电最初的使用局限于照明、电车等电的简单利用。在电灯发明的20年后的1899年，美国制造业所有动力中也仅有4.8%是由电力驱动的。之后电动机的发明、发电、输变电技术的进步、大规模集中电厂的出现推动电广泛进入生产领域，从而使电力的普及速度明显加快。1887年以后的15年时间里，对电的需求扩张5倍，年均增长为11%；从1902年到1917年的15年时间里，对电的需求增长了17.5倍，年均增长为21%。1902年前简单的照明是最大的用电需求，几乎占用电量的一半，制造、电化工、采矿等用电约占30%，交通等公共需求约占20%。之后电化工迅速发展，到1907年电化工成为最大的用电需求；1910年制造业电气化普及，制造业成为最大的用电需求。1917年，生产领域的用电赶超生活领域的用电，生产领域占半壁江山，而生活领域退缩到三分之一。2012年，全球45%的电被电动机消耗，照明占20%；美国工业用电占23.9%，商用用电占32.5%，居民用电占43.6%；中国工业用电占72%，居民用电占28%。 

图4：电驱动世界的路径–由简入繁，由浅入深 

电重新定义动力（设备由蒸汽机变为电动机，资源由水变为电）之后，全要素生产率（Total Factor Productivity，TFP）明显提高。1870~1900年，第二次产业革命处于初始期，电力刚投入商用，电力对TFP影响有限，20年期间美国TFP年增长1.5%左右（1870~2010年，美国TFP年增长率为1.5%~1.8%）。1920之后电在工业领域广泛应用，TFP快速提高，1920~1940年期间TFP年均增长2.5%左右。

电驱动世界的路径—由简入繁，由浅入深，先从照明等生活领域开始，逐步进入生产领域，从而带动工业生产率的大幅提高，之后在生活领域的进行深化应用，冰箱、电视、洗衣机等不断改善人类的生活条件。电的应用路径受人类认知过程、发明创新进程、基础设施建设进程、成本下降过程等多方因素影响影响。

3 、软件驱动世界与电的路径有所不同

软件驱动世界先从生产领域开始。软件驱动世界的路径先从军方、政府、大型企业组织等生产领域开始，因为其对价格敏感度低，能够承受几百上千人的IT支持队伍，这个阶段统称为企业IT时代。企业IT时代，软件最开始作为硬件的附加，提供计算功能，进入计算密集型领域，协助科研人员进行密集计算、方便政府部门进行统计；之后进入财务领域、工程设计等信息密集型领域来提高效率；再之后进入企业物料管理领域、办公自动化领域，来实现办公流程的自动化、生产管理的信息化。企业IT时代，软件驱动企业基本是外围的、辅助的，深入到生产流程的全面自动化还很有限，2007年，欧盟所有企业中，实现了全流程数字化的企业也只有20%～35%，2010年，北京市实现全流程数字化的企业比例尚不超过15%。企业IT时代，软件驱动世界非常像电驱动世界的早期阶段，渗透有限、功能有效、作用有限。

图5：消费IT引领IT潮流 

软件驱动世界的第二阶段是软件进入数以十亿计普通消费者的时候，也就是所谓的消费IT时代。互联网时代的到来逐步拉开消费IT时代的序幕，IT加速进入生活领域，iPhone的诞生标志消费IT时代进入新的发展阶段。企业IT时代向消费IT时代的转变，导致软件从硬件的附属，变为硬件是软件的附庸，计算的软件变成软件的计算，近几年呈现的云计算、大数据的核心都是软件。这个阶段软件对经济社会的作用开始猛增，无论是互联网企业的人均生产效率，信息化进程，还是民众生活便捷等均发生明显变化。消费IT时代，软件驱动世界非常向电驱动世界的第二阶段，电机广泛被工厂做为电力，工业生产效率突飞猛进。 

图6：企业IT由1.0进入2.0时代

与此同时，IT在生产领域的作用仍在进一步深化，信息或网络系统与物理系统融合程度不断加深。信息物理系统（cyber physical system，CPS）很好的诠释了这一趋势。CPS是一个综合计算、网络和物理环境的多维复杂系统，通过3C（Computation、Communication、Control）技术的有机融合与深度协作，实现大型工程系统的实时感知、动态控制和信息服务。CPS在交通控制、汽车行驶、工业过程控制、关键基础设施控制（电力、灌溉网络、通信系统）、机器人、防御系统等诸多领域已经展开应用。目前家庭10万元级轿车中标配的电喷发动机、ABS刹车装置是CPS初级典范之作。通用电气、孟山都等传统企业争相在硅谷设立据点或巨资收购硅谷企业，以强化自己的IT能力。以汽车电子来改造汽车机械系统为己任的传统汽车企业开始意识到将被以IT、互联网为中心的汽车企业特斯拉（Tesla）所挑战，这也难怪丰田会把谷歌列为潜在竞争对手，因为谷歌牌无人驾驶汽车正待上路。

4、 软件定义世界，数据驱动未来

软件正在重新定义一切（software defined anything，SDX）。继智能手机、平板电脑被软件重新定义之后，其它IT产品也在不断被软件重新定义。软件定义的网络（software defined networking ，SDN）、软件定义的数据中心（software-defined data center，SDDC）、软件定义的存储（software defined storage，SDS）软件定义的路由器等思想、概念和产品不断涌现。电视机、冰箱、鞋子、手表、眼镜等传统工业产品也加入被定义的行列，甚至汽车都在被谷歌重新定义。为各类产品增加一个操作系统后，产品似乎有了魔力；物理功能可以尽量简单，应用功能可以无限丰富；功能可以无限拓展、能力可以不断升级。手机上安装操作系统后，简直成了一个移动计算机，计算、办公、支付、导航、视频、音乐等等功能无所不包。利用智能手机APP软件，通过特斯拉Model S的操作系统，能够控制多媒体功能、通信、客舱功能、车辆功能等，可以实现车辆的远程控制，可以通过互联网实时更新操作系统。

图7：软件定义世界（SoftwareDefined X，SDX） 

数据已经成为战略资产。数据是人类活动在网络空间的映射，蕴含人类生产、生活的规律，挖掘数据潜在价值，对国家治理、社会管理、企业决策和个人生活影响深远。世界经济论坛的报告认为大数据为新财富，价值堪比石油；商业版图由此被重新划定，通晓如何利用这些数据的企业将成为最强者。

人类进入大数据时代。随着互联网、移动互联网和物联网的广泛而深入地应用，人类活动的踪迹加快在网络空间的映射，网络浏览、行车轨迹、购物行为等等均留下数据记录。目前，全球数据呈现爆发式增长态势，人类社会迈入大数据时代；全球每18个月新增数据量是人类有史以来全部数据量的总和。大数据的核心是数据，与大小无关，为区别于大众思维中的“数据”、“海量数据”，业界发明“大数据”一词取而代之。 

目前，大数据已经在各行各业展开应用，成效显著。美国通用电气公司通过每秒分析上万个数据点，融合能量储存和先进的预测算法，开发新型风机，效率与电力输出分别比现行风机提高了25%和15%。UPS通过行车整合优化和导航系统（On-Road Integrated Optimization and Navigation，ORION），利用安装在上千辆运输车辆上的传感器不断发回的数据流来优化线路，UPS公司运输路线缩短了530万公里，引擎闲置时间减少了1000万分钟，节省了65万加仑的油，碳排放量减少了6500多公吨。

图8：各行各业都在展开大数据应用

大数据在消费IT领域的作用更加明显。只要你用PC上网或手机浏览信息，你便在网络上处处留照了，性别、年龄、爱好、踪迹、信用等等便被大数据刻画的一览无余，恭喜你已经成为数字透明人了！可能你都不知道自己下一步要干什么，产品经销商借助搜索引擎、电子商务平台、旅游网站的数据根据你的浏览行为已经在为你张罗生日、餐饮、旅游、结婚、生子、购房、购车了，特价机票、婚纱、尿不湿、奶粉、海景房等广告已经为你编排好了。 

图9：网络画像 

数据不仅是传统产业升级的助推器，也是新兴产业孕育的催化剂。数据已成为与矿物和化学元素一样的原始材料，正在形成数据服务、数据探矿、数据化学、数据材料、数据制药等一系列战略性新兴产业，数据生产力效应开始显现。 

总结一下： 

①电驱动世界的路径：首先由生活领域开始，开发有限、应用有限、影响有限，技术的不断创新推动电进入生产领域，从而实现生产力的跃升，进一步在生活领域深化。 

②软件驱动世界的路径：先由成本承受力高、技术能力强的生产领域开始，技术的创新推动IT更加易用、产品的创新使产品价格持续降低，从而带动IT进入用户群体更大、应用范围更加广泛的生活领域，形成巨大的活力；IT进一步在生产领域深化，推动信息与材料的融合，形成无缝的信息物理系统（cyber physical system，CPS），从而大幅带动生产力的提升。 

③尽管电和软件进入生产、生活领域的路径有所不同，但驱动进程非常相似，因为人类的认知能力并不可能发生突飞猛进的变化，开山凿岩、架设电线、敷设光纤等基础设施建设过程无论哪个时代都不容易，产品的创新也不可能一蹴而就，成本的下降更是一个持续的过程。软件驱动世界的进程已进入深化发展阶段，原子世界正与比特世界深度交叉融合，形成人类更易洞察的数据世界；数据不仅是战略资产，更是生产力，人类全面进入信息社会。