大数据是一种有着真正未来的趋势_数据分析师

我们是从什么时候开始进入大数据时代的？也许是从第一台智能手机被研发出来之日开始，也许是从Facebook、Twitter等社交网站诞生之日开始，也许是从大容量存储设备的制造成本降低之日开始，也许是从非结构化数据的有效分析模型的构建之日开始……我们无从确认，但我们可以理一理这一系列事件的发展顺序，也许我们能从中发现点什么。随着科技环境的巨变，首先是个人电脑的全球普及，然后是移动智能终端的盛行，随之而来的是社交网络的爆炸式发展，还有物联网在政府、企业组织的积极倡导下迅猛的发展，当然，传感技术在其间功不可没，数以千万计的联网传感器节点分布在交通、汽车、工业、公用事业和零售部门。还有存储技术的发展等，这些都让数据的生产和收集的能力和速度都得到大幅的提升。然后还有非结构化/半结构化数据的有效分析模型的构建，相关软硬件的支撑，让数据的分析能力得到大幅的提升。数据多了，形式复杂了，数据的获取正在变得越来越细致，也越来越个人化。与此相对立的，数据的传送、分享和访问能力也得到彻底变革。

中国有句古语“雁过尚且留声，人生岂能无痕“，出于对利益的追逐，出于对市场的占领，出于对客户的洞察，过去人们使用各种终端的难以被描述的自以为毫无意义的行为在今天被他们事无巨细地详尽地记录、保存了下来，而且这不是某一时刻的单一行为，而是持续性的实时行为，同时，网民、手机用户在增加，终端数量、终端类型在增加，网站、应用在增加，与此同时，社会上的各行各业，从电信、IT业，到金融、证券、保险、航空、酒店服务业等，地球上的各种存在，从每个人到每棵树、每朵花乃至每粒沙子，无一例外地都在成为大数据的生成者。于是，在量和面上的双重积累，数据从产生的源头开始进入爆炸式的增长阶段。

也许以上所述未必能让你直观地了解大数据时代的形象，以下是我在网上找到的一些比较直接的数字：无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互，全球资料量在十年间就增加了60倍以上，一分钟内Twitter上新发的信息数超过10万，在Facebook上有超过600万的浏览量，每天产生的数据为2.5 quintillion。信息量每年正以最少59%速度在递增，到2020年世界上的数据存储总额将达到35 ZB。而更关键的是，这些信息不再是单纯的数字和文字，它包括比文字更复杂的图片、音频和视频。

好吧，回到最开始的问题，要界定“我们是从什么时候开始进入大数据时代的”或许比较困难，但如果哪一天你在浏览网页时发现页面推出的个性化广告框里的商品正是你数天前在视频中曾经与你朋友说起过的某样你很喜欢的物品时，你就可以确认你已经陷入了大数据时代。

现在，我们都知道“大数据”已经来了，但是我们还存有疑问：大数据究竟只是一个时髦的概念，还是一个无可逆转的趋势？这么多年来我们经历了太多的科技热点，而真正有着未来的只是小数，我们需要分辨出哪些是未来的趋势，哪些是时髦的概念。这是一个谨慎的问题，事关行业的巨额投资，事关企业的成本投入，甚至事关很多人的职业选择。关于这个问题，我想可以从以下几个关键点进行判断：第一，能否产生价值；第二，是否具有生命力；第三，是否不容易被替代。

关键点1：大数据能否产生价值

关于大数据的价值，之后会有单独的篇章来论述，在此不详细展开来谈，只作“能/否”的判断。了解客户的需求，这对任何行业任何企业来说都是至关重要，如何了解？必经的方法是通过数据分析。现在数据越来越大，越来越复杂，增长越来越快，而竞争的压力，创新的需求，业务规划的需求对数据处理的实时性、有效性又提出了更高要求，过去传统的数据分析技术已经跟不上数据发展的步伐，在这样的背景下，大数据技术就应运而生了。通过大数据，人们可以对非结构化/半结构化数据进行实时监测和分析，从而制定相应的产品和服务推广方案，因此，我们可以判断，大数据是能产生价值的。

关键点2：大数据是否具有生命力

是否具有生命力关键在于看其立足的土壤是否能保证足够的养分供给或能量补充，以及是否有足够的生长空间。对大数据而言，其立足的土壤是指投入到大数据中，为大数据的发展提供动力的众多企业，如大数据的重要倡导者 – IBM、EMC，生成大数据的源头 – 苹果，生成大数据的介质 – Facebook、Twitter，大数据的汇集地 – 亚马逊，还有Google这样的大数据集大成者，当然大数据的“土壤”远远不止这些，还有包括众多的大数据技术的开发者，大数据分析服务提供商，大数据可视化服务提供商，大数据众包模式参与者等等，这个队伍还在逐渐的发展壮大。随着众多公司的加入，源源不绝地提供给大数据发展所需的养分，其他行业的发展（如传感技术，存储技术）也给大数据提供相当给力的能量补充。

生长空间对大数据而言是指应用大数据的企业和组织。根据IBM的调查发现，83%的CIO认为商业智能分析逐渐成为企业的最高战略。而国际研究顾问机构Gartner则表示，大数据将带动2012年280亿美元的全球IT支出，2013年带动之IT支出规模可望进一步增至340亿美元。越来越多企业意识到大数据对于企业发展的重要性，也越来越多企业愿意将成本投放到大数据的应用上，决策将日益基于数据和分析而作出，而并非基于经验和直觉。因此，我们可以认为大数据具有庞大的生长空间。

综合以上两点，我们可以得出大数据具有蓬勃的生命力的结论。

关键点3：大数据是否不容易被替代

考量一个事物是否会被轻易替代，关键在于看其是否具有同类型的竞争者，其核心竞争力是否鲜明，其与竞品的边界是清晰还是模糊。举个例子，上网本之所以被市场迅速淘汰，原因在于其与同类型竞争者（笔记本电脑，平板电脑）相比核心竞争力较弱，而区分的边界相对模糊，在功能上趋近笔记本电脑而又弱于笔电，在便捷程度，娱乐性方面趋近平板电脑而又弱于平板电脑，因此其被淘汰是在情理之中。回到大数据上，大数据与数据虽然只是一字之差，但其内涵则是相差迥异（大数据与数据的区别下篇会重点提到，在此不详述），相互不具有替代性。而目前在处理巨量复杂数据上，尚未出现竞争者（由于目前大数据还是一个内涵庞大的概念，可以预料将来必然会分裂，细化，届时将出现大数据框架内的竞争双方）。根据Gartner的预期，目前大数据的领先企业到2015年底会开始把大数据的经验，深入应用于其架构和业务中，到2018年，当传统解决方案亦具有新特色和功能以更灵活地因应不同容量、种类和速度的需求，大数据解决方案的领先优势会逐渐减少。然而，大数据解决方案目前具备的技术、实行方法和工具仍会延续，因为领先企业已具体落实设计原则和取得必要的技术以将解决巨量复杂数据的问题视为惯常的弹性。因此，我们可以初步判断，大数据在之后相对长的一段时间内不容易被替代。

综合以上三个关键点，我们可以判断大数据不是一个时髦的概念，而是一个具有真正未来的趋势。

除此之外，或许我们还需要一些佐证，以下两个案例均可从另一个角度说明大数据是一个趋势（案例来源于网络）。

佐证1：美国政府认识到了一个国家拥有数据的规模，活性及解释运用的能力将成为综合国力的重要组成部分：今年3月奥巴马宣布以2亿美元投资大数据领域，美国政府将数据定义为“未来的新石油”，未来对数据的占有和控制甚至将成为继陆权、海权、空权之外另一个国家核心资产。

佐证2：IBM较早预见到了大数据的商业机遇并果断布局，进而成功地完成从PC厂商向商业智能服务商的转型。纵观IBM近5年来的大手笔收购多与大数据有关：07年IBM收购了商务智能软件供应商Congnos；09年IBM收购著名的统计分析软件SPSS；10年IBM收购数据库分析供应商Netezza……这一系列布局，为IBM业绩带来了稳定高速的增长。