大数据发展的三个必要条件_数据分析师考试

近年来，关于大数据的讨论在技术、应用和模式等多个层面展开，已被认为代表着产业发展的方向。但与互联网公司的诸多实践相比，被认为具有数据资源先天优势的电信运营商却走在了后面，即便放眼全球，电信运营商的大数据应用案例也是屈指可数。移动宽带和固网宽带快速发展、OTT的强势崛起决定了电信运营商必须充分利用自身掌握的数据资源，另辟蹊径，从而实现网络价值的最大化。因此，电信运营商应用大数据是必然的，而且市场前景十分广阔。

为了加快大数据的“落地”步伐，帮助业界各方特别是电信运营企业更好地了解大数据，认清大数据战略发展的重要性，分析发展道路上面临的难题和障碍，促进大数据产业链的成熟，推动大数据的应用推广。从今天开始，《人民邮电》报特邀来自中兴通讯、电信研究院以及三大运营商等单位的专家，推出“掘金大数据”系列报道，以飨读者。

大数据概念的横空出世，有赖于短短几年出现的海量数据。据统计，互联网上的数据每两年翻一番，而目前世界上90%以上的数据都是最近几年才产生的。当然，海量数据仅仅是“大数据”概念的一部分，只有具备4个“V”的特征，也就是Volume（海量）、Velocity（高速）、Variety（多样）、Value（价值），大数据的定义才算完整，而最后一个Value（价值），恰恰是决定大数据未来走向的关键。

大数据发展的三个必要条件

大数据的发展需要三方面的必要条件：数据源、数据交易、数据产生价值的过程。近年来，社交网络的兴起、物联网的发展和移动互联网的普及，微信、微博、智能手机、电商大行其道，诞生了大量有价值的数据源，比如位置、生活信息等数据，数据源的出现奠定了大数据发展的基础。大数据时代到来的重要标志，则是大批专业级“数据买卖商”的出现，以及围绕数据交易形成的贯穿于收集、整理、分析、应用整个流程的产业链条。大数据发展的核心，则是使用户从海量的非结构化数据和半结构化数据中获得新的价值，数据价值是带动数据交易的原动力。

IBM、甲骨文、SAP近年纷纷斥巨资收购数据管理和分析公司，在这些互联网巨头的带动下，数据分析技术日渐成熟。2013年6月，爱德华·斯诺登将“棱镜”计划公之于众，“棱镜门”事件一方面说明大数据技术已经成熟，另一方面也佐证了现在阻碍大数据发展的不是技术，而是数据交易和数据价值。

大数据技术的发展促进了云计算的落地，云计算的部署完成又反过来加大了市场对数据创造价值的期待。大数据概念提出之后，市场终于看到了云计算的获利方向，云计算市场仿佛在一夜之间爆发，在过去一两年间几乎已经被国内大方案商、大集成商瓜分殆尽——各地的一级系统集成商与当地政府合作，建云数据中心，建智慧城市；各大行业的巨头们在搭建各自行业的混合云标准，搭建行业云平台；公有云也来了，各大IT巨头想尽办法申请中国的公有云牌照。云计算从概念到落地用了5年时间，最终促成这一切的就是大数据，或者说是市场对数据价值的期待。借助于国内智慧城市概念的大规模普及，云计算基础设施已基本准备就绪，一方面具备了大数据应用的硬件基础，另一方面迫于回收云计算投资的压力，市场急需应用部署，大数据恰如雪中送炭，被市场寄予厚望。

现在，一切的矛头都指向了“数据如何创造价值？”

56数据创造价值的基石6是数据整合和开放

大数据服务创业公司Connotate对800多名商业和IT主管进行了调查。结果显示，60%受调查者称“目前就说这些大数据投资项目肯定能够带来良好回报尚为时过早”。之所以如此，是由于当前大数据缺乏必需的开放性：数据掌握在不同的部门和企业手中，而这些部门和企业并不愿意分享数据。大数据通过研究数据的相关性来发现客观规律，这依赖于数据的真实性和广泛性，数据如何做到共享和开放，这是当前大数据发展的软肋和需要解决的大问题。

2012年美国大选奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的数据挖掘团队，他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金；他们通过数据挖掘使竞选广告投放效率提升了14%；他们通过制作摇摆州选民的详细模型，每晚实施6.6万次模拟选举，推算奥巴马在摇摆州的胜率，并以此来指导资源分配。这个数据挖掘团队，对奥巴马成功连任功不可没。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方就是对大数据的整合。奥巴马的数据挖掘团队也意识到这个全世界共同的问题：数据分散在过多的数据库中。因此，在前18个月，奥巴马竞选团队就创建了一个单一的庞大数据系统，可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体，以及“摇摆州”主要的民主党投票人的信息整合在一起。这个整合后的巨大数据库不仅能告诉竞选团队如何发现选民并获得他们的注意，还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说，在整个竞选活中，没有数据做支撑的假设很少存在。

2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，将大数据研究上升为国家意志，对大数据的整合带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内智慧城市的建设目标之一就是实现数据的集中共享。

数据创造价值需要合作共赢的商业模式

随着云计算、大数据技术和相关商业环境的不断成熟，越来越多的“软件开发者”正在利用跨行业的大数据平台，打造创新价值的大数据应用，而且这一门槛正在不断降低。因为首先，数据拥有者乐于做这样的事情，他们能够以微乎其微的成本获取额外的收入，提高利润水平；其次，大数据设备厂商乐于做这样的事情，因为厂商需要应用来吸引消费者购买设备，发展合作共赢的伙伴关系势必比单纯销售设备要有利可图，一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”；第三，行业细分市场的数据分析应用需求在不断加大，对于整个大数据产业链来说，创新型的行业数据应用开发者必将是未来整个大数据产业链中最为活跃的部分。

在必然到来的大数据时代，有三种企业将在“大数据产业链”中处于重要地位：掌握海量有效数据的企业，有着强大数据分析能力的企业，以及创新的“软件开发者”。社交网络、移动互联网、信息化企业、电信运营商都是海量数据的制造者，Facebook公司手中掌握着8.5亿用户，淘宝注册用户超过3.7亿，腾讯的微信用户突破3亿，这些庞大用户群所提供的数据，正在等待时机释放出巨大的商业能量。可以预测，在不久的将来，Facebook、腾讯、电信运营商等海量数据持有者要么自我发展成为数据分析提供商，要么与IBM、ZTE等企业密切对接成为上下游合作企业，大数据产业链将在某个爆发点到来之际，以令人惊讶的速度成长壮大。

警惕大数据的危害

大数据时代，传统的随机抽样被“所有数据的汇拢”所取代，人们的思维决断模式，已可直接根据“是什么”来下结论，由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰，因此将更精确、更有预见性。不过，由于大数据过于依靠数据的汇集，一旦数据本身有问题，就很可能出现“灾难性大数据”，即因为数据本身的问题，而导致错误的预测和决策。

大数据的理论是“在稻草堆里找一根针”，而如果“所有稻草看上去都挺像那根针”呢？过多但无法辨析真伪和价值的信息和过少的信息一样，对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言，同样是一种危害。大数据理论是建立在“海量数据都是事实”的基础上，而如果数据提供者造假呢？这在大数据时代变得更有害，因为，人们无法控制数据提供者和搜集者本人的偏见与过滤。拥有最完善数据库、最先接受“大数据”理念的华尔街投行和欧美大评级机构，却每每在重大问题上判断出错，这本身就揭示了“大数据”的局限性。

不仅如此，大数据时代造就了一个数据库无所不在的世界，数据监管部门面临前所未有的压力和责任：如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害？如何避免信息不对等，对弱势群体的利益构成伤害？在有效控制风险之前，也许还是让大数据继续待在“笼子”里更好一些。

大数据的经济价值已经被人们所认可，大数据的技术也已经逐渐成熟，一旦完成数据的整合和监管，大数据爆发的时代即将到来。我们现在要做的，就是选好自己的方向，为迎接大数据的到来，提前做好准备。