大数据:不再仅仅是一个流行词

大数据对很多人来说意味着许多东西，但它的影响到底有多广？想象一下大数据的这些特性，以及将它拼接在一起的大师们。

不再仅仅是一个流行词

大数据，无论你如何定义它，都已经被大肆盛赞过，也被恶意中伤过。它对很多人来说意味着许多东西：对科学家和零售店主来说是一种福利，同时也是应对大量隐私和安全威胁时的一种可用技术。

无论是救世主还是骗局–甚至可能是两者的结合-，大数据仍在权威人士、预言家、营销者和安全爱好者中间成为一个流行话题。它的非官方定义也在逐渐演变。那么，它到底是什么呢？Wikipedia（维基百科）的定义开了个好头：“任何数据的收集，数据的数量如此庞大、形式如此复杂，以至于很难采用手上的数据管理工具或传统的数据处理软件进行处理”。

但是，当数据分享设备呈几何级数增长的时候，管理大批量、各式各样、高速（经典的3V定义）涌来的数据集所面临的挑战内容正在改变。这些设备，我们统称为物联网（IoT），包括机器传感器和面向消费者的设备（例如相互连接的恒温器）、电灯泡、冰箱和可穿戴的健康监测仪。IDC预测IoT（物联网）市场将在未来数年爆发式增长，从2013年底的91亿部安装设备增长到2020年的281亿部。

对大数据的有用洞察可以帮助企业获得很多潜在的好处，不仅是可以销售更多地产品和服务，还能更好地管理健康、阻止假药泛滥、追踪恐怖分子，甚至可能跟踪你的通话记录。因此我们知道，大数据并没有天生的好坏之分，重要的是你怎么用它。

具有讽刺意味的是，无论大数据在增进人类经验方面的潜力有多大，它通常还是很难收集、筛选、分析和解释来获得那些珍贵的思考和见解。这个幻灯片审视了大数据面临的挑战及其应对能力。确凿的事实会让你感到吃惊。我们该有什么样的期待？好吧，看起来Hadoop这个领先的大数据平台的未来一片光明。数据科学家和相关的大数据专家们应该在来年获得收入丰厚的工作。

业内人士已经预计热门词“大数据”将逐渐淡出。Hortonworks总裁Herb Cunitz在2012年12月的一篇博文中写道：“终究全都归于数据。大数据和对这个空间的所有预测都将瓦解，被分析师和所有那些紧随其后的人（包括很多“大”供应商）导向“数据管理””。

Cunitz可能过早地预见了“大数据”的终结，但他准确地指出：终究全都归于数据。只有用于管理的工具将要改变。现在，请深入研究我们的幻灯片，并观看一些展示的统计分析和研究报告。

有多少数据被忽视？

根据Forrester公司最近的一项研究，大多数公司都预计它们分析了大约12%的现有数据。这是好还是坏？好吧，这些公司可能会错过隐藏在它们忽视的88%数据里的洞察和思考。或许它们明智地避开了资源耗竭、试图将海水煮沸的战略。Forrester认为，分析工具的缺乏和“强制性”的数据孤岛是公司忽视自己绝大部分数据的两个原因，原因还包括一个简单的事实：对公司来说，常常很难判断哪些信息有价值，哪些信息最好是置之不理。

大数据暴增

疯狂的大数据对拥有一定技能的技术工人来说是个利好消息。按照Dice的说法，在一个技术和工程师专业人才网站上，对数据专家的需求呈猛增的态势。该网站4月份的报告中提到，NoSQL专家的职位发布数量比上年增长了54%，“大数据人才”的职位则增长了46%。类似的Hadoop和Python人才职位则分别增长了43%和16%。当然，这跟数据安全专家的职位发布比起来是小巫见大巫了，根据一项令人印象深刻的统计，后者在过去的一年里飙升了162%。

大数据到底有多大？

数字世界的体量将在仅6年内从今天的3.2ZB增长到40ZB（1ZB大致相当于10亿TB）。Hortonworks公司CEORob Bearden 在加州圣何塞2014Hadoop峰会的主题演讲中说到：“我们十分兴奋地看到身边的数据数量在爆发，企业数据的数量从现在到2020年将增长50倍。最重要的是，这些数据的85%来自全新的数据来源”。Bearden指出，这些来源包括移动设备、社交媒体和联网机器生成的数据，对全球的企业来说，既是挑战也是机遇。