你确定要鸡蛋碰石头吗?关于大数据的三大误区

随着整个行业对大数据的兴趣越来越大，我最爱的话题之一，我在2013年做过的大数据的公众演讲超过我职业生涯中的任何往年。我在行业大会、活动，大学以及EMC内部共做过许多次演讲。在这些演讲中一次又一次地接触到了一大堆关于大数据的评论，提问以及错误的理解。我相信将我听到的分享给大家会很有用。

　　以下是对于大数据的三大误区：

　　1. 最重要的，是关于大数据本身的大小

　　大数据主要是数据的大小，因为大数据就是大的，对吗?其实，并不完全是。哈佛的定量社科学院的Gary King说。当然，如今的数据处理量要远超过去(这里是指”3Vs”的量-量，多变性及速度)，但如果人们只关注于GB、TB或PB，他们将仅仅视大数据为关于存储和科技的问题。尽管这也是绝对重要的，但大数据的更突出的几个方面通常是另外两个V：多变性(Variety)和速度(Velocity)。速度指的是数据流及非常快的数据，数据积累或进入数据仓库时的低延迟，以使人们可以更加快速地(或者甚至自动地)做出决定。数据流的确是个大问题，但是对我来说，其多变性是3V当中最有趣的。

 　　上面显示的这些图标正是大数据产生的来源。实际上，这正说明了一个哲学问题—不仅仅是大数据改变了，更多的是，数据的定义本身已经发生了变化。也就是说，大多数的人认为数据就是成行成列的数据，如Excel表格，RDBMS数据库，或存储着TB级结构化数据的数据仓库。这些的确没有错，大数据主要是有关半结构化数据和非结构化数据。 大数据包含了所有人们并不认为是数据的所有其他的事物，如RFID芯片，智能手机的地理空间传感器，图像，视频文件，点击流，语音识别数据以及这些数据的元数据。 当然，我们需要找到有效的方法来存储大量的数据，然而我发现，当人们开始抓取数据的多变性及其速度，他们也开始寻找更加创新的方式来使用这些数据。

　　2. 你确定要鸡蛋碰石头吗?

　　“好吧，但是为什么我一定需要新的工具?我不能用原来的软件工具来分析大数据吗?”我们在讨论使用Hadoop去排列成百上千的非结构数据输入。讨论中有位听众提问，为什么他不能简单地使用SPSS来分析大量的文本语料库。事实上，一旦你领会了#1中的内容，那么你将意识到你需要一个可以理解、存储和分析不同数据输入(图像，点击流，视频，声纹，元数据，XML，等)，并且可以并行处理他们的新的工具。这就是为什么内存中的桌面工具足以处理本地内存中的分析(SPSS，R，WEKA，等)却无法处理大量的大数据源。所以我们需要新的技术来管理这些各不相干的数据源，并以并行的原则管理他们。

 　　3. 不完整的数据质量代表大数据毫无意义

　　“是的，那么大数据，数据的质量会怎么样呢?是不是意味着更大规模的“无用出入(GIGO)”?

　　大数据也一定可能会乱，而数据质量对任何分析都非常重要。然而，关键是要记住数据将不可避免地混乱。即，会有很多杂乱，各种异常情况，以及不一致性。而重要的是要把重点放在数据的数量和种类，以及它们可否可修剪并用以做有价值的分析。换句话说，在这些混乱之中要寻找某种信号。在某些情况下，组织可能要解析和清理大量的数据源，而在其他情况下，这些也可能不太重要。可以考虑谷歌趋势分析。

　　谷歌趋势分析显示人们搜索的最热门事情，如整个2013年在谷歌搜索的最多的事情，如上图所示照片。这需要大量的存储空间，处理能力以及强大的分析技术以从搜索中筛选并排名。这是使用大数据而忽略GIGO的一个好例子。

　　从这个观点来看，许多人们会说“哦!这听起来的确是大的改变”是的!正如我的一个同事所说，可以用大数据的名字或动词意义做一个区分。也就是说，作为名词，把大数据仅仅当作需要被存储和安置的“非常多的东西”。作为动词，大数据就意味着动作。这个阵营的人们视大数据为破坏性的力量，是改变他们的操作方式的动力。利用大数据以创造性的方式测试好点子，从而以分析的方式解决业务问题，如进行A/B测试—请参考谷歌测试50色调的蓝色，去寻找人们最愿意点击的Gmail用户，而不是仅凭营销经理的猜测。或者想办法衡量没法衡量的事情，比如公司和大学找更好的方式来实现图像归类的自动化。以新的方式探索新点子—以数据来回答“假如……”的问题。

　　在这个竞赛中，那些把大数据视作动词的组织将是最大赢家!