拥抱大数据时代 深度挖掘企业数据价值

大数据真正开始做始于去年，通过两年的尝试、积累，思路已有，但离成功还很远。一些国外的大数据案例、大数据故事无非是商务智能（BI）、数据仓库（BW）的改头换面，新瓶装旧酒而已。就如数据仓库一样，建设了近20年才让每个企业真正承认其价值，大数据也不能期望很快就获得成功，需要一个沉淀时间。

大数据发展可以用一个波浪式的图来形容，现在还处于第一个峰顶，必须经过低谷再升起，几轮反复。这期间，大家可能会看到许多大数据真实的案例，不管是成功的还是失败的都会给我们启示。只要尝试了就不一定完全失败，就如数据仓库建设，几年前很多报告都显示80%的项目失败，但仔细分析后发现，只是在发展过程当中没有达到预期价值而已。前人淌过的路，后边的人可以少走一些雷区。

真正的大数据思维：允许数据的不精确性

以前，由于可获得的数据量比较小，为此我们必须尽量准确的记录下所获得的所有数据，做出个KPI供领导参考，采样过程的精确度被放在重要的地位。显然，这种对精确性的执着是信息缺乏时代的产物。大数据时代，数据的收集问题不再成为困扰，采集全量的数据成为现实，但海量数据的涌现一定会增加数据的混乱性且造成结果的不准确性，如果仍执迷精确性，那么将无法应对这个新的时代。

大数据通常都用概率说话，且大数据处理之前是可以对之进行清洗从而减少部分的错误数据。所以，与致力于避免错误相比，对错误的包容将会带给我们更多信息。其实，允许数据的混杂性和容许结果的不精确性才是我们拥抱大数据的正确态度，只要做到10%准确结果，能够达成业务数十倍的增长即可，这是真正的大数据思维，未来我们应当习惯这种思维。

大数据不是一个纯技术的问题

大数据不是一个纯技术问题，会包含很多管理、业务方面的内容。并不是说，购买了一套数据挖掘工具，组建了一个Hadoop环境，就能称为做了大数据。除了设备、技术上的投资，企业还需要从组织结构、人员意识、管理方式、企业文化等方面都有一个转变。大数据的前期准备工作很多，这是一种思维上的全面变革。大家都是摸着石头过河，走一步想一想，然后再走一步再想，直到最后成功上岸。

在这样的一个过程当中，人们的思想还要跟随大数据技术的发展不断更新，同时也要对一些过去的想法进行纠正和改变。当然，这个时间不会像以前数据仓库那样花费20年，大数据可能会缩短一半时间。因为数据仓库时代是从无到有，而大数据时代是从有到更好，人们已经从建设数据仓库中积累了很多的经验、技术、教训，甚至有效的管理方法，可以很好地借鉴。

大数据技术解决的是非结构化数据的问题，非也

新兴的大数据技术提供了非常有效的手段，让人们可以花很低的代价去分析、处理非结构化的数据，但是这些非结构化数据有一个特点，就是密度还很低，它远不如结构化数据有非常高的价值密度，可能100G的非结构化数据，最终有效的才1G。这表明，非结构化数据是对数据完整度的很大补充，但是并不能说大数据就是做非结构化数据，其实最终的目的还是要发掘数据价值。另外一方面，传统的数据仓库已经能够完成现有结构化数据90%的利用程度，在这种背景下，人们才会把大数据的焦点放在对非结构化的处理上。

当前，非结构化数据大量产生，如机器日志、传感器的数据、社交媒体的数据，都是以非结构化形式存在，而传统的方式对这些数据的处理能力比较欠缺。如果用木桶效应来比喻，首先要把这个短板补上，与结构化数据处理的效率和能力齐平之后，更多的就是围绕数据如何使用来进行更深一步的研究。还要认识到一点，大数据技术能够处理半结构化、非结构化的数据，不过，这些数据总是要转换成结构化的数据才能分析，算法可能输入的是非结构化的，如视频信息，但是刚进来不到10秒就变成结构化，最后显示出来的还是表格式结构化的结果