大数据能干啥

这两年大数据这个词特别火，传统企业IT部门都纷纷在探索上线大数据。当然，过去的十年，传统企业IT部门也都纷纷上线了商业智能。

很多处于云里雾里的传统企业IT人员，心中第一个困惑就是：大数据和商业智能有啥本质区别。

一、大数据和商业智能有啥本质区别

我先抛开数据、抛开业务应用，就说大数据技术平台和商业智能技术平台的本质区别，那就是技术架构的升级。如果你发现你运行一个报表需要3-5天，而且不管升级单台服务器硬件，还是扩展服务器集群，性能提升并不明显，那说明，技术架构不能支撑现有需求了，需要升级技术架构了。那说明你需要考虑上马大数据技术平台了。

二、大数据为啥这几年火了

大数据为啥这几年火了，有两方面驱动，一方面是数据量，一方面是数据类型。

从数据量来说，因为移动手机人手一部随时随地产生信息，智能设备&物联网、产业链打通、互联网社区、电子商务这些新技术新应用的产生，导致数据量激增。如果企业没有搞这些新技术新应用，那数据量只是随企业业务规模增大而增大。

从数据类型来说，过去企业一般只关注应用系统产生的关系型数据，或者是EXCEL产生的结构性数据。但是随着智能硬件、互联网社区的产生，非结构性信息更多，如照片、视频、音频、日志、聊天记录、地理信息...。过去我们不关注这些信息，但是随着我们应用的需求，如生物识别、声音识别、图像识别、视频识别、用户地理周边价值挖掘、社交信息价值挖掘，我们需要收集这些信息，也需要分析这些信息。而过去专注结构性数据的商业智能技术平台显然就不适合来高性能处理这些非结构化信息。如果企业没有收集和处理这些非结构化信息的需求，当然也不存在真正的大数据技术平台购买需求。

三、大数据能干啥

大数据技术平台这几年发展飞速，从Hadoop的海量批处理作业，Spark又往前走了一步可以更多的利用内存来计算，而Storm更进一步可以数据边导过来边处理。这就让大数据的计算性能、处理性能高很多，不需要我们再等待几天来看结果了。这样就能满足咱们实时的应用需求，比如说搜索关联推荐想通过用户上下文的点击大数据来实时推荐，过去无法满足，现在可以了。这比过去商业智能OLAP离线数据处理要高很多。

但是，大数据应用技术这么多年并无长足进步。我们的大数据技术平台只是让更大量的数据可以高性能的存储和计算了，但如何高价值利用数据，我们目前的应用技术还不支撑。

大数据利用，目前还主要停留在报表查询与统计，只不过这么多数据、这么不同类型的数据，处理性能更高。但是要注意，需要你自己对业务很精通很洞察，你才能设计出有高价值含量的报表，大数据技术平台只是把数据给你按你的要求输出出来，还得你自己分析数据到底有啥价值。所以说啊，你现在购买一套大数据平台，你最后干的事还是做报表、分析报表。

再往前走一步，现在利用最多的就是搜索关联推荐，这就有点人工智能的意味了，至少相关性算法是要利用上了。如果你没啥需要关联性信息展示的，那有这个功能你也是白浪费。

现在大数据应用技术热点，今年都扎在了深度学习方面，主要在分类、聚类、回归这些算法上。这些算法在商业智能时代就有了，但是没有360度海量数据来训练算法、调整参数，算法的演进在过去并不快。现在有了移动&智能硬件&物联网、产业链信息打通、互联网社区和电子商务，360度的海量数据有了，数据丰富了，算法训练就进化快多了。而且现在分布式存储和计算中间件平台的兴起，为海量数据的高速存储和计算提供了很好的基础支撑，可以高性能运行起来了，所以近几年在深度学习的精准度方面进展不错。

大数据应用技术，目前在世界最前沿搞的是模式识别，就是没有模式，机器从从海量数据中24小时不停歇计算，根据初始算法模型不断进行数据训练，自动调节参数，再继续往前演进，这样慢慢会自己形成最佳模式甚至会衍生出变异模式。这就真正智能化了。可惜，这种机器学习模式识别，目前还无法普及性商用，只能在某些特定领域特定训练。

四、传统企业是否要购买大数据平台

如果你满意现在的商业智能处理性能、成本，那么你不需要上马大数据平台。因为那表示你的数据量并不大，现有商业智能技术平台能够支撑。

如果你过去就没做过商业智能项目，那么现在上马大数据平台，我个人觉得无所谓，可以上可以不上，但即使是上，过去搞商业智能的步骤，该弄的还得弄，一步也少不了。而且你仍然别指望数据输出、知识黄金输出。别做春秋大梦，该设计业务报表、该分析解读业务报表，还得搞。大数据技术平台只是让更多的数据可以高性能存储和计算而已。