企业大数据应用三段论

随着云计算、物联网和开源大数据技术生态的高速发展，企业获得大数据相关基础设施技术和服务越来越容易。虽然现阶段大数据成熟应用多在互联网公司，但我们需认识到，一方面，大数据应用是非常碎片化的，这个碎片化包括业务层面和技术层面，大数据不只是谷歌，亚马逊，BAT等互联网企业，每一个行业、企业里面都有它去关注数据的痕迹：一条生产线上的实时传感器数据，车辆身上的传感数据，高铁设备的运行状态数据，交通部门的监控数据，医疗机构的病例数据，政府部门的海量数据等等；大数据不只是Hadoop和Spark，从采集、存储、挖掘、预测、展示、决策各个层面的技术生态体系十分庞杂。很多企业都意识到大数据应用潜力巨大，但说到具体业务需求就是一头雾水，到具体技术选型还是一头雾水；另一方面，现在开源大数据技术泛型下的系统、技术及架构主要来源于互联网巨头，这种技术架构真正适合传统企业和机构吗？中小企业如何做大数据应用？互联网企业的大数据架构是否适合传统企业大数据应用？传统企业的核心数据多是结构化的，如何对众多业务系统的分析整合进行支撑，如何对传统商业智能（Business Intelligence, BI）系统进行集成或逐步升级替换？诸如此类问题需要深入调研、分析和具有丰富的业务技术经验才能做好规划设计。另外大数据时代数据的垄断趋势在加剧，中小企业甚至处于信息化劣势的国家，如何获得数据话语权更值得深思，怎么样设计实施大数据战略就更重要了。

上述种种问题，说明我们对大数据应用充满了困惑。如何解惑，下面提出自己的一点粗浅看法。我们都知道，大数据成熟应用来源于互联网企业，大数据技术也发源于互联网巨头，为什么？这跟互联网企业的基因有关，UGC海量数据就不说了，互联网公司业务和技术都注重几个关键词：敏捷、简洁、迭代。什么样的数据，用哪种方式存储效率最高，怎么样处理起来速度最快成本最低，如何持续支持海量数据存储和并发访问等。企业要想应用好大数据，就应该大胆的抛弃传统的信息化思路，从零开始，借助于互联网企业敏捷和迭代理念，真正去思考这么多历史数据对企业来讲有什么意义，会产生什么价值，如何最佳应用实施。说白了这就是大数据思维的变革，虽然说起来有点虚，但这个思维观念不转变过来，是很难做好大数据应用的。接下来企业要问自己几个核心的问题：要处理的数据类型有哪些？要处理的数据量和未来的增长规模如何？处理的速度要求快还是慢？已有的数据和系统现状怎么样如何和大数据应用整合？大数据分析的背景知识和分析目标是怎么样的？上述问题明确之后，还必须认识到，在企业大数据应用实施过程中，由于成本、时间、技术和人力考虑，不可能短时间内建设所有大数据相关的业务子系统，大数据应用本身有其规律和特点，比如分析目标一定是要跟数据规模匹配，分析技术的采用取决于数据结构和数据源条件，数据集成一定要覆盖比较全面的业务背景，关键环节数据不能有缺失等等。

最后建议企业大数据应用分三个阶段进行：（1）大数据基础设施建设阶段：这个阶段的重点是把大数据存起来，管起来，能用起来，同时要考虑大数据平台和原有业务系统的互通联合问题。一句话，做好全局数据集成解决数据孤岛问题！要完成大数据基础设施系统（主要是采集和存储）搭建和集成开发，明确数据采集、存储和分析各层核心组件的选型和使用，搭建稳定的大数据集群，或选择私有云方案的服务集群，与生产系统并线运行，使待分析的历史数据和实时数据得以采集并源源不断流入大数据系统。

（2）大数据基础描述分析阶段：此阶段主要定位于离线或在线对历史数据进行企业全局条件下的基本描述统计分析，对管理起来的大数据能进行海量存储条件下的交互式查询、汇总、统计和可视化，如果建设了BI系统的，还需整合传统BI技术进行OLAP、KPI、Report、Chart、Dashboard等分析和初步的描述型数据挖掘分析，并能快速验证描述分析结果进行调整，同时对大数据系统进行迭代升级开发。这个基础分析阶段是对数据集成质量的检验，也是对海量数据条件下的分布式存储管理技术应用稳定性的测试，同时要能替代传统BI的豪华报表就算基本成功了。

（3）大数据高级预测分析和生产部署阶段：在初步描述分析结果合理，符合预期目标，数据分布式管理和描述挖掘稳定成熟的条件下，可结合进一步业务点分析需求，采用如深度学习等适用海量数据处理的机器学习模型，进行高级预测性挖掘分析。并通过逐步迭代优化挖掘模型和数据质量，形成稳定可靠和性能可扩展的预测分析模型，并在企业相关业务服务中使用分析结果进行验证、支持和反馈，核心目标就是像谷歌大脑，百度大脑计划落地一样，建立企业未来的决策支持中心和实现真正的商业智能！