大数据分析的三大演进方向

最近Gartner发布了2013年度BI和数据分析的魔力四象限图，同时Wikibon也发布了2013年大数据市场预测，两份报告都明确指出，随着数据分析正在成为企业IT的核心，昔日的BI-ETL-EDW分析范型已经完全落伍，不再适用。

2013开年不久，一连串的重大事件的发生标志着大数据和数据分析领域正在加速演进，对于数据分析师专业人士和企业管理者来说，2013年是大数据进入企业应用的关键一年。

近日Alteryx公司总裁乔治马修（George Mathew，Twitter帐号@gkm1）与大数据领域的著名专家Mayank Bawa、Mike Olson和Scott Yara就数据分析的传统范型（BI-ETL-EDW）即将被新的分析范型取代达成共识，几位专家认为全新的数据分析平台将消除当前分析软件在设计和实施方面的延迟和低效率，从根本上重新思考和定义三大阻碍企业数据分析应用的关键问题：数据管理、分析透明度以及用户应用。

以下是马修在博客中对新数据分析范型三大演进方向的解读，IT经理网编译整理如下：

一、数据管理

Hadoop已经成为企业管理大数据的基础支撑技术。最近随着Greenplum Pivotal HD、Hortonworks Stinger和Cloudera的Impala的发布，Hadoop的技术创新速度正在加快，上述Hadoop项目传递出一个非常明确的信号：主要的Hadoop发行商想要在Hadoop HDFS之上提供实时、互动的查询服务。这个趋势将两个领域的杰作整合到了一起：众所周知的SQL查询处理与具备指数级扩展能力的HDFS存储架构。参考阅读：Hadoop发行版升级，NoSQL的未来是SQL？

二、去黑箱化

预测分析是管理者进行数据化决策的关键。目前预测和统计分析领域已经已经有很多技术可以帮助企业洞察不远的未来。但预测分析眼下面临的的最大问题是“黑箱”化。随着企业领导越来越多地以来预测分析技术做出重大商业决策，预测分析技术需要去黑箱化：包括应用自描述数据沿袭，增加对底层数学和算法解释等。“去黑箱化”有利于企业管理者学会彻底驾驭数据分析工具，不但看到数据分析结果，还知道分析是如何得来的，分析工具的设计原理等，这有助于管理者增加对预测分析的信心，而不是过去那样完全依靠“信仰”。

三、应用普及

即使实现了分析的去黑箱化，企业数据分析应用在企业中的部署依然面临以下几个方面的挑战：发布可复用应用，创建最佳实践、组织范围内的横向协作，无缝重组模型等。在最终用户（员工）中的应用普及是数据分析成功的关键。例如建设一个专门提供分析应用的企业移动应用商店App Store往往能大大加快数据分析的应用普及。

新数据分析范型的重要特征：

新的数据分析范型是目标导向的，不关心数据的来源和格式，能够无缝处理结构化、非结构化和半结构化数据。能够输出有效结果；能够提供去黑箱化的预测分析服务，能够面向更广泛的普通员工快速部署分析应用。

最近Gartner发布了2013年度BI和分析的魔力四象限图，同时Wikibon也发布了2013年大数据市场预测，两个报告都明确指出，随着数据分析正在成为企业IT的核心，昔日的BI-ETL-EDW分析范型已经完全落伍，不再适用。新的数据分析范型正在崛起，以下是我们能看到的未来趋势：

1. Hadoop（和NoSQL）正在颠覆我们对PB级别大数据的管理方式。
2. R和Stata的崛起，正在冲击传统分析学术圈的的黑箱式分析方法，这也代表着商业世界的发展趋势。
3. 分析应用将不再是数据科学家的专利，更多分析应用将以预先打包的内容和应用发送到数据分析师和企业员工的手中。