数据分析软件市场值得关注的八个鬼

紧张精彩的2015年已经结束了，现在是时候回过头来看一看数据分析软件市场的潮流。 已经有几个趋势继续变得壮大（比如开源，云托管，基于Hadoop的SQL解决方案），同时AWS上的Redshift开始成为数据仓库中的一支重要力量。

SQL解决方案继续在Hadoop的生态系统里大行其道

除了Spark，大部分Hadoop的生态系统里的新闻都来自Presto, Impala and Drill。 关于MapReduce继任者的斗争还在持续，而在列表中的所有候选者的一个主要的共同点就是他们都提供SQL界面。这个趋势从2010年Hive开始逐渐取代Pig就一直如此。

因为太多的Hadoop生态系统提供的价值围绕在分析和商业智能上，而过去数十年整个分析世界已经运行在SQL的基础之上，并且围绕它建立了很多无法替代的公司竞争力，所以在经过了很多关于NoSQL和Hadoop的憧憬以后，大家发现还是要回过头来面对这个事实。

Druid看起来要火

在主流的大规模基于内存的OLAP数据库中，LinkedIn的Pinot和Metamarkets的Druid是两个主流选择。 Druid似乎从Yahoo得到了不少关注，而且不少最前沿的高科技公司也开始越来越多地使用它来驱动实时商业智能（BI）。

十月份，Druid一些主要贡献者宣布了Imply.io，一家为Druid提供商业支持及打造出围绕Druid的生态系统的公司。总体而言，很多聪明人开始用Druid来做内存数据库，以便对海量数据集进行交互式分析。

开源机器学习库Galore

十一月， 谷歌开源Tensor Flow ，一个利用数据流图谱进行计算的广义库。 它被大量用于机器学习，特别是深度神经网络。 它还在加盟了十一月微软发布的Theano，Torch，DMLT。

虽然上面提到的这些库不是可以把人工智能添加到任何产品的简单插件，但是以他们为基石任何有足够多的数据的人都可以来训练他们的系统来制造最先进的算法。 当大家都开始在基石上建造，产品的整体复杂性，无论是分析相关还是其他方面，都会不断提高。

IBM在Spark上发力

6月，IBM 宣布把3500研发人员放在Spark相关项目上。 Spark是在许多方面是Hadoop的生态系统里的MapReduce的继承人。 它为开发人员提供了四大法宝（低级别数据处理语言，机器学习库，图形算法和SQL-on-Hadoop数据库）来进行数据的混合及匹配。

虽然仍然在用户实践的最初阶段，Spark已经得到了背后庞大的开发者的支持。十月份，IBM宣布了基于Bluemix的Spark-as-a-service ，并且把其数据工程产品移植到Spark上。这件事情对以开发Apache Spark为主业的Databricks 公司的影响十分值得关注。

商业智能开源软件开始兴起的一年

从历史上看，开源软件的创新基本上在软件堆栈的较底层。 随着时间的推移，以及对开源软件企业可行的商业模式的的发展，越来越多的面向最终用户的软件正在以开源的方式进行开放。

去年，两个古董的开源BI公司之一的JasperSoft被Tibco以$ 1.85亿美元收购。另一个公司，Pentaho，则在前年2月就被日立数据系统公司以超过$ 5亿美元收购。

同时，在2015年还涌现出了多家轻量级的开源项目。AirPal和Re:Dash把重点放在使用户能够快速，轻松地在Redshift上进行SQL查询（详见下文），而Metabase还提供了一个非常易于安装的工具，允许非技术用户对多种数据库进行数据查询和分享数据报表。

专有事件分析公司继续涌现

虽然Google Analytics仍然是大家默认的首选，仍然有很多人致力于开发以收集并分析在网站和移动应用上的用户行为为中心的，集所有功能于一身的分析系统。

与此同时，作为Google Analytics的主要竞争对手，Mixpanel（截止去年已募集$ 6.5亿美金），于去年7月跟随Heap公司的脚步，发布了Codeless Analytics。它主要是通过添加SDK到您的移动应用里，自动对移动应用进行数据埋点，并同时获得对用户行为事件的分析，而无需手动对特定事件进行埋点。 十一月，该公司发布了Predict，它可以让你使用轻量级的机器学习来预测用户是否会执行一个动作（如转换付费）。

与此同时 - Heap已经因为它在移动和网络事件的数据分析上的简单易用性而获得了一定的知名度; Amplitude在八月融资$ 9百万美元；而以增快数据分析速度为核心业务的Interana也在一月份A系列融资$ 2000万美元。

同时，廉价和简单地运行一个数据仓库的方案的出现（如AWS的Redshift）也对传统的使用专有事件分析软件的理念带来了冲击。

正在兴起的建立于云端的分析架构

在2015年，一个用于处理商业智能的新的标准正在越来越多的创业公司（以及愿意保持创业心态的中型公司）中形成： 上世纪90年代的统一数据仓库的概念正在回归。允许这样做的关键因素是AWS Redshit作为分析数据仓库的广泛采用。

因为Redshitshift相对于老一辈的数据库（如Aster，Vertica, Teradata等）比较容易维护，它很快成为科技创业公司里数据仓库的首选。

有两组初创企业乘着这股浪潮：那些帮助把你的数据转移到Redshift上的和那些让你对在Redshift上的数据进行分析的。

第一组包括一些公司讲业务完全围绕在将数据加载到Redshift（如Alooma，Etleap，Textur）。此外， Segment去年正式宣布了将数据送到Redshift上的能力。 同时，RJMetrics，一个电子商务分析的供应商，推出了他们的系统里关于数据摄取的部分帮助您将数据送到Redshift。

总而言之，许多公司都把自己的赌注押在AWS上，绝大部分在去年秋天QuickSight发布前。随着AWS的数据管道等摄入服务不断完善，他们的业务模式是否仍然存在还有待观察。鉴于AWS的移动分析SDK和数据摄入管道的存在，可能留给这些公司的生存空间会逐渐消失。

鉴于QuickSight的预览版目前只能提供很基本的功能，一些BI软件供应商在2015年从在Redshift上投入巨资的客户上获得了很多业务。 Looker, Mode Analytics, Periscope and Metabase是在Redshift被用来做分析数据的产品里比较突出的。 然而，这个领域会怎样发展很大程度上要看AWS来年会带来怎样的新产品。

总而言之，2016年正在成为一个非常值得纪念的一年，尤其在融资放缓的影响更加明显的情况下。

伟大的回火（公司估值压缩）

虽然在事件形成的过程中很难感觉到，但回过头来看，股票市场里股价对营收比的压缩对私募市场的影响很明显，特别是当Fidelity公开将它手中一大批其后期投资降低估值的时候。

在做分析软件的公司中，Cloudera的估值变化不大，而Dataminr的估值下降了35％。 在一般情况下，分析创业公司的获取资本的成本，无论是早期或晚期，都变高了很多。虽然大量的风投公司扔在获得新的资金，并有足够的钱去投资，总的感觉是，对初创企业的估值已经缓慢开始下调。

今年会有一些动荡，无论是在募资上，还有更重要的是，在很多分析公司的客户群的相关预算上。由于大多数公司的客户终身价值对客户流失的敏感度，2016年看起来会是一个需要系好安全带准备迎接大风浪的时间。