大数据工具指南：从选择到应用_数据分析师培训

通过部署和使用大数据分析工具，分析流程可以帮助公司提高运营效率，产生新的利润，获得竞争优势。企业可选择的数据分析应用程序有很多。比如描述性分析善于描述已发生的事情，揭示因果关系。描述性分析主要输出查询、报表和历史数据可视化。

另外，更复杂的预测模型和规范模型可以帮助企业获得商机，做出影响市场战略，提升客户体验，避免设备故障的决定。在预测分析中，历史数据集

有了预测分析，历史数据集可用于分析未来的状况和行为，规范分析承接预测分析，建议决策者采取某种行为。在很多情况下，先进的分析程序由于处理和数据存储的需求过高，限制了它的发展，但这些缺点也不是不可克服的。大数据平台和大数据分析工具的流行，让预测分析和规范分析也能通过扩展，处理来自广泛数据源的大量数据集。

大数据分析意味着什么?

本质上，大数据分析工具是能够支持运行在大数据计算平台上的预测分析应用程序和规范分析应用程序的软件产品。一般我们所说的都是基于商业服务器集群，可扩展的分布式存储和技术的并行处理系统，比如Hadoop和NoSQL数据库。这些工具可以帮助用户快速分析大规模数据，有时能做到实时分析。

另外，大数据分析工具提供了使用数据挖掘技术分析数据、发现类型、使用分析模型的框架，来认识和应对特定的数据类型，提高业务流程。例如，大量的运输数据，交通数据流，天气数据和供应商历史数据都可以用不同的数据模型来进行分析，用于优化特定地域内的运输线路，降低送货延误或损坏货物的风险。

大数据分析工具可以消化广泛的数据种类，包括结构化数据，比如关系型数据库中存储的交易数据，半结构化数据，比如Web服务器或移动应用程序文件，和非结构化数据，比如文本文件、文档、电子邮件、文本信息和社交媒体信息等。

大数据和高级分析工具

下面来介绍一下大数据分析的厂商，很多厂商提供支持分析流程的大数据平台和工具，比如数据集成、数据准备和其他类型的数据管理软件。我们关注能够满足下列要求的工具：

能应用高级的分析算法和模型提供分析

以大数据平台为引擎，比如Hadoop或其他高性能分析系统

能够适用于多种数据源的结构化和非结构化数据

随着用于分析模型的数据的增加，能够实现扩展

分析模型可以，或者已经集成到数据可视化工具

能够和其他技术集成

另外，工具必须包含必备的一些功能，包括集成算法和支持数据挖掘技术，包括(但不限于)：

集群和细分：把一个大的实体分割拥有共同特征的小团体。比如分析收集来的客户，确定更细分的目标市场。

分类：把数据组织进预定类别。比如根据细分模型决定客户改如何进行分类。

恢复：用于恢复从属变量和一个及一个以上独立变量之间的关系，帮助决定从属变量如何根据独立变量的变化而变化。比如使用地理数据、净收入、夏日平均温度和占地面积预测财产的未来走向。

联合和项目集挖掘：在大数据集中寻找变量之间的相关关系。比如它可以帮助呼叫中心代表提供基于呼叫者客户细分、关系和投诉类型的更精准的信息。

相似性和联系：用于非直接的集群算法。相似性积分算法可用于决定备用集群中实体的相似性。

神经网络：用于机器学习的非直接分析。

这只是预测分析和规范分析的子集。另外，不同的供应商很可能提供不同的算法支持不同的方式。

高级分析市场

高级分析工具市场随着时间发展不断进步，不同成熟度的工具类型都可选择。有些来自历史悠久的传统厂商，比如IBM、Oracle和SAS。也有厂商通过收购有一定历史的工具，增强实力，比如微软、戴尔、Teradata 和SAP。

一些小公司也提供大数据分析产品，包括Angoss, Predixion, Alteryx, Alpine Data Labs, Pentaho, KNIME 和 RapidMiner，有时公司会开发自己的算法。其他采用了开源算法R语言，提供预测模型和规范模型能力，或使用开源Weka项目软件。

第三类产品就是开源技术。之前提到的R语言就是一个例子，还有Hadoop下的Mahout软件，以及Weka。

在一些情况下，尤其是大厂商，大数据工具往往被打包到大数据套装中。其他情况下，大数据工具会单独出售。在后者，客户需要自己将工具和已有的大数据平台集成起来。大多数的工具都提供虚拟化界面指导分析流程，比如数据挖掘与发现分析，模型的判断和积分，与运营环境集成。在大多数情况下，供应商都提供帮助客户搭建和运行软件的指导和服务。

谁在使用大数据和高级分析工具?

企业里的一些人着眼于探索设计新型预测性模型，另一些人关注将这些模型嵌入他们的商业流程中，还有一些人想要理解这些工具会给他们的业务带来什么整体变化。

数据科学家们，他们想使用更复杂的数据类型实现更复杂的分析，熟知如何设计，如何应用基础模型来评估内在倾向性或偏差。

业务分析师，他们更像是随性的用户，想要用数据来实现主动数据发现，或者实现现有信息和部分预测分析的可视化。

企业经理，他们想要了解模型和结论。

IT开发人员，他们为以上所有类用户提供支持。

所有这些角色通常都会在模型发展生命周期中共同合作。数据科学家将一套大数据集置于无目标分析的条件下，然后观察那种模式符合商业利益。在与业务分析师一起检查模型工作方式，并评估出发现的每个模型或模式对于企业存在何种潜在积极效应，企业经理和IT小组这个时候就需要介入，来将模型嵌入或将模型整合进商业流程，或者围绕该模型设计新流程。

但是从市场角度来说，考虑环绕大数据分析的业务种类是很有趣的。。许多大数据技术的早期用户都是网络公司(例如，Google，Yahoo，Facebook，LinkedIn和Netflix)或者分析服务提供商。这些公司都依赖运行性和分析型应用，这些应用需要引入高速数据流来进行处理、分析然后将结果反馈以持续改善表现。

在更为主流的产业中，对于数据扩展的胃口也越来越大，大数据分析也在这些更为普遍的企业人口中找到了位置。在过去，大规模分析平台的成本因素使得只有超大型公司才能实现。但是，通用型主导的大数据平台越来越平易近人(如那些通过亚马逊网页服务实现的)，而能实现大数据具象呈现的平台也越来越多，像Hadoop本地一样不需要大量投资，降低的准入门槛。此外，开放数据集和社交媒体渠道提供的救火管数据供给的可获取程度为与内部数据集相混合的大规模数据分析准备了原材料。

大型企业可能还是会选择高端大数据分析工具，但是低成本替代品在更加符合成本效益的平台上运作，使得中小企业得以评估和启动大数据分析恒旭，并取得预期的商业发展成果。

现在我们已经分析过了不同类型的工具和他们的用户，下一步就是要确定怎样用这些工具为公司谋利。看一看对于大数据分析不同案例下的使用，你就能开始理解如何权衡一般大数据分析能力来创造和增加价值。