大数据处理并不难 洞察与升值在眼前

大数据在处理过程中会涉及多个步骤，一般包括了采集、筛选、导入、存储、分析、挖掘和应用等等。

采集是获取大数据的过程；筛选则要验证所收集到数据的正确性和相关性，导入包括了对数据的预处理，将不同的数据按照不同特性进行分类和贴标签等预处理活动，按照一定的需求找到数据的关键点；存储则是将数据导入数据库组合起多个数据；分析则是最关键的一步，其需要将数据收集、整合、分析、解释并且进一步的呈现数据本质；挖掘则是要进一步呈现数据价值，以更深层次的算法获取数据价值；应用则需要将数据信息、数据摘要以及分析结论进行可视化呈现，利用大数据处理成果对用户决策等提供依据。

细分来讲，大数据的采集需要利用多个数据库来接收来自于不同客户端的数据，用户可以通过这些数据库来进行简单的查询和处理工作。这一步常常会用到关系型数据库MySQL和Oracle等，而Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

数据采集步骤所涉及的数据库并不能够支持这些数据的分析，因此需要将这些数据导入到一个集中的大型分布式数据库，然后对数据进行一些简单的清洗和预处理工作再进行存储。有时也需要在数据预处理时进行流式计算来满足实时计算需求。

大数据处理并不难

分析主要利用的是分布式数据库及分布式计算集群，对存储的数据进行分析和分类汇总等，而实时性需求会用到EMC的GreenPlum、Oracle的Exadata以及基于Infobright等，一些半结构化数据分析则更多的会使用Hadoop。

数据挖掘一般无需设定主题，而是基于现有数据进行各种计算，从而达到预测的效果，实现高级别数据分析。常用的数据挖掘算法有Kmeans、SVM和NaiveBayes等，使用的工具一般有Mahout等。数据挖掘算法一般都较为复杂，因此常用的数据挖掘算法都以单线程为主。
第2页：大数据处理常用框架

大数据处理常用框架

大数据处理框架负责对系统中的数据进行计算，并且从大量的单一数据点中提取信息和观点。大数据处理框架可以分为三类，批处理框架、流处理框架和混合处理框架。

Hadoop早已证明了自己

批处理系统是最古老的处理系统之一，其主要适用于操作大容量静态数据集，并在计算过程完成后返回结果，对于一些需要访问全套记录才能完成的计算工作较为合适。而Apache Hadoop则是一种专用于批处理的处理框架，是第一个在开源社区获得极大认可的大数据框架，基于谷歌有关海量数据处理的多篇论文与经验，Hadoop重新实现了相关算法和组件堆栈，简化了大规模批处理技术，提高了易用性。Apache Hadoop可以高效的处理对时间要求不高的大规模数据集。

流处理系统会对随时进入系统的数据进行计算，其可以处理几乎无限量的数据，但同一时间只能处理一条或很少量数据，不同记录间只维持最小量的状态。流处理框架Apache Storm是最常用的选择，其侧重于极低延迟，甚至可以达到近实时处理的工作负载。Apache Storm可处理海量的数据，而且可以以更低的延迟提供结果，适用于对于延迟需求很高的流处理工作负载。
Spark正在证明自己

混合处理则是针对一些特殊处理框架同时解决批处理和流处理工作负载。这种框架可用相关的组件和API处理两种类型的数据以实现简化处理。Apache Spark最常见的一种的新一代批处理框架，Spark主要侧重于通过完善的内存计算和处理优化机制加快批处理工作负载的运行速度，可作为独立集群部署与Hadoop集成并取代MapReduce引擎。Spark是多样化工作负载处理任务的最佳选择，其批处理能力以高内存占用为代价提供了速度优势。

大数据处理是让数据被洞察和升值的过程，经过了处理的数据才会闪现金子的光芒。