大数据时代的数据分析与挖掘_数据分析师考试

目前，无论是在社会用人单位或者是个体方面都会涉及与处理相关数据信息的问题，社会大众在应用数据信息之际也被社会诸多的数据信息所围绕，即使现代社会数据信息的发展情况较为良好、也让社会大众更为信服，然而在社会大众对大数据的印象观念中，数据形式的发展已经超过了他们所预想的、数据总量已经超过社会大众所理解的范畴，应当如何正确、有效地处理该部分数据信息已经变为现代社会大众共同面对的问题，需求人们谨慎地对待。

　　一、实施数据分析的方法

　　正确地对数据进行分析过程已经作为大数据时代对待信息量极大的数据处理的关键性环节。即使大数据的优势较为突显，但仍然在处理阶段存有务必解决的3大问题：大容量数据、分析速率以及多格式的数据，这三大问题使得现代标准化的储存技术难以对大数据执行相关的储存过程，进而需求人们积极地引入较为科学、有效的分析系统，进而对大数据实施分析过程。

　　1.Hadoop HDFS

　　Hadoop HDFS主要是采用流失数据询问形式进而实现容量较大文件的储存，主要是运用在商业化硬件群体中，而所谓的商业化硬件群体，即是区别于低端硬件，且相对于低端硬件群体而言其产生问题的机率是大大地降低的。Hadoop可以不用在价格较高且可信度高的硬件上运用，即便是面对产生问题机率较高的群体，HDFS在面对问题之际仍然会采取继续运用的手法而且与此同时不会让用户发现较为突兀的间断问题，这样的理念从本质上大大地减少了针对机器设备的维修维护费用，特别是对于同时监管成千上万部机器设备的用户。

　　2.Hadoop的优点与不足

　　Hadoop是一项可以针对诸多数据实行分布型模式解决的软件架构，与此同时其处理过程主要是依据一条可信、有效、可伸缩的途径进行的，这点也是 Hadoop所独有的优点。然而众所周知，每样事件都不能做到完全的完美，Hadoop与其它新兴的科学技术相同，一定的不足在实际应用过程中变得日益明显：第一，现阶段的Hadoop针对企业内外部信息的维护、保护效用较为匮乏，项目的设计工作人员务必选择自行手动的方式进行数据的设置，并且这一过程较大程度上依赖设计工作人员确定相关数据信息的准确性，形成时间浪费的局面;第二，Hadoop需求社会具备投资构建专用的计算集群，可是这一般会容易形成单个储存、计算数据信息和储存或者CPU应用的难题，并且这样的储存形式在其它项目上仍然会存有兼容性的难题。

　　二、实施数据挖掘的方法

　　现阶段的大数据时代常用于数据挖掘项目的方法较多，比如分类法、回归分析法、关系规则法、Web数据挖掘法等，本文主要是针对分类法、回归分析法、Web数据挖掘法对数据挖掘过程进行分析

　　1.分类法。分类法主要寻找规模较大的数据库当中其中一组数据的相同特质且依据划分形式把数据划分为不一样的种类，对其实施分类的主要目的是利用划分形式，把数据库当中的数据项目投放至特定的、规定的类型中。比如现今淘宝商店主要是依据用户最近的购买状况对用户实行相关的划分工作，再者能够更为有效地对用户实行推荐，进而逐渐提高淘宝店铺的销售量。

　　2.回归分析法。回归分析法主要是展现数据库当中数据信息的独有特质，利用函数来展现相关数据间的不同联系进而察觉相关数据信息特质的依赖程度。回归分析法能够被运用至各项针对数据序列的预计与测量以及存有联系的数据探究中，而在市场营销方面，回归分析法能够在每一层面上有所体现，比如企业能够对本季度销售量执行相关的回归分析法，继而便于对下季销售量进行较为接近的预测并且对相关的问题采取不一样的解决方案。

　　3.Web数据挖掘法。Web数据挖掘法主要是针对网络式数据的综合性科技，目前在全球范围内较为常用的Web数据挖掘算法主要有PageRank算法、 HITS算法和LOGSOM算法，以上的三种算法所涉及的用户主要是指较为笼统的用户，没有较为鲜明的界限对用户进行详细、谨慎地划分。然而当前Web数据挖掘法也正迎来了一些挑战，比如用户分类层面、网站公布内容的有效层面、用户停留页面时间长短的层面等。在大力推广与宣传Web技术的大数据时代，以上所提及的挑战也应当引起社会大众的关注，并且务必要谨慎地对待。

　　总而言之，即便现今我国正步入大数据时代，可是现阶段我国数据的相关技术仍然停留在初创的时期，更深一层地改进与发展有关数据分析技术仍然是目前社会针对数据专题的热门话题。