大数据在中国的发展_数据分析师

随着社会的飞速发展，互联网技术已应用于各个行业。随着数据的日益增多，数据分析师这个职业也慢慢被各个行业所熟知，数据分析师能更快更好的去利用这些数据，进行数据分析为企业做出正确的投资策略。CDA数据分析师在顺应大数据、云计算的潮流下发起成立的职业简称。旨在加强国内外乃至全球范围内正规化、科学化、专业化的数据分析人才队伍建设，进一步提升数据分析师的职业素养与能力水平，促进数据分析行业的高质量持续快速发展。

美国总统奥巴马在白宫网站上曾经发布了一篇《大数据研究和发展倡议》的文章，对于大数据发展的重要性给予了高度评价和充分的肯定，而中国工程院院士邬贺铨也同样肯定了大数据在各领域使用的重要价值。目前国内多所重点高校，例如清华大学、 北京航空航天大学都开设了大数据的相关课程，并设立了大数据的硕士学位。同时越来越多的企业也开始利用大数据，例如阿里巴巴、百度、腾讯、雅虎等等。2010年中国联通就构建了一个一级架构的海量存储和查询系统解决业务需求。而种种迹象表明大数据被越来越多的领域关注和应用，根据互联网数据中心（IDC）统计，到2015年全球大数据的市场将达到170亿美元的规模，巨大的市场必然引发一场“大数据革命”。
一 、大数据的应用案例
大数据巨大的市场价值都体现在那些方面我们举一些实例
1、农夫山泉 — 随着销售数据的增加以及数据增长速度的加快，传统的商业智能报表对于数据的展现速度也越来越慢，已经影响到了农夫山泉业务的正常进行，为了应对业务需求，农夫山泉运用了大数据解决方案来对海量业务数据做计算分析， 这样一来企业可以更好的去判断市场需求及市场动向，更快的制定营销策略，创造更高的利润。

2、亚马逊 — 通过分析用户交易数据，了解用户的消费倾向，针对用户推送个性化的营销广告，充分运用了大数据的分析的能力，据统计分析亚马逊有三分之一的销售额来自个性化推荐系统。

3、天气预报 — 气象台通过气象卫星及气象采集设备对云层、风向、风速和空气湿度等因素做汇总分析，从而快速的计算和预测出近期内较为准确的气象信息，突出体现了大数据的时效性。


二、大数据的特点

大数据为何拥有如此巨大的市场价值？首先由他的特点所决定。
1、大量化 — 这个比较好理解，指的是数据体量大，例如我们使用qq、微信、微博、淘宝、电子邮件以及手机短信和通话记录等等，每天都在生成大量的数据，有关分析统计2003年之前人类所产生的所有数据总量还不及今天互联网时代两天所产生的数据量，这里就体现了数据的大量化和爆炸式的增长速度的特点。

2、多样化 — 刚才我们讲到的微博、微信、淘宝、电子邮件以及手机短信和通话记录产生的大量的数据信息，产生这些数据的载体的多样化也决定了数据的多样化，为了善于归类这些多样化数据，我们通常把它们分为两种，一种是结构化数据，另一种是非结构化数据，首先我们讲一下结构化数据，例如Excel表格中的信息，可以用行和列来划分，我们通常把类似于Excel表格中的这些信息定义为结构化数据，而像音频、图片、视频、这些我们划分为非结构化数据，例如一张风景画图片，往往包含着很多信息在里面，我们很难具体的将其归类和定义。

3、快速化-当我们访问一个网页的时候，提交点击操作后网页需要零延迟或者低延迟的给予反馈信息，假若是高延迟或者迟迟不能打开网页，我们还会选择去浏览这个网页吗？还有美国梅西百货公司的实时定价机制，通过对市场数据的分析，判断市场动态，得出价格走势，快速的去调整商品的价格，提高销售量和销售利润，这里更好的体现了大数据的快速化的特点。

4、价值密度低-这里指的是在海量的数据库中也许只极少部分信息是有价值的，例如警方在破案时为了追踪犯罪嫌疑人，往往要从大量的监控录像中寻找有关犯罪嫌疑人行踪的视频，而这部分视频在海量的视频数据中只是很微小一部分，这里体现了大数据的价值密度低。
大数据的特点决定了普通的系统是无法做到快速的处理这些大量的多样化的信息，那么目前主流处理大数据的是hadoop，它是一个开源的分布式系统构架，允许运行在普通的pc上，适合处理海量数据，并且有着很强的扩展性，以往当服务器满负荷之后需要增加新的服务器来解决，这种服务器的价格往往早100-200万，成本很高，而hadoop属于分布式的系统，强大的扩展性，允许其从一台服务器扩展到上千台的服务器，而这种服务器价格只有1-2万，大大节省了成本，同时并发式存储和计算数据，大大提高了效率，在这个免费的构架上可以搭载很多的系统软件，确保大数据被更合理的存储分类和计算以及应用，目前IBM, EMC,couldera，oracel，hortonworks，intel都开发出了在免费的hadoop基础上的商业版本hadoop。
三、hadoop的两个核心：
刚才了解了hadoop是目前处理大数据主流的分布式系统架构，接下来我们就了解一下组成hadoop的两个核心，
1.hadoop第一个核心是HDFS，它是用来存储数据的，简称分布式的文件系统，简单理解是将数据分布式的存储到不同的服务器上，而需要的时候又可以同时调用，保证了安全性的同时有提高了吞吐量。
2.第二个核心则是用来计算数据，我们称之为Mapreduce，它一个分布式的计算框架，支持在多个服务器上并行运算，这样又大大的提高了计算速度。

存储了数据将数据分类计算之后那么如何盘活这些数据，这里就涉及到了以hadoop为基础架构的其他项目，例如Hive—是将传统的sql数据库语言转换为mareduce能够识别语言的这样一个工具，还有Hbase—是一个开源的面向分布式系统的存储数据库，pig，chukwa，zookeeper等等，这些都是运行在hadoop分布式系统构架上运行的软件系统，这样一来从数据的存储到计算再到应用就构成了一个完整的hadoop生态系统。
四、hadoop应用案例
刚才我们了解完了大数据和处理大数据的hadoop再到hadoop的整个生态系统
接下来我们讲几个hadoop在各领域应用案例


1、金融行业：
摩根大通— 已经开始使用hadoop来应对诈骗风险，it风险管理，自助服务等，摩根大通现拥有150PB的在线存储数据、35亿个用户帐号和30000个数据库，而这些庞大数据并非是传统的处理方式所能驾驭的。
中信银行信用卡中心 — 统计分析2008年发卡量为500万张，而到了2010年在短短的2年时间内就增加了一倍，信用卡数量的增长必然决定了业务及数据规模的增长，中信银行通过hadoop分布式系统对规模庞大的业务数据进行分析计算，从而对信用卡用户做出信用评估，消费能力，消费倾向评估，从而快速的制定用户信用额度和推送营销广告。 

2、电子商务领域：
阿里巴巴 — 小微贷款，对数据库内的用户进行信用分析，还是根据用户的消费记录和信用记录来制定贷款的额度，降低风险的同时提高了效率，目前阿里巴巴运用了15台8核cpu1、5g内存、1.4TB硬盘存储的集群搭载hadoop分布式系统来运行。


3、电信行业：
中国联通早期是无法提供用户详细的消费记录，只能提供每月的总使用量，中国联通2010年构建的一级构架的海量存储和查询系统来解决这一业务需求，这个系统就是基于hadoop而搭建的。 

4、互联网领域：
百度同样也运用了hadoop来处理日志的分析，同时使用它做一些网页数据库的数据挖掘工作，而每周数据挖掘量达到了3000TB，Hadoop在雅虎同样也被运用。

纵观大数据，我们不难发现当今互联网时代走在前列这些企业和集体都在争先恐后的投入到大数据的浪潮中，进一步证明了大数据并非是风行一时，也充分体现了大数据市场的巨大潜在价值，大数据正在正默默的改变这企业传统运作模式，一个大数据时代已经到来，谁先掌握了大数据技术那么谁就抢占了市场先机。文章来源：CDA数据分析师培训官网