大数据隐藏的商机_数据分析师培训

对于很多人来说，术语“大数据”指的是某一种算法或软件程序，它能够帮助企业或者研究人员发现隐藏的趋势，进而可以帮助他们做出更好的可视化数据分析。

但其实，它还另有一层含义。大数据的字面含义更强调巨大的数据量,令人眼花缭乱的海量客户信息、录音记录、图像、文字信息、f a c e b o o k的留言及对已存储的技术信息的检索，并为任何用户根据他们各自的需求进行适当的分析。

你无法抛开第二层含义而只考虑第一层。事实上，如何检索数据，已成为最大的挑战，与此同时，也是高科技行业最大的机会。

信息管理问题日益突出“我们所面临的问题并不是简单的数据计算问题，而是信息管理的问题。”IBM公司Almaden研究中心主任Mark Dean在2008年提出，“计算问题已经不再是难题了。”

对于很多人来说，碳粉复印似乎像灰板和抄写员一样古老，但数字存储成为主流确实是最近才发生的事情。根据去年发表在《科学》杂志上由M a r t i nHilbert和Priscila Lopez撰写的论文，在1993年，全球只有3%的信息是存储在像硬盘或光盘类的数字化设备上的。18年以前，磁带和硅胶盘则承担了存储当时的信息的更主要角色（大约6%）。根据Hilbert与Priscila的论文，在2000年第一次互联网浪潮时代，数字化存储也仅仅占据当时全球信息存储量的25%；2002年是数字化存储量首次超过存储在传统纸张、老式录像带和其它模拟存储设备上的第一个年头。

但到2007年，DV D、C D、存储卡和其它数字存储设备已占全球信息存储份额的94%。仅硬盘存储就从7年前占总额的5%跃升至52%。2007年，全球的总存储容量达到295艾字节(E B)。想象一下，每一封电子邮件或文本信息都会在多台电脑上同时创建成数据文件。

那已是5年前了，而到了2012年，全球的数字信息总容量达到了2.7泽字节（Z B）,即2.7后面跟着21个零。根据IDC的报告，比2011年增长了48%，其中90%的数据都是非结构化数据，例如数字视频、声音和图像文件，如何对其查询与检索，已构成了很大的挑战。

新应用层出不穷

那么如何处理那些由传感器、电话和电脑产生的信息化浪潮呢？与之相应的一些应用涌现出来。天气预报人员通过空气中细微颗粒数量更好地预测天气。风力或太阳能发电厂也将充分利用准确的动态数

据驱动预测系统，估计未来电力输出量，因而可以最大化他们在其他能源方向投资的回报率。一下子，风力变得可以预测了。

另外，从各个汽车收集的包括巡航速度、位置、启动、停车等方面的数据可以为交通规划人员及公众提供实时的路况信息。久而久之，通过对大量积累的每日交通信息规律的挖掘，可以为将来的高速公路和停车场的规划提供决策支持，以减少潜在的拥堵。为此，你的汽车将会拥有自己的移动电话，并持续地与外界通讯。

还有一些更通俗的应用，有些零售商想通过对他们的保安监控录像和移动传感器进行数据挖掘。这其实并不是为了捉贼，而是希望通过对不同特征群组的购物者进行分析，寻找出为什么某些货架对于客户有吸引力，而另外一些则无人光顾。

企业和客户们正在变得越来越不耐心。在银行排队等候8秒钟，算是很幸运的，但是在网络上同样等待8秒钟却显得漫长无比。

存储需要建立全局观

为了满足这方面的需求，存储行业需要改变将存储仅仅作为一个收集设备的看法，应该开始把硬盘、闪存、磁带存储器、数据中心存储系统当成一个存储的整体来看。

从某种角度来看，对于数据结构的设想，客户已经走到了存储企业的前面。例如，大型的网站资产、电子商务网络，已经开始在后端运营方面采用混合了的闪存、磁带D R A M存储器的组合，以优化速度、数据检索或者综合效率。不同行业或不同公司的存储结构的特点是不同的。存储结构的动态性变得更容易理解，数据检索架构将会成为树立竞争优势的工具。

移动技术将成为应用开发的温床。用户希望使用不需大量电池容量、但又可存储海量的数据的轻型设备。这本是一个悖论，但是采用了正确的存储结构，这一载体得以精心设计出集本地存储和云存储数据服务的混合服务，从而优化数据的传输。同样，制造商们不得不投资更多的存储容量。很少有投资者和企业喜欢品味在地上铺水泥的过程，但这又是必需的。硬盘行业每个季度硬盘发货量达到1.6亿～1.7亿，可以存储100拍字节（PB）。当然，这还是不够的。

去年12月，泰国发洪水时，分析师和PC厂商们都被迫重新调整了他们的预测。

闪存生产商们也必须要投入大约1950亿美元创建新工厂，以满足全球存储容量总需要的50%。当然，这几乎不可能发生，存储行业需要提升芯片的密度。

哪一种方法都不容易。数据存储一直以来都是一个最具挑战性的高科技领域。但是，如果处理得当，将会使数据存储行业成为未来数年内持续增长的行业之一。