大数据与数据中心 关系情如连理

当下“大数据”无疑是最火的，在技术圈里广为流传。今年刚刚开完的两会，中央电视台引用大数据做出各种各样的分析统计，可谓是大数据在央视这个平台上的首次亮相，也将大数据的应用推向了新的高潮。大数据是何许也? 大数据这个概念是13年前，Gartner公司在一份研究报告中首次提出的。大数据从字面上不难理解，就是大量的数据。到2013年，世界上存储的数据达到了约1.2泽字节，其中非数字数据只占不到2%。下面的表1列了包括泽字节的数据度量单位。

1Byte8Bit

1KB1024Bytes

1MB1024KB1,048,576Bytes

1GB1024MB1,073,741,824Bytes

1TB1024GB1,099,511,627,776Bytes

1PB1024TB1,125,899,906,842,624Bytes

1EB1024PB1,152,921,504,606,846,976Bytes

1ZB1024EB1,180,591,620,717,411,303,424Bytes

1YB1024ZB1,208,925,819,614,629,174,706,176Bytes

表1 ：数据度量单位

1.2泽字节，就是1024EB。这样说可能感知不到这个数据量有多大。比如红楼梦包含87万字，如果将这些数据存储起来，则1GB相当于671部红楼梦，1TB相当于631903部，1PB相当于647068911部，1ZB则是1PB的1024*1024倍，这就是海量的数据。我们应该意识到信息爆炸已经到来，我们的数字世界一直在高速扩张。谷歌公司每天要处理超过24PB的数据，这意味着其每天的数据处理量是美国国家图书馆所有纸质出版物所含数据量的上千倍。Facebook这个创立时间不足十年的公司，每天更新的照片量超过1000万张，每天人们在网站上点击“喜欢”按钮或者写评论大约有三十亿次，这就为Facebook公司挖掘用户喜好提供了大量的数据线索。与此同时，谷歌子公司YouTube每月接待多达8亿的访客，平均每一秒钟就会有一段长度在一小时以上的视频上传。从科学研究到医疗保险，从银行业到互联网，各个不同的领域都在讲述着一个类似的故事，那就是爆发式增长的数据量。这种增长超过了我们创造机器的速度，甚至超过了我们的想象。这种大数据具有四个特点：大容量(Volume)、类型多(Variety)、增长速度快(Velocity)、价值高(Value)，简称4V，这样的数据使得没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务，因此出现了一系列大数据相关的技术。比如：数据采集技术ETL、数据存取技术SQL、云存储、云计算、数据挖掘、Hadoop技术等等。

然而这样爆发式增长的大数据，这些大数据新技术都需要有更多的计算资源、更多的存储以及高效的转发平台，才能充分利用起来这些数据，显然数据中心是其唯一的落脚点，数据中心可以给大数据提供最基础的架构，在数据中心，大数据技术可以实施，数据可以保存，完成各种各样的科研实验、预测、搜索业务、应用系统等。然后数据中心现在需要面对的是海量数据，这要求数据中心要有庞大的存储系统，可以存储大量的计算数据。还要求数据中心计算能力很强，如果每次运算都要花费数周或数月，这样的计算结果将毫无价值。因此数据中心要有数以万计的服务器，协同式进行分布式计算。还要求数据中心的带宽要大，核心链路要全部40G/100G互连，让数据在各个计算节点、存储节点以及数据中心外界高速传递，大数据给数据中心带来的发展的机遇，加速了数据中心的更新换代，传统的数据中心已经无法满足大数据的需要。我们也不难看到，最近各种数据中心新技术层出不穷，有些甚至直接就是为了解决数据中心面临大数据、云计算而遇到的问题。数据中心从10M接入发展到1000M接入花费了20年，而从1000M到40G接入却仅用了7、8年的时间，现在在百度、腾讯、阿里的新建数据中心基本全部采用40G互连，100G出口，在运营商网络400G的高速传输已经开始商用，为了满足日益增长的数据需求，网络带宽也在飞速的增长，以太网标准机构已经开始研究400G以太网传输技术，目前的理论极限是1000G，相信不久的将来这些都将成为现实，部署到数据中心当中。数据中心传统的网络架构也需要革新，FCoE、XLAN、TRILL、SPB、虚拟化技术等一系列新技术扑面而来，让大数据有了发挥的余地。

大数据赋予了数据中心更多职能。数据中心除了要体现它的价值，把机房、设备、网络和服务器都建好，但这只是修了条路，而修路的意义关键在于跑车，数据中心也一样，它的价值在于帮助使用者采集、组织和管理数据。在大数据的发展趋势下，能够把核心数据、紧密相关的数据，以及一些从社会上拿到的偏向于大数据的数据资源，将这些数据按照自身的核心目标和发展路径进行组织和管理。数据中心不仅为大数据提供了施展才华的平台，也将，也将数据进行了管理与集中，发挥更大的效能。

总体来说，似乎是大数据对数据中心的影响就好像是另一款高性能的应用程序，需要更多的处理能力、更多的存储空间、以及更高性能的网络，似乎只是带给了数据中心一个大负担，数据中心为了迎合大数据，被动进行一些改革。而实际上，大数据不仅仅只是业务分析的工具，其也可以成为帮助改善数据中心的一款有用的工具。通过大数据技术，可以有效删除一些无用的、重复性的数据，提升数据处理效率，降低数据中心运营的综合成本。所以大数据不仅仅给数据中心自身带来的发展，也让数据中心运营更加高效。大数据并不是简单的大量的数据堆积，大数据还要解决一些用传统技术方法无法解决的数据问题，所以海量数据只是其一个方面，关键是充分利用好这些海量数据，挖掘其中的价值。

大数据与数据中心的发展相辅相成，互相影响，互相制约，谁也离不开谁。只有将两者有机地结合起来，才能给企业带来实质性的收益。要知道流量是一个互联网企业的生命，而数据也是数据中心的生命，拥有数据数据中心的生命才能延续，然而数据中心要活的精彩，还需要将这些数据充分利用起来，大数据技术就是最好的帮手。未来将是数据爆发的时代，该到了大数据和数据中心大显身手的时候了。