并行处理在大数据分析中所面对的挑战_数据分析师

HBTC2012峰会在北京举行，俄亥俄州立大学的教授张晓东老师就并行处理在大数据分析中所面对的挑战做了精彩的演讲。

张晓东重点讲了并行计算对大数据以及现有的高性能计算的计算模式是否适应大数据。第一步先讲一下在大数据中有哪些非常广应用，现有的数据库是不能使用的，很简单数据量太大了。同时，大数据的要求不光是高性能同时还要有更高的。而且没有什么硬件支持，都是用非常廉价的硬件。第二个问题都是学科的研究，因为它的应用范围非常广。数据的格式等都不一样。第三个问题是应用需求非常廉价的架构，所以可以看到现有的数据库是不适合的。它的价格是非常昂贵的，所以我们我现在用的主要是用开源的。

张晓东认为今天我们进入到一个“数据是检验真理的一个重要的标准”的时代。对算法有了新的需求。我今天的讲座想主要是聚焦在计算模式上的变化，计算尤其是系统设计发生了什么样的变化过去我们用的是高性能计算的模型。

对大数据来讲最主要的是在模型中做计算的约束是非常大的。我们看BSP模型，为什么在过去用到高性能计算上，今天在大数据不能用。之后再做并行计算，之后再做篡数，过去做的所有的高性能计算都是围绕这个模型来的。

如果我们有了硬件、有了软件，22年前它就总结了高性能计算，它画了一个圈，我们所有的努力都在这里面。

BSP模型有数据吗?因为高性能计算数据并不是重要的，主要是以计算为主的。大数据更不在里面了。今天做大数据计算的时候，是不能与硬件相关的我不能说找到英特尔说要造一个大数据。

所以我们现在用的。我们的模型是今天高性能计算是不能保证的。

今天为什么要做并行计算，并行计算给我们带来了什么样的障碍?scale-out是什么概念?张晓东认为给大家举一个例子，2008年的时候Google用processed算法计算一个PB的计算量，用了1个小时2分钟。2011年10PB的数据用了6小时27分钟。我们比较要有非常高的并行度。我们在高并行度下面遇到的第一个困难是，没有特殊的通信硬件来给我们支持。这不像高性能计算。第二Hadoop的模型非常简单。第三，没有软件的工具来帮助我们做。另外，当你放下了数据以后是不能传输的，基本上是不能动的。今天这个会议是为了Hadoop。我们对引擎本身是没有抱怨的，问题是如何利用引擎处理大数据。如果我们只永远是的引擎只能做简单的分析。这个引擎有非常好的优点，第一它的dependency是非常小的。另外一个工作是非常简单的。我们必须要有高可用性的大数据。

如果一个数据在做负载的时候，我们要注意，如果用不好也是费用很高的。看到了当application，你想做一个的话，现在的是不支持的。如果是在不同的系统上，他们两个想做一个communication也是不支持的。

第二个问题，如果一个使用者想换个思路。如果你有一个MP可以直接翻译过去，通过机器提高了各种各样的计算。人在实际中用手来写是不一样的，75%是又机器来生成的。他在做项目的时候可以节省4倍的时间。

最后一个问题，在现有的Hadoop没有给你任何的信息，用户是不知道的，你怎么放进去的时候取这个数据的时候要非常地低。你做这样的设计是不是也改变了Hadoop的引擎。最后我们发现考了三个方面都是很基本的话，那么也是它广泛应用的原因。他们现在在整个的关键信息在什么地方?从Facebook的角度来讲，这个是一个Hadoop，用它的时候第一要存到高的数据中，如果一个用户首先用的是YSmart做示范。一个Hadoop是一个大数据中心的引擎。本身它就可以做分析，我们一个引擎只能完成一个转的操作问题是我们如何将引擎最原始的动力化为今天的支撑。因为我们相信Hadoop是一个引擎并且起了很重要的作用。