分布式计算能让大数据分析更好地应对挑战

大数据分析在理论上听起来不错，但实践操作却非易事。Cloudera公司是电子垃圾回收领域的先驱，公司的产品经理Eva Andreasson表示，大数据分析面临技术的局限和存储成本，以及应对不同系统的挑战。

　　Andreasson在悉尼举办的“YOW! 开发者大会”上说，Hadoop下的不同工具能更好地应对各种挑战，并列举了卫生和零售业的实际案例。

　　Andreasson曾与美国一家儿童医院开展过合作，该家医院需要对其数据进行实质分析。

　　该医院的监测系统不断地获得患者的呼吸系统、心脏速率、血压等数据。可惜的是，该家医院仅能将患者的关键数据储存到手术或治理后三天。

　　Andreasson说，“在医院的重症监护病房里，有很多婴儿及患者不知道该如何沟通，医生只能通过监测系统获得所有信息。试想，如果你是医院里一名无法沟通的患者，在手术后治疗出现了不适反应，该怎么办？”

　　医院的另一个问题是，研究数据存储在不同的系统当中，难以在短时间内有效整合，这往往导致临床医师要获得特定信息需等待很长时间。

　　Andreasson还强调：“医生们明白儿童急诊的最常见原因是哮喘。他们也做过大量不同渠道的研究，也拥有20年的其他外部研究数据。但是他们没有一套系统能够为研究小组有效汇集数据，数据总是存储在不同的系统内。”

　　医院应用Hadoop平台可应对这些挑战，而且能节省部分开支。Andreasson说，从硬件建设到软件安装，Hadoop平台只需医院用不到三个处理器来运行原来的传统数据管理系统。

　　医院每周大约可处理50GB的监测数据，并有2TB的容量接受所有研究数据的同时访问。而Apache Sqoop系统可用于在相关数据库和Hadoop之间进行数据转换。

　　Solr是一款全文搜索的开源系统。工作人员正在使用Solr进一步探索它的各种数据集和文件。而Impala作为一款查询工具，用来做实时监测数据分析和研究病人的健康状况发展趋势。

　　Andreasson说，“几星期内，研究人员就能改变流程，让患者的看护时间更长。他们发现，护士与患者接触的时间多几个小时，患者就能恢复得更好。安装完这一系统几个月内，医院就能减少与哮喘相关疾病的数量。”

　　Andreasson还提到另外一个在线零售商的案例，和儿童医院类似，该零售商以前只能存储客户交易六个月以来的有限数据量。

　　“如果存储时间能够达到一年、两年乃至五年，就能显示哪类客户在一段时间内减少购买或停止购买其产品。”Andreasson补充说，“Hadoop就能做到这一点，它能提供半年、一年乃至五年的数据，因为它是一个线性的可扩展平台。”

　　该零售商还记录着点击该网站的每个访问者记录，访问者点击网站上特定板块的时间，并加强了多类型数据集之间的相关性。

　　通过使用Flume，每个日志事件在生成之时就会被消耗掉，并发布到Hadoop分布式计算文件系统。然后系统会创建表格比较点击率最高的产品和最畅销的产品。

　　“在上述案例中，有一项产品不在"最畅销产品"之列，但数据显示用户经常点击这个产品。这意味着什么？你可以通过添加有助商业开发的数据集，获得新的见解。”

　　“我们看到，小孩踢的足球大受欢迎，但它并没有在我们的购物清单上。那我们要做些什么来获得更多的收入呢？也许这个产品定价出了问题，在购物者看到价格信息后没有购买就离开网页了，当然也可能有其他原因。”