解读IBM基于Hadoop的数据分析平台_数据分析师

毫无疑问，大数据成了2012年的热门词。根据国外统计机构的报告，大数据处理在今年的市场规模已经达到700亿美元并且正以每年15-20%的速度增长。几乎所有主要的大科技公司都对大数据感兴趣，对该领域的产品及服务进行了大量投入。其中包括了IBM、Oracel、EMC、HP、Dell、SGI、日立、Yahoo等，而且这个列表还在继续。

    IBM也在2011年中旬对外发布了针对大数据处理和分析技术：在SmartCloud平台上新增基于Apache Hadoop的服务InfoSphere BigInsights分析软件。在日前举行的中国程序员、数据库工程师“2011 IBM DB2 迁移之星大赛”媒体活动上。IBM软件集团大中华区信息管理软件总经理卢伟权、IBM中国开发中心信息管理总经理朱辉就相关话题分享了自己的看法。

3年前布局Hadoop研发

      据介绍，IBM对Hadoop的研究开始于2～3年前。截止到目前，研究成果涉及作业调度、查询语言等多个方面。作为典型应用成果，IBM InfoSphere大数据分析平台包括BigInsights和Streams，二者互补，Biglnsights对大规模的静态数据进行分析，它提供多节点的分布式计算，可以随时增加节点，提升数据处理能力。Streams采用内存计算方式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。

BigInsight整体框架图

     BigInsights基础版和企业版均包含了Apache Hadoop和大量的开源软件技术，具体包含的开源项目：

• Apache Hadoop包括Hadoop Distributed File System (HDFS)、MapReduce框架和通用的实用工具，是一种适用于数据密集型应用的软件框架，可用于开发分布式计算环境
• Pig是用于Hadoop的一种高级编程语言和运行时环境
• Jaql是基于JavaScript Object Notation (JSON)的一种高级查询语言，也支持SQL
• Hive是一种数据仓库基础架构，设计用于支持批量查询和分析Hadoop管理的文件
• HBase是一种以列为主的数据存储环境，设计用于支持Hadoop中的稀疏填充的大型表格
• Flume是一种用来数据收集并将其加载到Hadoop中的工具
• Lucene是一种文本搜索和索引技术
• Avro是一种数据序列化技术
• ZooKeeper是分布式应用程序的一种协作服务
• Oozie是工作流/作业编排技术

    除了开源技术，BigInsights还包含了IBM开发的定制技术：一个文本分析引擎、一个用于商业分析的数据挖掘工具，以实现与企业软件的整合和Hadoop增强的效果。

IBM中国开发中心信息管理总经理朱辉

      在IBM中国开发中心信息管理总经理朱辉看来，BigInsights并没有替代OLAP（Online Analytical Processing）或OLTP（Online Transaction Processing）应用程序，但它可以整合其中，用于“过滤大量原始数据并合并结果，将结果以结构化数据的形式保存在DBMS或数据仓库中”。IBM的Hadoop解决方案已经问世了，客户可以进行测试。

Hadoop无法单一解决大数据问题

     此外，朱辉认为目前面临的大数据分析和处理问题，业界需要一整套全面的解决方案。“当前任何一种单一的产品都无法完整解决面临的大数据的问题和挑战。现在行业当中大家听得最多的是Hadoop，但我不认为基于任何一个例如Hadoop这样的单一产品就能够解决目前的问题。传统的数据仓库在这当中仍然扮演一个非常重要的角色，至少是海量数据巨大的产生源。”

     此外，据当天与会的IBM Big Data开发资深经理王远洪介绍，IBM CDL(中国开发实验室)的研发人员参与了BigInsights项目的全球研发，并积极帮助国内客户在本地验证IBM基于Hadoop的数据分析平台项目。

IBM软件集团大中华区信息管理软件总经理卢伟权

     在当天的活动中，IBM软件集团大中华区信息管理软件总经理卢伟权介绍了本次中国程序员、数据库工程师“2011 IBM DB2 迁移之星大赛”活动情况。此次大赛于2011年9月20日在北京正式拉开帷幕，分为预赛、复赛、决赛三个阶段。预赛采取了网上答题的方式进行，选取成绩最好的100名选手进入复赛；进入复赛的选手则根据地域、兴趣自行组队，按照组委会公布的应用相关的方向和领域，向组委会提交团队的Proposal，由评委最终选出进入决赛环节的10支队伍，参加3月14日于北京进行的总决赛。除获得奖金、证书等奖励外，竞赛优胜队伍还将获得参观IBM美国实验室的机会。

    在早些时候，甲骨文也曾宣布其大数据系统Big Data Appliance将能够支持Hadoop，而且微软也暗示将在Azure云平台和 Windows Server上对Hadoop进行支持。此外，亚马逊的Elastic MapReduce云服务也是基于Hadoop。可以相信，大数据的解决 方案会受到业界的极大关注。（本文来自：CDA数据分析师）