采用大数据技术占领竞争高地

在Talend Connect大会上，一名IT业内分析专家指出，企业若不抓住大数据带来的机会，将很有可能在同行中遭到淘汰。
    Jeff Kelly是Wikibon.org的首席研究员，也是SiliconANGLE的编辑。他说，诸如Hadoop和MapReduce这样的大数据技术才刚刚起步；很多人由于技术有限或观念陈旧，仍然将它们拒之门外。然而，在不久的将来，当软件使用门槛变低大量企业开始采用的时候，这些今天已经采用了大数据技术的企业将再次占领高地。到那时，他们会具备更丰富的信息来进行决策，也会比其他企业赚到更多的钱。
    作为曾就职于TechTarget的记者，Kelly说：“我们已经研究大数据两三年了，得到的结论就是，大数据是目前业内赢取竞争优势最有力的武器。当我们得出这个结论时，我们意识到了它的轰动性。事实的确如此，我们实在想不出有哪一个行业不会受到大数据的影响。”
    “大数据”这个词今天常在对机器生成的海量结构化与非结构化信息、社交媒体网站和移动设备的形容中用到。除此之外，它也用来形容可从信息中提取出有用商业洞察的存储、管理和分析技术。比较熟知的大数据管理技术包括：Apache Hadoop分布式文件系统、MapReduce、Hive、Pig和Mahout.
    数据指向性的优势
    在Talend Connect大会上大谈决策制定流程中业务数据指向性问题的不止Kelly一人，Tony Fraser也是其中之一。Fraser是Ogilvy & Mather（一家大型公关广告公司）旗下营销公司Neo@Ogilvy的创立人之一，也是技术合伙人。
    Fraser说：“我们做的是数字广告。只要你能想到的领域，我们都有涉及。”
    Fraser在发言中举出实例，说明了数据指向性决策为他们公司成功带来的帮助。其一是，巴黎酒店和拉斯维加斯赌场与Neo@Ogilvy合作，吸引更多的顾客。Neo@Ogilvy首先通过社交媒体和旅游网站针收集顾客对巴黎酒店的正面评价，发现大多数都与Bellagio酒店喷泉的景色和街道对面的赌场相关。根据这个信息，公司团队投放了一期电子广告，内容为喷泉旁的巴黎酒店。
    Fraser说：“广告一投放出去，酒店的预定人数激增。”
   大数据运用的障碍
    Kelly称，大数据管理技术的概念早已传播到大街小巷，但为什么真正使用它的企业却很少呢？主要有两个原因。
    第一，Hadoop与其他大数据软件的使用极其困难，而正确使用技能的培训尚未出台。目前，企业只有高薪聘请相关专业的博士才能对大数据方程式进行分析。
    Kelly说：“一个Oracle DBA不一定具备管理、部署与监控Hadoop的技能。比如，一个分析层面的数据工程师需要编写MapReduce,而这样的工作可与SQL查询的编写完全不同。”
    第二，目前大部分企业还缺少实施大数据的概念和计划。
    现今的许多大型企业都已习惯于通过数据仓库与BI报表技术来获取业务信息。然而，Kelly认为，BI或数据仓库模型是通过数据分析对过去进行评估，而大数据技术是通过数据分析对未来进行预测。
    他说：“对于这些企业来说，大数据运用需要一种观念上的转变；你需要信任数据并跟着它指的方向前进。大数据的意义就在于向前看、做出预测，然后行动。”
   大数据管理的普及
    Kelly认为，大数据管理和分析与其他新兴技术无异，最终都会普及，或者说会变得大众化。但是，这也需要一个过程。
    由于大数据技术的复杂度对很多刚刚接触的企业都是不小的挑战，所以这些新的应用工具和软件技术需要被简化。Talend、Hortonworks和Cloudera等公司目前都在简化大数据技术的难度。Kelly说，大数据技术还需要很多革新，以让用户更简单地进行部署和管理、对Hadoop集群进行防护并在流程与数据源之间创建集成。
    “现在你想成为一个顶级数据程序员，就必须具备编写MapReduce、SAS或其他语言程序的复杂技术。所以，我们需要研发出可以剔除部分专业性的工具；这样一来，即使你没有博士学位，也可以编写大数据程序了。”
   大数据的普及少不了对用户的大量技能培训，内容包括大数据架构、Hadoop部署管理、数据集成与MapReduce的编程等。
    Kelly说：“我们需要全面解决存在问题。一方面简化工具与技术；另一方面加强人员的培训，使DBA和业务分析师能够胜任‘大数据时代’的工作。”