
Apache Hadoop为BI分析带来机遇和挑战
Apache Hadoop技术经常与大数据概念联系在一起,它们常常同时出现在各种行业会议和媒体报道中。而IT人员、咨询顾问和行业分析师已经逐渐达成共识,Hadoop只是诸多大数据技术中的一种。
Hadoop是一个开源技术 ,它允许公司存储和分析分布式计算环境的海量数据。它的出现肯定对提升大数据的影响力有重要作用。但是行业观察者指出,Hadoop现在仍存在一些问题。
Forrester机构的企业架构分析师Brian Hopkins说:人们开始认识到,大数据和Hadoop并不是同义词。这是因为他们下载Hadoop之后,并不意味着就能够玩儿转大数据,它仅仅只是一个工具。
大数据与Hadoop:从幕后走到台前
Hadoop最初由互联网巨头谷歌和雅虎共同开发,现在已经转移到Apache软件基金会。在赢得了大数据必备工具的称号并开始出现一些成功案例之后,这项技术及其醒目的logo从2011年起名声大振。
以eBay为例,这家知名电商平台在几次大会上都介绍了它的三层数据分析平台。结构化数据位于第一层:一个用于保存内部业务项目(如支撑商业智能仪表板和报表)的企业数据仓库。第二层由Teradata数据管理平台组成,用于存储大容量半结构化信息。而非结构化数据(如文本信息)则保存在第三层,它是一个用于深度研究、分析和实验的Hadoop集群。
Hopkins在最新播客大数据的超大规模价值上指出:现在出现了一个有趣的用例,其中Hadoop被看作是一种快速分布式环境,它成为分段存储大量信息的场所。因为你还无法确定如何处理它,所以直接将原始文件保存在Hadoop中,然后由Hadoop处理这些文件。
Hadoop是一个分布式文件系统,它的数据(结构化、半结构化和非结构化)存储功能优于关系型数据库。因此,它非常适合那些需要收集大量数据(如无统一格式的社交媒体网站内容、计算机生成的传感器日志和GPS位置信息)的公司使用,而不会影响他们的传统关系数据库。
Wayne Eckerson是TechTarget业务应用研究主管,他在最新报告大数据及其对数据仓库的影响中指出:Hadoop是一种载入立即可执行的环境:管理员可以在Hadoop中存储大量数据,而不需要将它们转换为特定的结构。然后,用户就可以使用他们的工具分析这些数据。
SAS 研究所的资深行业分析师Jill Dyché也指出,Hadoop使用户能够查看原始数据,这在一定程度上改变了数据仓库使用者的工作方式。
她说:在数据仓库领域,我们鼓励提出业务需求,鼓励严格的数据质量要求,但是不鼓励独立加载数据。但是在大数据领域,这一方式得到了颠覆。
Apache Hadoop困境
Hadoop还有其他优点。例如, MapReduce能够以并行方式处理大数据集。根据行业分析师Philip Russom的观点,它是一个通用执行引擎,甚至能够处理手工编码的代码。
但是,如果要使用MapReduce,程序员必须能够操作它的语言。有一些工具并未被广泛熟悉,如Hive,它使用一种类SQL的语言(HQL)访问数据。
Russom指出:我曾经听人说:‘Hive很容易学。’但是,它无法真正解决与传统SQL工具的兼容问题。
关心数据分析的公司还需要一些技术人员参与(如数据科学家),他们应该有能力操作Hadoop的专用工具。数据科学家一般具备博士学位,因此,他们的薪水可能很高,而且也很难招聘到。
此外,这项技术还有其他一些缺点:Eckerson甚至将Apache Hadoop描述为乳臭未干,而且在安全性、数据质量和元数据分类等功能上存在不足。Hopkins认为它很难用,不成熟。Russom认为这项技术肯定会有不错的前景,但是成为主流应用还需要几年时间。
根据eBay高级技术成员和架构师Tom Fastner的观点,即使在eBay,其核心竞争力也不在于Hadoop,而是构成数据分析平台的第二层技术。eBay将它基于Teradata的数据库系统称为Singularity,并且表示它将提供30 PB空间,而并发性低于EDW。Fastner指出,Singularity的最大应用是用户行为分析,这个流程通常可以产生宝贵的商业洞察力。
而且,Forrester的Hopkins指出,有其他技术可以帮助企业实现优于Hadoop的大数据方案。所有这些都取决于业务需求。他说:我们分析了大数据技术的两个不同方面。其一是结构,另一个是延迟。
每一个方面由低到高排列,大数据工具和技术都属于这些范畴。例如,内存技术(如SAP HANA)可以在高度结构化数据上实现低延迟的查询结果,而大规模并行处理(MPP)技术(包括Teradata和IBM Netezza)都可以处理高延迟的高度结构化数据。
Hopkins说,虽然Hadoop能处理多种数据类型,但由于批处理的方式,这使得它无法搭建实时环境。
专家指出,Hadoop的光环可能会慢慢消退,但现在它仍然是倍受关注的技术,它的主要支持者仍然是互联网巨头。(文章来自:CDA数据分析师培训官网)
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
左偏态分布转正态分布:方法、原理与实践 左偏态分布转正态分布:方法、原理与实践 在统计分析、数据建模和科学研究中,正态分 ...
2025-07-21CDA 数据分析师的职业生涯规划:从入门到卓越的成长之路 在数字经济蓬勃发展的当下,数据已成为企业核心竞争力的重要来源,而 CD ...
2025-07-21MySQL执行计划中rows的计算逻辑:从原理到实践 MySQL 执行计划中 rows 的计算逻辑:从原理到实践 在 MySQL 数据库的查询优化中 ...
2025-07-21在AI渗透率超85%的2025年,企业生存之战就是数据之战,CDA认证已成为决定企业存续的生死线!据麦肯锡全球研究院数据显示,AI驱 ...
2025-07-2035岁焦虑像一把高悬的利刃,裁员潮、晋升无望、技能过时……当职场中年危机与数字化浪潮正面交锋,你是否发现: 简历投了10 ...
2025-07-20CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下,CDA 数据分析师认证愈发受到瞩目,成为众多有志投身数 ...
2025-07-18刚入职场或是在职场正面临岗位替代、技能更新、人机协作等焦虑的打工人,想要找到一条破解职场焦虑和升职瓶颈的系统化学习提升 ...
2025-07-182025被称为“AI元年”,而AI,与数据密不可分。网易公司创始人丁磊在《AI思维:从数据中创造价值的炼金术 ...
2025-07-18CDA 数据分析师:数据时代的价值挖掘者 在大数据席卷全球的今天,数据已成为企业核心竞争力的重要组成部分。从海量数据中提取有 ...
2025-07-18SPSS 赋值后数据不显示?原因排查与解决指南 在 SPSS( Statistical Package for the Social Sciences)数据分析过程中,变量 ...
2025-07-18在 DBeaver 中利用 MySQL 实现表数据同步操作指南 在数据库管理工作中,将一张表的数据同步到另一张表是常见需求,这有助于 ...
2025-07-18数据分析师的技能图谱:从数据到价值的桥梁 在数据驱动决策的时代,数据分析师如同 “数据翻译官”,将冰冷的数字转化为清晰的 ...
2025-07-17Pandas 写入指定行数据:数据精细化管理的核心技能 在数据处理的日常工作中,我们常常需要面对这样的场景:在庞大的数据集里精 ...
2025-07-17解码 CDA:数据时代的通行证 在数字化浪潮席卷全球的今天,当企业决策者盯着屏幕上跳动的数据曲线寻找增长密码,当科研人员在 ...
2025-07-17CDA 精益业务数据分析:数据驱动业务增长的实战方法论 在企业数字化转型的浪潮中,“数据分析” 已从 “加分项” 成为 “必修课 ...
2025-07-16MySQL 中 ADD KEY 与 ADD INDEX 详解:用法、差异与优化实践 在 MySQL 数据库表结构设计中,索引是提升查询性能的核心手段。无论 ...
2025-07-16解析 MySQL Update 语句中 “query end” 状态:含义、成因与优化指南 在 MySQL 数据库的日常运维与开发中,开发者和 DBA 常会 ...
2025-07-16如何考取数据分析师证书:以 CDA 为例 在数字化浪潮席卷各行各业的当下,数据分析师已然成为企业挖掘数据价值、驱动决策的 ...
2025-07-15CDA 精益业务数据分析:驱动企业高效决策的核心引擎 在数字经济时代,企业面临着前所未有的数据洪流,如何从海量数据中提取有 ...
2025-07-15MySQL 无外键关联表的 JOIN 实战:数据整合的灵活之道 在 MySQL 数据库的日常操作中,我们经常会遇到需要整合多张表数据的场景 ...
2025-07-15