热线电话：13121318867

登录
首页精彩阅读Hadoop生态系统与体系结构
Hadoop生态系统与体系结构
2014-12-23
收藏

介绍

    企业一直在处理快速增长的数据量（也称为大数据）的存储和管理问题。原有的存储经扩展后缀让能勉强跟上计算容量增长的步伐，但是用来分析该大数据以得出宝贵见解的工具却落入后了。Hadoop是一款经专门设计的创新性开源大数据分析引擎，旨在最大程度地缩短从企业的数据集到处宝贵见解的时间。本文为系列的第二篇，介绍Hadoop软件生态系统与体系结构。

更多信息

Hadoop版本：

    Hadoop的版本由开源Apached Foundation在apache.org中维护。其他所有版本都是扩展Apache Hadoop或根据其构建的派生版本。下面是目前提供的常见Hadoop版本列表：

  • Apache Hadoop
  • Cloudera CDH3
  • Greenplum HD
  • Horonworks数据平台

    以上列表并未详尽列出目前提供的所有Hadoop版本，而只是简单列出了流行的选择。有关目前提供的Hadoop版本的详细列表，请访问：Distributions and Commercial Support

Hadoop生态系统：

    以下是客户为使用Hadoop分析数据而运行的软件堆栈。生态系统组件是Hadoop堆栈之上的附加组件，面向分析工作流提供附加功能和优势。该领域中一些流行的选择包括：

<a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop</a>_2_1.png

 

  • Hive：一个类似于SQL的查询接口，适用于HDFS中存储的数据。
  • HBase：一个面向随机读/写列的高性能结构化存储系统，位于HDFS之上。
  • Pig：高级数据流语言和执行框架，适合于并行计算
  • Manhout：使用Hadoop的可扩展的计算机学习算法
  • R（RHIPE）：细分并重组大型复杂数据集的统计分析

    以上并未详尽力促所有的Hadoop生态系统组件。

Hadoop体系结构

    下面是一个体系结构图，其中显示了在一个Hadoop计算集群上运行的所有核心Hadoop组件。

 

<a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop</a>_2_2.png

 

该计算环境中发生的常规交互包括：

  1. 必须将数据接收到HDFS层内。
  2. 使用MapReduce对数据进行计算或分析。
  3. 在HDFS或其他基础架构中存储或导出结果，以适应整个Hadoop工作流。

    上述体系结构还表明NameNode是该环境中的独立组件，如果它有任何问题，则整个Hadoop环境都将变得不可用。


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

Hadoop HDFS 大数据 SQL NameNode Hive 统计分析 数据分析

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇图论在大数据分析中的作用！
下一篇CDA认证再升一档！与国家共同推进大数据人才培养标准教育事业！
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询