1、多节点集群架构设计
后续介绍的Hadoop多节点集群由三台计算机构成:一台主节点为master，两台从节点为slave1、slave2。
master节点上主要运行namenode、Resourcemanager 进程；slave节点上运行datanode、nodemanager进程。
由于大家一般只有一台计算机，因此我们使用虚拟机软件VMware workstation虚拟出三台计算机来分别运行master、slave1、slave2节点。因为是虚拟出的集群，所以跟实际的进群还是有差距的，不会体会到真正的并行计算与并行存储的优势。实际工作中整个集群会有十几个甚至上百个节点，可以批量处理以T为单位的数据。然而他们配置方法是大致相同的，运行过程也是一致的，区别只是在运行速度和存储数据量上会体现出来。
为了简化安装过程，我们将在之前的伪分布集群基础上通过修改配置文件等操作来创建master节点。
2、复制伪分布集群节点
首先需要复制之前安装配置过伪分布集群的虚拟机。具体操作步骤如下：
1）启动VMware Workstation，选择 虚拟机->管理->克隆
单击下一步继续
克隆自 选择虚拟机中的当前状态，然后单击下一步
克隆方法选择创建完整克隆
虚拟机名称设置为master，虚拟机位置根据电脑情况，请自定义。最后单击完成按钮完成克隆配置。
耐心等待，克隆过程时间长短取决于电脑磁盘读写性能。
出现如下图标表示克隆完成，单击关闭按钮结束克隆过程。
此时VMware自动弹出克隆后的虚拟机控制窗口。
3、虚拟机参数设置
用于分布式集群的虚拟机既要可以连接互联网又要可以连接其他虚拟机，在VMware软件中网卡类型选择NAT模式即可完成集群外部、内部通讯。如果是在virtualbox中则配置NAT网卡之外还需配置仅主机模式网卡一张，NAT与外部通讯，仅主机模式网卡用于集群内部通讯。
参照下图双击网络适配器
双击
网络连接选择NAT模式，内存建议2G，其他配置默认即可。
复制好master虚拟机之后还需对其进行多项配置，主要有hostname、配置固定IP，修改hadoop配置文件等，这些内容将在下篇介绍。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
左偏态分布转正态分布：方法、原理与实践 左偏态分布转正态分布：方法、原理与实践 在统计分析、数据建模和科学研究中，正态分 ...
2025-07-21CDA 数据分析师的职业生涯规划：从入门到卓越的成长之路 在数字经济蓬勃发展的当下，数据已成为企业核心竞争力的重要来源，而 CD ...
2025-07-21MySQL执行计划中rows的计算逻辑：从原理到实践 MySQL 执行计划中 rows 的计算逻辑：从原理到实践 在 MySQL 数据库的查询优化中 ...
2025-07-21在AI渗透率超85%的2025年，企业生存之战就是数据之战，CDA认证已成为决定企业存续的生死线！据麦肯锡全球研究院数据显示，AI驱 ...
2025-07-2035岁焦虑像一把高悬的利刃，裁员潮、晋升无望、技能过时……当职场中年危机与数字化浪潮正面交锋，你是否发现： 简历投了10 ...
2025-07-20CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下，CDA 数据分析师认证愈发受到瞩目，成为众多有志投身数 ...
2025-07-18刚入职场或是在职场正面临岗位替代、技能更新、人机协作等焦虑的打工人，想要找到一条破解职场焦虑和升职瓶颈的系统化学习提升 ...
2025-07-182025被称为“AI元年”，而AI，与数据密不可分。网易公司创始人丁磊在《AI思维：从数据中创造价值的炼金术 ...
2025-07-18CDA 数据分析师：数据时代的价值挖掘者 在大数据席卷全球的今天，数据已成为企业核心竞争力的重要组成部分。从海量数据中提取有 ...
2025-07-18SPSS 赋值后数据不显示？原因排查与解决指南 在 SPSS（ Statistical Package for the Social Sciences）数据分析过程中，变量 ...
2025-07-18在 DBeaver 中利用 MySQL 实现表数据同步操作指南 在数据库管理工作中，将一张表的数据同步到另一张表是常见需求，这有助于 ...
2025-07-18数据分析师的技能图谱：从数据到价值的桥梁 在数据驱动决策的时代，数据分析师如同 “数据翻译官”，将冰冷的数字转化为清晰的 ...
2025-07-17Pandas 写入指定行数据：数据精细化管理的核心技能 在数据处理的日常工作中，我们常常需要面对这样的场景：在庞大的数据集里精 ...
2025-07-17解码 CDA：数据时代的通行证 在数字化浪潮席卷全球的今天，当企业决策者盯着屏幕上跳动的数据曲线寻找增长密码，当科研人员在 ...
2025-07-17CDA 精益业务数据分析：数据驱动业务增长的实战方法论 在企业数字化转型的浪潮中，“数据分析” 已从 “加分项” 成为 “必修课 ...
2025-07-16MySQL 中 ADD KEY 与 ADD INDEX 详解：用法、差异与优化实践 在 MySQL 数据库表结构设计中，索引是提升查询性能的核心手段。无论 ...
2025-07-16解析 MySQL Update 语句中 “query end” 状态：含义、成因与优化指南 在 MySQL 数据库的日常运维与开发中，开发者和 DBA 常会 ...
2025-07-16如何考取数据分析师证书：以 CDA 为例 在数字化浪潮席卷各行各业的当下，数据分析师已然成为企业挖掘数据价值、驱动决策的 ...
2025-07-15CDA 精益业务数据分析：驱动企业高效决策的核心引擎 在数字经济时代，企业面临着前所未有的数据洪流，如何从海量数据中提取有 ...
2025-07-15MySQL 无外键关联表的 JOIN 实战：数据整合的灵活之道 在 MySQL 数据库的日常操作中，我们经常会遇到需要整合多张表数据的场景 ...
2025-07-15
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
