京公网安备 11010802034615号
经营许可证编号:京B2-20210330
上篇文章中我们通过克隆已有虚拟机并修改相应的参数配置将hadoop分布式集群搭建完成,接下来我们启动Hadoop分布式集群。
1、ssh免密登录
首先打开虚拟机软件VMware然后开启master、slave1、slave2三个虚拟机。
一般搭建hadoop分布式集群时需要配置集群中各个节点间的ssh免密登录,然后才可以启动hadoop分布式集群。我们在master虚拟机终端中输入命令ssh slave1 , 此时出现如下提示,然后输入yes
注意输入exit命令退出slave2的登录。接下来我们就可以远程登录到slave2了。在登录的过程中我们也无需输入密码。小伙伴们会不会有疑问,我们什么时候配置过ssh免密登录?
其实我们还真的配置了,由于现在集群中的三个虚拟机最终的源头都是由伪分布集群的虚拟机复制过来的,在这过程中也把.ssh目录下的authorized_keys这个文件复制过来了。
这个文件的作用之前提前过,简单来说就是认证登录ssh服务器的客户机,只要客户机的公钥在这里面就可以不用密码登录ssh服务器了。下图为slave1节点hduser用户主目录下的.ssh目录大家可以看到authorized_keys目录已经存在了。
2、格式化HDFS
由于我们集群中的虚拟机都是由伪分布集群虚拟机克隆出来的所以会有HDFS相关的目录,而且目录中还有数据,为了不影响格式化操作我们需要将这些目录中的数据都删除,然后再执行格式化。
输入命令rm -rf tmp/dfs/ 删除dfs目录
首先通过ssh slave1登录slave1然后执行rm -rf tmp/dfs/删除slave1 中的dfs目录。记得exit退出slave1的登录。
删除方式与删除slave1虚拟机HDFS目录的方式一致,这里不再赘述,具体操作可参照下图。一定记得最后执行exit退出slave2的登录,否则极易造成误操作。
2.4格式化HDFS
在删除各个节点HDFS文件后我们开始格式化HDFS。在master终端输入命令 hadoop namenode –format然后回车执行。执行完成后会看到下图标注的那句话,表明格式化成功。
3、启动hadoop
格式化HDFS结束之后我们就可以启动hadoop分布式集群了。启动可以可以分步执行当然hadoop也给我们提供了更简单的脚本通过一个命令自动启动所有模块。这里需要指出的是不管分步执行启动过程还是通过脚本自动启动,模块的启动顺序都是一致的即先启动HDFS模块然后再启动YARN模块,停止的过程则是先停止YARN模块再停HDFS模块。下面我们来分别操作演示一下。
3.1启动HDFS进程
启动HDFS模块使用命令start-dfs.sh,启动过程如下图所示。需要注意的是我们启动或者停止的命令都是只需在master节点终端中操作即可,底层hadoop会自动启动其他节点的相关进程。启动完成后可以通过jps命令查看启动了哪些进程,这在下图也有展示。我们可以看到HDFS模块在master上有NameNode与
SecondaryNameNode进程。
HDFS模块在slave1节点启动进程DataNode
HDFS模块在slave2节点启动进程也是DataNode。
3.2启动YARN进程
启动YARN模块的命令为start-yarn.sh,启动过程如下图所示
master节点启动的进程如下图所示,比启动HDFS时多了ResourceManager进程。
在slave1与slave2节点上多了NodeManager进程
3.2全部启动(包括YARN、HDFS)
hadoop还提供了一个可以自动启动HDFS与YARN的脚本命令start-all.sh和停止HDFS与YARN的命令stop-all.sh。在使用start-all.sh命令前我们需要先停止所有进程否则会报错。在终端输入命令stop-all.sh停止所有进程过程如下图所示。此时通过jps命令查看master所有hadoop相关进程已经关闭
查看slave1 slave2节点同样的是hadoop进程消失,说明命令执行成功。
下面演示同时启动HDFS 、YARN,命令行执行命令start-all.sh,并使用jps查看进程,如下面三张图所示,启动成功。
小伙伴们今天的内容到这里就结束了,你Get到了没。
CDA学员免费下载查看报告全文:2026全球数智化人才指数报告【CDA数据科学研究院】.pdf
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
近日,由 CDA 数据科学研究院重磅发布的《2026 全球数智化人才指数报告》,被中国教育科学研究院官方账号正式收录, ...
2026-04-22在数字化时代,客户每一次点击、浏览、下单、咨询等行为,都在传递其潜在需求与决策倾向——这些按时间顺序串联的行为轨迹,构成 ...
2026-04-22数据是数据分析、建模与业务决策的核心基石,而“数据清洗”作为数据预处理的核心环节,是打通数据从“原始杂乱”到“干净可用” ...
2026-04-22 很多数据分析师每天盯着GMV、转化率、DAU等数字看,但当被问到“什么是指标”“指标和维度有什么区别”“如何搭建一套完整的 ...
2026-04-22在数据分析与业务决策中,数据并非静止不变的数值,而是始终处于动态波动之中——股市收盘价的每日涨跌、企业月度销售额的起伏、 ...
2026-04-21在数据分析领域,当研究涉及多个自变量与多个因变量之间的复杂关联时,多变量一般线性分析(Multivariate General Linear Analys ...
2026-04-21很多数据分析师精通描述性统计,能熟练计算均值、中位数、标准差,但当被问到“用500个样本如何推断10万用户的真实满意度”“这 ...
2026-04-21在数据处理与分析的全流程中,日期数据是贯穿业务场景的核心维度之一——无论是业务报表统计、用户行为追踪,还是风控规则落地、 ...
2026-04-20在机器学习建模全流程中,特征工程是连接原始数据与模型效果的关键环节,而特征重要性分析则是特征工程的“灵魂”——它不仅能帮 ...
2026-04-20很多数据分析师沉迷于复杂的机器学习算法,却忽略了数据分析最基础也最核心的能力——描述性统计。事实上,80%的商业分析问题, ...
2026-04-20在数字化时代,数据已成为企业决策的核心驱动力,数据分析与数据挖掘作为解锁数据价值的关键手段,广泛应用于互联网、金融、医疗 ...
2026-04-17在数据处理、后端开发、报表生成与自动化脚本中,将 SQL 查询结果转换为字符串是一项高频且实用的操作。无论是拼接多行数据为逗 ...
2026-04-17面对一份上万行的销售明细表,要快速回答“哪个地区卖得最好”“哪款产品增长最快”“不同客户类型的购买力如何”——这些看似复 ...
2026-04-17数据分析师一天的工作,80% 的时间围绕表格结构数据展开。从一张销售明细表到一份完整的分析报告,表格结构数据贯穿始终。但你真 ...
2026-04-16在机器学习无监督学习领域,Kmeans聚类因其原理简洁、计算高效、可扩展性强的优势,成为数据聚类任务中的主流算法,广泛应用于用 ...
2026-04-16在机器学习建模实践中,特征工程是决定模型性能的核心环节之一。面对高维数据集,冗余特征、无关特征不仅会增加模型训练成本、延 ...
2026-04-16在数字化时代,用户是产品的核心资产,用户运营的本质的是通过科学的指标监测、分析与优化,实现“拉新、促活、留存、转化、复购 ...
2026-04-15在企业数字化转型、系统架构设计、数据治理与AI落地过程中,数据模型、本体模型、业务模型是三大核心基础模型,三者相互支撑、各 ...
2026-04-15数据分析师的一天,80%的时间花在表格数据上,但80%的坑也踩在表格数据上。 如果你分不清数值型和文本型的区别,不知道数据从哪 ...
2026-04-15在人工智能与机器学习落地过程中,模型质量直接决定了应用效果的优劣——无论是分类、回归、生成式模型,还是推荐、预测类模型, ...
2026-04-14