在Win10下,用两台联想笔记本电脑,搭建完全分布式Hadoop集群,从节点jps没有正常启动

我在Win10下,用两台联想笔记本电脑,搭建完全分布式Hadoop集群,用的是Hadoop3.1.1,Java1.8,然后主节点jps全都正常启动,从节点jps没有正常启动,ssh互相免密,也能互相ping通。是在powershell上执行命令。

core-site.xml

?xml version="1.0" encoding="UTF-8"?>





<configuration>
        <property>
                <name>fs.defaultFSname>
                <value>hdfs://LAPTOP-MJRTKRQT:9000value>
        property>
        <property>
                <name>hadoop.tmp.dirname>
                <value>file:/D:/Hadoop/hadoop-3.1.3/tmpvalue>
                <description>Abase for other temporary directories.description>
        property>
configuration>

hdfs-site.xml







<configuration>
        <property>
                <name>dfs.namenode.secondary.http-addressname>
                <value>LAPTOP-BN0VU44V:50090value>
        property>
        <property>
                <name>dfs.replicationname>
                <value>2value>
        property>
        <property>
                <name>dfs.namenode.name.dirname>
                <value>file:/D:/Hadoop/hadoop-3.1.3/tmp/dfs/namenodevalue>
        property>
        <property>
                <name>dfs.datanode.data.dirname>
                <value>file:/D:/Hadoop/hadoop-3.1.3/tmp/dfs/datanodevalue>
        property>
configuration>

mapred-site.xml







<configuration>
        <property>
                <name>mapreduce.framework.namename>
                <value>yarnvalue>
        property>
        <property>
                <name>mapreduce.jobhistory.addressname>
                <value>LAPTOP-MJRTKRQT:10020value>
        property>
        <property>
                <name>mapreduce.jobhistory.webapp.addressname>
                <value>LAPTOP-MJRTKRQT:19888value>
        property>
        <property>
                <name>yarn.app.mapreduce.am.envname>
                <value>HADOOP_MAPRED_HOME=file:/D:/Hadoop/hadoop-3.1.3value>
        property>
        <property>
                <name>mapreduce.map.envname>
                <value>HADOOP_MAPRED_HOME=file:/D:/Hadoop/hadoop-3.1.3value>
        property>
        <property>
                <name>mapreduce.reduce.envname>
                <value>HADOOP_MAPRED_HOME=file:/D:/Hadoop/hadoop-3.1.3value>
        property> 
configuration>


yarn-site.xml



<configuration>
        <property>
                <name>yarn.resourcemanager.hostnamename>
                <value>LAPTOP-MJRTKRQTvalue>
        property>
        <property>
                <name>yarn.nodemanager.aux-servicesname>
                <value>mapreduce_shufflevalue>
        property>
        <property>
                <name>yarn.nodemanager.vmem-check-enabledname>
                <value>falsevalue>
        property>
configuration>

这个是主节点的jps

img


这个是从节点的jps

img

我最开始以为是ssh免密没有成功,但是试了一下,没有问题,ping也没问题。然后又去修改win10的hosts文件,重启hadoop集群也不行,在从节点powershell上也用了start-all的命令,还是不成功,实在是没有办法了

https://blog.csdn.net/alwaysbefine/article/details/118244931 这个是我的ambari搭建Hadoop集群教程。
关于Hadoop学习,Windows和二进制是最差的做法,因为,Hadoop基本是不会部署在Windows上的。如果你想学习,我建议你看我的那个教程,使用linux快速部署一套。

你去看一下你的Hadoop下的日志,master,slave也都看一下,logs是日志目录,你进去吧里边的文件看一下,一般都会提示你错误的地方的