我在Win10下,用两台联想笔记本电脑,搭建完全分布式Hadoop集群,用的是Hadoop3.1.1,Java1.8,然后主节点jps全都正常启动,从节点jps没有正常启动,ssh互相免密,也能互相ping通。是在powershell上执行命令。
core-site.xml
?xml version="1.0" encoding="UTF-8"?>
<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://LAPTOP-MJRTKRQT:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>file:/D:/Hadoop/hadoop-3.1.3/tmpvalue>
<description>Abase for other temporary directories.description>
property>
configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-addressname>
<value>LAPTOP-BN0VU44V:50090value>
property>
<property>
<name>dfs.replicationname>
<value>2value>
property>
<property>
<name>dfs.namenode.name.dirname>
<value>file:/D:/Hadoop/hadoop-3.1.3/tmp/dfs/namenodevalue>
property>
<property>
<name>dfs.datanode.data.dirname>
<value>file:/D:/Hadoop/hadoop-3.1.3/tmp/dfs/datanodevalue>
property>
configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
<property>
<name>mapreduce.jobhistory.addressname>
<value>LAPTOP-MJRTKRQT:10020value>
property>
<property>
<name>mapreduce.jobhistory.webapp.addressname>
<value>LAPTOP-MJRTKRQT:19888value>
property>
<property>
<name>yarn.app.mapreduce.am.envname>
<value>HADOOP_MAPRED_HOME=file:/D:/Hadoop/hadoop-3.1.3value>
property>
<property>
<name>mapreduce.map.envname>
<value>HADOOP_MAPRED_HOME=file:/D:/Hadoop/hadoop-3.1.3value>
property>
<property>
<name>mapreduce.reduce.envname>
<value>HADOOP_MAPRED_HOME=file:/D:/Hadoop/hadoop-3.1.3value>
property>
configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostnamename>
<value>LAPTOP-MJRTKRQTvalue>
property>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>yarn.nodemanager.vmem-check-enabledname>
<value>falsevalue>
property>
configuration>
这个是主节点的jps
我最开始以为是ssh免密没有成功,但是试了一下,没有问题,ping也没问题。然后又去修改win10的hosts文件,重启hadoop集群也不行,在从节点powershell上也用了start-all的命令,还是不成功,实在是没有办法了
https://blog.csdn.net/alwaysbefine/article/details/118244931 这个是我的ambari搭建Hadoop集群教程。
关于Hadoop学习,Windows和二进制是最差的做法,因为,Hadoop基本是不会部署在Windows上的。如果你想学习,我建议你看我的那个教程,使用linux快速部署一套。
你去看一下你的Hadoop下的日志,master,slave也都看一下,logs是日志目录,你进去吧里边的文件看一下,一般都会提示你错误的地方的