hadoop 并行计算基础问题

我用3台计算机搭建个hadoop集群,1个Master,2个Slave,hadoop启动成功,但是跑hadoop自带的那个wordcount程序的时候,为什么只能在其中一个Slave上进行计算?而不是在两个Slave上并行计算。哪位大神能给点意见,非常感谢。

该回答引用ChatGPT

在Hadoop集群中并行计算的能力是由YARN(Yet Another Resource Negotiator)负责管理的。在您的情况下,似乎只有一个节点被分配了计算任务,这可能是由于多个节点之间的通信出现了问题。


您可以检查以下几个方面:

  • 检查Hadoop的日志文件以查看是否有任何异常或错误消息。
  • 检查Hadoop的配置文件,确保在yarn-site.xml中配置了正确的节点资源和配置。
  • 确保每个节点都能够与其他节点进行通信。可以通过在不同节点上使用ping命令来测试。
  • 确保每个节点上的Hadoop服务都已启动并正在运行。您可以通过在每个节点上运行jps命令来检查。
  • 确保Hadoop的版本在所有节点上都相同,并且每个节点上的配置文件相同。

如果您已经检查了这些方面,但仍然遇到问题,请考虑在Hadoop的日志文件中查找更详细的错误消息,并尝试重新启动Hadoop集群。