Hadoop在伪分布式的wordcount案例报错这个怎么办

23/03/14 16:15:28 INFO mapreduce.Job: Job job_1678778535625_0002 failed with state FAILED due to: Application application_1678778535625_0002 failed 2 times due to AM Container for appattempt_1678778535625_0002_000002 exited with exitCode: 1
For more detailed output, check application tracking page:http://CentOS:8088/cluster/app/application_1678778535625_0002Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_1678778535625_0002_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
at org.apache.hadoop.util.Shell.run(Shell.java:456)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)

Container exited with a non-zero exit code 1
Failing this attempt. Failing the application.
23/03/14 16:15:28 INFO mapreduce.Job: Counters: 0

这种报错是yarn的配置文件有问题,网上也有资料.
但是如果你按着网上的配置了还报这种错误就要往下看了.
我出现的原因很简单:运行yarn依赖的时候,我配置我路径中有两个相同的依赖冲突,系统不知道用哪个依赖,就直接报错在这里插入图片描述
一定要看yarn的日志,查看报错原因.
然后去对应的目录下删除其中一个依赖,重启就好了.
出现这个bug的原因很多,解决问题方法也不同.
希望能帮到你!
参考：https://blog.csdn.net/weixin_44366140/article/details/113715018

1.使用hadoop classpath命令，得到如下结果

img


2.将结果配置到yarn-site.xml文件中，具体配置向如下

 <property>
            <name>yarn.application.classpath</name>
            <value>
      上面截图的值粘贴进来
        </value>
  </property>

3.将配置后的文件同步到所有的节点后，重启yarn。命令如下：

 stop-yarn.sh
 start-yarn.sh

该回答引用GPTᴼᴾᴱᴺᴬᴵ
这个错误信息显示你的 Hadoop job 由于 AM Container 运行失败而导致失败，很可能是由于容器配置或应用程序配置问题导致的。

以下是一些常见的容器配置问题：

  1. 节点管理器 (NodeManager) 内存不足：确保你的 NodeManager 分配的内存足够运行你的容器。

  2. 没有足够的权限：在启动 NodeManager 时，确保它具有足够的权限来运行你的容器。

  3. 没有设置正确的环境变量：在启动容器时，确保你设置了正确的环境变量。

以下是一些常见的应用程序配置问题：

  1. 没有正确设置输入和输出路径：在设置输入和输出路径时，请确保它们与实际的 HDFS 路径匹配。

  2. 输入文件不可读：请确保输入文件可读并且 Hadoop 用户具有正确的权限。

  3. 代码中出现错误：请检查你的代码是否有任何错误，例如拼写错误或语法错误。

你可以通过查看更详细的日志来找出实际的错误原因。通过点击错误信息中提供的链接来访问应用程序跟踪页面，然后单击每个尝试的日志链接，以查看更多的日志信息。在这些日志中，你可能会找到有关导致应用程序失败的更详细的信息。

参考GPT和自己的思路：这个错误可能是由于Hadoop环境配置或者代码问题导致的。以下是一些可能的解决方法：

1 检查Hadoop环境配置是否正确。确保Hadoop集群正在运行并且配置正确。

2 检查代码是否正确。特别是检查输入和输出路径是否正确，以及程序是否正确地调用了Hadoop API。

3 检查日志。根据错误信息提示，查看application tracking page里面的日志，找到具体的错误信息。

4 检查文件系统权限。确保当前用户对输入和输出路径具有正确的权限。

5 检查网络连接。确保集群中所有节点之间的网络连接正常。

6 检查资源分配。确保您的程序使用的资源（内存，CPU等）不超过集群中节点的限制。

7 尝试重新启动集群或任务。

8 尝试使用本地模式（local mode）运行程序，这将在本地计算机上运行Hadoop而不是分布式集群，从而有助于排除Hadoop集群配置问题。

下面是一个使用rsync命令将配置文件同步到Hadoop集群中所有节点的示例代码：

#!/bin/bash

# 假设你的配置文件在本地的 /home/user/hadoop-conf 目录下
conf_dir="/home/user/hadoop-conf"

# 遍历所有节点，将配置文件同步到相应的目录下
for host in `cat $HADOOP_HOME/etc/hadoop/slaves`
do
  echo "Syncing configuration to $host..."
  rsync -r $conf_dir $host:$HADOOP_HOME/etc/hadoop/
done

echo "Done."

上述脚本中，假设配置文件在本地的 /home/user/hadoop-conf 目录下，遍历所有节点，将该目录下的文件同步到每个节点的 $HADOOP_HOME/etc/hadoop/ 目录下。

请注意，该脚本需要在Hadoop集群的NameNode节点上运行，而且需要在每次修改配置文件后运行。

该回答引用ChatGPT

如有疑问，可以回复我！

这个错误可能由于多种原因导致，需要查看更详细的日志才能确定具体原因。一般来说，可以通过以下步骤逐步排除问题：

1、查看yarn和hadoop的日志，分别位于$HADOOP_HOME/logs和$HADOOP_YARN_HOME/logs目录下，可以通过以下命令查看：


tail -f $HADOOP_HOME/logs/hadoop.log
tail -f $HADOOP_YARN_HOME/logs/yarn.log

2、查看具体的任务日志，可以通过访问ResourceManager的Web界面来查看，也可以通过以下命令在命令行查看：

yarn logs -applicationId <application_id>

其中可以在yarn的日志中找到。

3、如果任务是MapReduce任务，可以查看mapper和reducer的日志，这些日志位于任务运行时所在的节点上，可以通过以下命令查看：

yarn logs -applicationId <application_id> -containerId <container_id>

其中可以在任务日志中找到。

如果任务出现异常退出，可以查看异常堆栈信息，以确定具体原因。