求问,把一个spark任务提交到yarn上执行,一直在报一个警告,没有成功执行,从yarn上看这个任务好像完全没有申请到资源,求问如何解决,或者我应该从哪里下手解决呢
提交任务的命令:
spark-submit --master yarn --class com.carrot.spark.sql1.demo09 /opt/SparkDemo.jar
警告日志:
2021-10-23 23:46:20,940 INFO cluster.YarnScheduler: Adding task set 1.0 with 2 tasks resource profile 0
2021-10-23 23:46:35,913 WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
可能是你在运行的时候hosts写错了. ”root@debian-master :“说明主机的hostname是debian-master,所以解决方法是用正确的host名(实在不行用ip)执行程序:
root@debian-master:/home/hadoop/spark-0.8.0-incubating-bin-hadoop1# ./run-example org.apache.spark.examples.SparkPi spark://debian-master:7077
首先去resourcemanager的界面上,看看你提交的这个队列是否有对应的application,如果有,正确确实提交到YARN上了
然后,看这个application的状态,如果一直是accept,那么可能需要看下这个application提交到哪个队列,这个队列的资源是否能满足需求,顺着这条路再进一步排查
应该是配置问题,查一下spark的conf,hadoop的conf是不是没配对,再者配对了是不是提交的用户有问题,申请错了yarn的资源池