spark提交任务Exception in task 0.0 in stage 0.0 (TID 0) org.apache.hadoop.hdfs.BlockMissingException:

Exception in task 0.0 in stage 0.0 (TID 0) org.apache.hadoop.hdfs.BlockMissingException: Could not o

img

由于在 Spark 任务中访问 HDFS 上不存在的块而导致的。一般情况下,当 Spark 任务尝试读取 HDFS 上的数据时,如果 HDFS 在某些节点上表示数据块不可用,则会出现此错误。检查 HDFS 是否完好:可以通过命令行或 Hadoop 管理控制台来检查 HDFS 是否正常运行,并且是否存在数据块缺失等问题。检查一下 Spark 配置文件是否正确设置了 HDFS 的访问权限,以确保 Spark 程序能够正确地读取 HDFS 中的数据。👀👀