运行spark自带的实例时,出现这样的问题,是什么原因呢?版本兼容问题吗?怎么解决呀
Spark从1.4版本以后,Spark编译时都没有将hadoop的classpath编译进去,所以必须在spark-env.sh中指定hadoop中的所有jar包。https://spark.apache.org/docs/latest/hadoop-provided.html
你试下按上面官网所示在spark-env.sh 中设置 export export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)
重试下是否OK,若还报错就将报的这些jar下载