spark2.3.2版本多次执行insert overwrite 分区表有时会提示异常:Error: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to move source hdfs://****/filename to destination hdfs://****/filename; (state=,code=0),但有时执行同样的sparksql是可以成功的。
该问题在spark2.1.0版本中出现过,在Spark2.1.1中已经解决
spark2.1.0规避办法INSERT OVERWRITE不带分区重复执行不会出现问题。
但目前的版本是spark2.3.2,并且必须要带上分区,请问应该如何解决?