Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException:
DataType bigint(20) is not supported.(line 3, pos 3)
参考CHATGPT和自己的理解回答,希望能帮到你
使用Spark时遇到了一个数据类型不支持的问题。您正在尝试使用bigint(20)数据类型,但是出现了异常,提示该数据类型不受支持。
Spark SQL和DataFrame支持多种数据类型[2],但是bigint并没有被列为支持的数据类型。因此,您需要将bigint类型转换为支持的数据类型。
根据[1]中的回答,bigint是一种长整型数据类型,应该使用Spark中的长整型数据类型LongType来替换。转换的方法可以使用Spark SQL中的cast函数,例如:
import org.apache.spark.sql.functions._
df.withColumn("newColumn", col("oldColumn").cast("long"))
此外,如果您使用的是Spark 2.1.x版本,还需要注意[3]中提到的一些问题。
希望这可以帮助您解决问题!