使用自定义的udf出现序列化问题如何解决?
代码如下:
spark.udf.register("prefixName",(name:String)=>{"Name_prefix_"+name})spark.sql("select prefixName(name) from t1 ").rdd.collect()
报异常: Task not serializable如何解决udf的序列化问题
你看看那个类不能序列化,让它extends Serializable