用python做spark集群项目的时候,远程解释器运行,报错 AttributeError: module 'pyspark.rdd' has no attribute 'V'用本地解释器好使,把代码提交到集群运行也好使,就是在本地远程集群解释器时候报错.请问该怎么解决
因为spark的分布机器里没有该python环境,最好先把python打包,然后用spark-submit --py-files将python包分发至各机器,然后命令的python用相对路径就行了。