学生 在学习sparkd的map方法做简单是数据计算
用了os添加环境变量,之前显示的是找不到 python的编译器,编译器的地址是没有错的,我重新换了编译器地址出现了下面的一些问题,这个os应该是读不出来我的编译器地址,后续我都用这个方法,还望给些指点
from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="D:/python3.1/python.exe"
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)
rdd=sc.parallelize([1,2,3])
def func(data):
return data*10
rdd2=rdd.map(func)
print(rdd2.collect())