对于一个文件,每一行如下:
ID\t value:value(value的数量不固定)
如何创建RDD使得每一个value对应于一个ID?
希望是python的spark解答
大概思路伪代码:
val inputRDD=sc.textFile("in.txt")
inputRDD.flatMap{a=>
val list=a.split("\t")
val id=list(0)
val values=list(1).split(":")
values.map{b=>
(b, id)
}
}