Spark中如何将多个LabeledPoint合并成一个LabeledPoint，用以训练分类模型

使用pyspark.mllib，对几个用textFile读取的RDD(a,b,c,d)打标签

    A = a.map(lambda features:LabeledPoint(0.0,features))
    B = b.map(lambda features:LabeledPoint(1.0,features))
    C = c.map(lambda features: LabeledPoint(2.0,features))
    D = d.map(lambda features:LabeledPoint(3.0,features))

现在如何将A,B,C,D四个整合成为一个训练数据集，或保存为LibSVMFile再读取，用来作为机器学习分类模型的训练数据集呢？
网上很多都是临时创建的LabeledPoint(label,Vectors.dense(features))，这样确实可以用一个变量表示。
但对于多个这样的要怎么合成一个变量表示呢，用union会出错。

     traindata = A.union(B)
    traindata = data.union(C)
    traindata = data.union(D)

或者

    traindata = A.union([B,C,D])

都会出错，包括《Spark快速大数据分析》书上源码试过，用union都不行。

     Traceback (most recent call last):
        File "/home/hadoop/Desktop/app.py", line 36, in <module>
            data = normalFea.union([icmpFea,synFea,udpFea])
        File "/opt/spark-2.3.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/rdd.py", line 557, in union
    AttributeError: 'list' object has no attribute '_jrdd_deserializer'

这个报错是针对第二种的，第一种也会报错。求大神解答。。

https://blog.csdn.net/dataningwei/article/details/65936778

val data = spark.read.text("/home/hadoop/mllibdata/kimi.txt");
    val parseData = data.map { case Row(line: String) =>
      val parts = line.split(',') //根据逗号进行分区
      val p2=parts(1).split(' ')
      (parts(0).toDouble, p2(0).toDouble, p2(1).toDouble)
    }.toDF("y","w1","w2") //转化数据格式

    采用这种方式转化为DataFrame，然后将四个union试试

    //df1与df2合并，不去重。列名不同并不影响合并

df1.union(df2).show()

//df1与df2合并，使用distinct去重。列名不同并不影响合并

df1.union(df2).distinct().show()

作者：回到未来看过去
来源：CSDN
原文：https://blog.csdn.net/viviliving/article/details/83111226
版权声明：本文为博主原创文章，转载请附上博文链接！