我爱占星网 我爱占星网
首页
编程
java
php
前端
首页 编程 java php 前端

spark pair RDD创建操作

对于一个文件,每一行如下:
ID\t value:value(value的数量不固定)
如何创建RDD使得每一个value对应于一个ID?
希望是python的spark解答

大概思路伪代码:

val inputRDD=sc.textFile("in.txt")  
inputRDD.flatMap{a=>
  val list=a.split("\t")
  val id=list(0)
  val values=list(1).split(":")
  values.map{b=>
    (b, id)
  }
}

近期文章

  • 最终 c + + 书籍指南和列表
  • 11引入了一个标准化的内存模型。 这意味着什么? 它将如何影响 c + + 编程?
  • 在 c + + 中什么是 POD 类型?
  • 如何设置、清除和切换单个位?
  • 家系树软件中的循环
  • 为什么我们需要 c + + 中的虚函数?
  • Const int * 、 const int * 和 int * 的区别是什么?
  • 什么时候应该使用静态铸造、动态铸造、静态铸造和重新解释铸造?
  • Ios ——当触摸 UITextField 以外时,不用键盘
  • 什么是 rvalue、 lvalue、 xvalue、 glvalue 和 prvalue?
  • 将整个 ASCII 文件读入 c + + std: : string [ duplicate ]
  • 在 c + + 11中'typedef'和'using'之间有什么区别?
  • 测试考拉兹猜想的 c + + 代码比手工编写的程序集更快——为什么?
  • 如何在 c + + 中声明一个接口?
  • 如何将 UIButton 的标题设置为左对齐?
  • 如何向 NSString 添加百分号
  • 如何检查一个 NSDictionary 或 NSMutableDictionary 是否包含一个键?
  • 如何在 Xcode 4中设置启用了 nszombiate?
  • 类方法和实例方法的区别是什么?
  • 我如何遍历 NSArray?

Copyright ©2022 我爱占星 All Rights Reserved.

浙ICP备2022030071号-1

部分图文来自网络,如有侵犯您的版权,请告诉我们删除

友情链接:代码精华