在分布式平台做算法研究,遇到一个map处理文件是以行为单位。怎么使map可以读取多行数据然后可以在map中进行算法模型的训练。
以下是我的尝试:1:NLineInputFormat 不行,还是单行输出数据。2:重写 InputFormat函数。 数据集没有具体的切分标志,只能说一个map处理100或200行数据。没有类似 {} “ ” —— 的切分标志。
你重写函数后也总要有一个规则来定义你的map处理方法