利用hadoop做数据SVM并行计算,但是想在map任务中将数据分块建立模型再reduce中将分块的模型合并,但是map每次只能读取一行数据,不能满足数据挖掘中用一整块数据去建模的原则,请教大家怎么修改map任务逻辑,能一次读取一块数据而非一行数据,谢谢
你需要自定义hadoop的InputFormat,而不是改mapper
看这篇博客 里面讲了怎么实现一次读取多行http://blog.csdn.net/tanggao1314/article/details/51307642