1.一对map reduce只能属于一个job么?比如,我这个job是求每个学生所有科目的平均值,那么,如果我还要求每门科目的最高分,是还要开一个job写一个map reduce来求最大值么?
2.context只能在文本里输入key value?我就不能自己输点东西进文本么。。
1、map和reduce是分开的。比如每个学生所有科目的平均值,使用学生id为key,学生的分数作为value。在shuffle的过程中,相关学生id的value将合并在一起。返回给reduce。
2、context的输入和输出都可以自定义的。通过InputFormat
对象和outputformat
对象实现。
下图是mapreduce的shuffle的过程: