mapreduce动态分区如何分别控制每个分区的生成文件数量?

由于不同分区的数量量大小相差很大,如果统一设置reduce task数量,会导致有的分区很多小文件。有没有什么办法能分区动态设置reduce task数量?或者是不是有个参数可以默认文件大小如果超过block块大小就分割文件(如果可以,就设置reduce task稍微小点,让它自己切割文件)?有人知道吗,感谢

这个可以在你的配置文件里配置分块的文件的大小的