shuffle阶段中那一步是可选的？
A.排序 B.分区 C.分组 D.规约
对于Hadoop MapReduce中的shuffle阶段,分区(分片)步骤是可选的,其他步骤是必需的。
shuffle阶段的具体步骤如下:
- 排序:Map任务将输出的key-value对按key进行排序,以方便Reduce任务处理。
- 分区:将排序后的key-value对按分区规则分到不同的 Reduce任务。这个步骤是可选的,如果不进行分区,所有的key-value对都会发送到同一个Reduce任务。
- 分组:将具有相同key的value组合在一起,以便 Reduce 任务可以一次处理相同key的所有value。
- 规约:当有多个value与同一个key关联时,这些值会被规约为一个值。这通常使用排序后的第一个值来实现。
所以,对于题目的选择,正确的选项是B:分区步骤是可选的,其他步骤都是必需的。
A:排序步骤是必需的。
C:分组步骤是必需的。
D:规约步骤也是必需的。
所以选B:分区步骤是可选的,其他步骤都是必需的。