题目内容
(请给出正确答案)
[单选题]
在MapReduce中Shuffle的主要作用是()。
A.将数据进行拆分
B.对映射后的数据进行排序,然后输入到Reducer
C.经过映射后的输出数据会被排序,然后每个映射器会进行分区
D.通过实现自定义的Partitioner来指定哪些数据进入哪个Reducer
查看答案
如果结果不匹配,请 联系老师 获取答案
A.将数据进行拆分
B.对映射后的数据进行排序,然后输入到Reducer
C.经过映射后的输出数据会被排序,然后每个映射器会进行分区
D.通过实现自定义的Partitioner来指定哪些数据进入哪个Reducer
A.支持计算在内存中进行,中间结果不落地
B.支持Map后连续任意多个Reduce操作
C.可以在上一次的reduce结束之后,直接增加一次map
D.从Map直接到Reduce,省去Shuffle阶段
A.io.sort.mb
B.mapred.compress.map.output
C.mapred.map.output.compression.codec
D.io.sort.spill.percent
A.mapred.map.output.compression
B.mapred.map.output.compression.codec
C.mapred.map.input.compression.codec
D.mapreduce.map.output.compression.codec
A.Object
B.Text
C.IntWritable
D.int
A.Hive
B.SparkSQL
C.Spark
D.MapReduce