列表

详情


大数据计算服务(MaxCompute,原 ODPS)的MapReduce编程框架中,Shuffle(洗牌)是比较关键的一步,它链接了Map和Reduce,会把Map Workder的输出数据分发到对应的Reduce Worker上去,是二者的枢纽,被称为“奇迹发生的地方”。Shuffle是通过_____来决定Map Worker的输出数据被分配的目标Reduce Worker的。

A. 随机分配

B. 根据当前负载情况,优先分配至负裁低的Reduce Worker

C. 根据Map Worker输出记录的键值

D. 每个Map Worker都有固定的目标 Reduce Worker

参考答案: C

详细解析:

正确答案C,MapRuduce实现原理 Map阶段:每个Map Worker在读入各自的数据后,进行计算处理,最终输出给Reduce。Map Worker在输出数据时,需要为每一条输出数据指定一个Key,这个Key值决定了这条数据将会被发送给哪一个Reduce Worker。Key值和Reduce Worker是多对一的关系,具有相同Key的数据会被发送给同一个Reduce Worker,单个Reduce Worker有可能会接收到多个Key值的数据。<img src="http://wei.edu360.cn/attachment/simple_images/20201106/c3b990a5b4-11.png">

上一题