列表

详情


大数据计算服务(MaxCompute, 原ODPS) 的MapReduce处理数据过程主要分成2个阶段: Map阶段和Reduce阶段;首先执行Map阶段,再执行Reduce阶段。当Map阶段的重复记录比较多时,还可以选择在Map结束后进行哪种操作用来优化计算框架?

A. 排序(Sort)

B. 哈希函数(artitioner)

C. 归并函数(Combiner)

D. 洗牌(Shuffle)

参考答案: C

详细解析:

在进入Reduce阶段之前,MapReduce框架会对数据按照Key值排序,使得具有相同Key的数据彼此相邻。如果您指定了合并操作(Combiner),框架会调用Combiner,将具有相同Key的数据进行聚合。Combiner的逻辑可以由您自定义实现。

上一题