列表

详情


大数据计算服务( MaxCompute,原ODPS )的MapReduce在正式执行Map前,需要将输入数据进行"片"(split)。关于分片的说法中错误的是

A. 分片会对输入文件进行实际的物理切分,即分片数据会被存成多个大小相同的物理文件

B. 一个输入分片就是能够被单个map操作处理的输入块

C. 每一个map操作只处理一个输入分片

D. 可以通过参数控制分片的大小

参考答案: A

详细解析:

map的分片是逻辑上的分片,只是一种标记,不会是物理上的分片MapReduce是处理数据的一种编程模型,通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口(Java API)编写MapReduce程序,来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map(映射)和Reduce(规约)。在正式执行Map前,需要将输入的数据进行分片。所谓分片,就是将输入数据切分为大小相等的数据块,每一块作为单个Map Worker的输入被处理,以便于多个Map Worker同时工作。每个Map Worker在读入各自的数据后,进行计算处理,最终通过Reduce函数整合中间结果,从而得到最终计算结果。

上一题