列表

详情


MapReduce是非常流行的针对海量数据离线处理、分析的编程模型,关于MapReduce有一些基本的设计理念,比如系统细节透明,即把程序开发与系统层细节隔开来,对程序员来讲不需要了解分布式细节也可以使用MR处理数据。以下关于设计理念的说法中正确的有___


A. 随机而非顺序的处理数据(口磁盘的随机访问和顺序访问在性能上有巨大的差异)

B. 水平扩展而非垂直扩展(集群的构筑选用价格便宜、易于扩展的大量低端商用服务器)

C. 失效被认为是常态(节点硬件失效和软件出错是常态,具有设计良好的容错性)

D. 把处理更靠近数据(减少大规模数据并行计算系统中的数据通信开销)

参考答案: BCD

详细解析:

mapreduce过程中无论是map还是reduce环节都是遵循一定的逻辑顺序,保证顺序处理数据。大规模数据处理的特点决定了大量的数据记录不可能存放在内存、而只可能放在外存中进行处理。磁盘的顺序访问和随即访问在性能上有巨大的差异,因此必须保证顺序处理;水平拓展能保证成本,是分布式存储最常用的方式;软件失效是常态,一个好的系统需要保证软件失效了也不影响正常使用,必须保证良好的容错性;就近原则,可以有效降低数据通信开销成本


上一题