2018-05-24

1.MapReduce谈谈你们的理解

    当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

2.Map是什么

    map 映射函数

3.Reduce是什么

    reduce是规约函数

4.shuffle谈谈你们的理解

 shuffle就是把多个map产生的映射进行整合，减少map的结果数量，就是提前规约

5.wordcount那副图，脑子是否有印象?

 

6.输入分片一般和什么有关?多少个分片就可以有多少个map task，对不对?

    hdfs的block，如果不做优化的话多少个分片就对应多少个map task

7.mapreduce架构设计中应用程序AM和task都运行在哪个抽象概念中?

    container

8.假如hdfs的文件都是小文件，那么就会有多个map task，我们生产上一般设计时，是需要合并的或者设计我们文件存储时尽量保持一个文件在一个块大小（了解题），如何合并 等高级班若泽讲，这也是线下生产项目课程的一个知识点

    一旦合并小文件我们task数量就少了

9.NM节点的内存和容器的内存参数哪几个?

    3

10.容器是使用物理core还是虚拟core

    虚拟core