Spark及其生态圈概述

MapReduce的局限性：

1）代码繁琐；

2）只能够支持map和reduce方法；

3）执行效率低下；

4）不适合迭代多次、交互式、流式的处理；

框架多样化：

1）批处理（离线）：MapReduce、Hive、Pig

2）流式处理（实时）： Storm、JStorm

3）交互式计算：Impala

学习、运维成本无形中都提高了很多

===> Spark

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

BDAS:Berkeley Data Analytics Stack