1.Spark前言

Spark

比MapReduce更快速

MapReduce是基于磁盘IO的，无论过程还是结果都要写入磁盘，并且无法迭代。而Spark只是在第一次运行时需要磁盘IO,之后的迭代都是基于内存的，所以速度更快。

Logistic regression in Hadoop and Spark

Spark核心组件

Spark的核心组件有：

• Spark SQL
• Spark Streaming
• MLlib(machine learning)
• GraphX

Spark核心组件