美文网首页
1.Spark前言

1.Spark前言

作者: 逆流而上kiss | 来源:发表于2017-07-03 21:20 被阅读0次
Spark

比MapReduce更快速

MapReduce是基于磁盘IO的,无论过程还是结果都要写入磁盘,并且无法迭代。而Spark只是在第一次运行时需要磁盘IO,之后的迭代都是基于内存的,所以速度更快。

Logistic regression in Hadoop and Spark

Spark核心组件

Spark的核心组件有:

  • Spark SQL
  • Spark Streaming
  • MLlib(machine learning)
  • GraphX
Spark核心组件

相关文章

网友评论

      本文标题:1.Spark前言

      本文链接:https://www.haomeiwen.com/subject/rxbzcxtx.html