美文网首页大数据我爱编程架构师+大数据
谁在听不懂大数据算我输——大数据核心技术spark

谁在听不懂大数据算我输——大数据核心技术spark

作者: A尚学堂Nancy老师 | 来源:发表于2018-07-27 17:04 被阅读3次

    上次,小编给大家介绍什么是大数据以及大数据产生的五大原因!

    那,大数据来了,作为程序员的我们如何迎接大数据的到来?

    那便只有学好大数据,其中的重中之重我觉得就是spark ,那什么是spark呢?或者说Spark是干嘛的

    我总结出四点:

    1、Spark分布式的计算框架

    2、类似Hadoop生态圈中的MapReduce(分布式计算框架)

    3、计算思想和MR(MapReduce简称)非常的相似,都是分而治之的思想

    4、Spark比MR火

    为什么Spark比MR火呢?就是因为spark的优势所在

    1、Speed 速度很快

    从时间上来看,Spark计算效率比MR要高100倍以上

    2、使用方便

    1)支持使用多门语言来编写Spark Application

    2)Spark提供了80多种方法来供我们使用

    3、强通用性

    Spark生态圈中的组件都是基于SparkCore封装起来

    庞大的生态圈并且还能无缝集成

    4、强适用性

    1)Spark Application可以运行在各种各样的资源调度框架上

    2)Spark可以接受上百种数据源

    spark的现状

    官网介绍,到2016年底,有1000多家组织机构正式使用Spark做数据处理。到现在Spark的发展也是如火如荼,到现在好多组织也是从MR往spark转。

    有什么意见大家可以在评论区留言哦!需要spark视频版本的可联系小编。

    另外,小编也整理出一份大数据完整学习路线,包括视频资料和课件,有需要的小伙伴可以私信我免费领取哦!给自己指明一个方向!!!

    相关文章

      网友评论

        本文标题:谁在听不懂大数据算我输——大数据核心技术spark

        本文链接:https://www.haomeiwen.com/subject/zcugmftx.html