美文网首页
spark mapreduce

spark mapreduce

作者: 博瑜 | 来源:发表于2017-07-27 11:23 被阅读0次

    spark:
    1.需要重复读取同样数据进行迭代计算
    2.流式实时
    3.内存大,快 内存换存储
    4.scala,java
    5.交互模式
    6.可独立运行,不依托 yarn,hdfs(不是必须)
    mapreduce
    1.单次读取,类似ETL(抽取转换加载),跑批
    2.JAVA
    3.没有交互模式
    4.磁盘io 存储换内存
    5.基于hadoop生态圈,需要任务调度yarn mesos,高可用存储 hdfs alluxio等。

    相关文章

      网友评论

          本文标题:spark mapreduce

          本文链接:https://www.haomeiwen.com/subject/jehzkxtx.html