spark:
1.需要重复读取同样数据进行迭代计算
2.流式实时
3.内存大，快 内存换存储
4.scala，java
5.交互模式
6.可独立运行，不依托 yarn，hdfs(不是必须）
mapreduce
1.单次读取，类似ETL（抽取转换加载），跑批
2.JAVA
3.没有交互模式
4.磁盘io 存储换内存
5.基于hadoop生态圈，需要任务调度yarn mesos，高可用存储 hdfs alluxio等。
spark:
1.需要重复读取同样数据进行迭代计算
2.流式实时
3.内存大，快 内存换存储
4.scala，java
5.交互模式
6.可独立运行，不依托 yarn，hdfs(不是必须）
mapreduce
1.单次读取，类似ETL（抽取转换加载），跑批
2.JAVA
3.没有交互模式
4.磁盘io 存储换内存
5.基于hadoop生态圈，需要任务调度yarn mesos，高可用存储 hdfs alluxio等。
Spark简述 下图是Spark和MapReduce进行逻辑回归机器学习的性能比较，Spark比MapReduce...
Spark卡壳了，有点费劲，先把MapReduce学回来才开始Spark，基本上Spark是替换MapReduce...
Spark和MapReduce的区别？Spark和MapReduce都是分布式计算框架，都是采用map-reduc...
基于YARN的SPARK管理过程 前言 MapReduce与Spark中Job概念的区别 在MapReduce中的...
Spark MapReduce 使用Spark transformations actions 操作构建代码 使...
谈谈MapReduce的概念、Hadoop MapReduce和Spark基于MR的实现 什么是MapReduce...
Hadoop 概念 HDFS MapReduce Hadoop MapReduce作业的生命周期 Spark 概念...
mapreduce与Spark的map-Shuffle-reduce过程 mapreduce过程解析（mapred...
MapReduce写法(Python) streaming Yarn Hive Spark
Join在MapReduce中的实现 一、概述 tips: Hive: MapReduce/Spark巧用 exp...
本文标题：spark mapreduce
本文链接：https://www.haomeiwen.com/subject/jehzkxtx.html
网友评论