美文网首页
离线计算和实时计算的对比

离线计算和实时计算的对比

作者: zoran_af7d | 来源:发表于2020-05-18 11:33 被阅读0次

数据来源

1)数据来源

离线计算:HDFS 历史数据等,一般数据规模比较大

实时计算:一般来自于消息队列(kafka等),实时地新增、修改记录过来的某一笔数据。

2)处理过程

离线计算:MR:MAP + REDUCE SPARK:SPARK SQL

实时计算:SPARK Streaming、SS、Flink、Strom

3)处理速度

离线计算:速度慢

实时:速度快

4)进程角度

离线计算:进程经过启动和销毁

实时计算:线程一直启动,等待数据进入进行处理

相关文章

  • Spark Streaming实时流处理-1.初识实时流处理

    目录 业务现状分析 实时流处理产生背景 实时流处理概述 离线计算与实时计算对比 实时流处理框架对比 实时流处理架构...

  • 离线计算和实时计算的对比

    数据来源 1)数据来源 离线计算:HDFS 历史数据等,一般数据规模比较大 实时计算:一般来自于消息队列(kafk...

  • 大数据发展历程

    离线计算 实时计算 内存计算

  • Apache Flink 简介

    前言 计算引擎 大数据计算引擎分为离线计算和实时计算,离线计算就是我们通常说的批计算,代表是Hadoop MapR...

  • Flink学习笔记(一)

    主要内容来自zhisheng大佬的课程,作为学习记录 一、实时计算的相关背景 实时计算应用 实时计算场景 离线计算...

  • SQL On Streaming

    实时计算的一个方向 实时计算未来会成为一个趋势,基本上所有的离线计算任务都能通过实时计算来完成,对于实时计算来算,...

  • 实时计算——聊一聊我所经历的计算框架

    实时计算 上篇文章大致介绍了离线计算MapReduce和Spark,但是无法满足对实时性要求较高的业务,下面我们来...

  • 浅谈分布式计算的开发与实现(二)

    实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数...

  • yarn资源多租户隔离

    标题随意取的,别太在意。 技术栈 实时计算:spark streaming + kafka + yarn离线计算:...

  • (二十二)大数据学习之流式计算

    大数据学习之流式计算 一. 1.计算分类:批量计算、实时计算、离线计算、流式计算2.共同点:数据源 --> ...

网友评论

      本文标题:离线计算和实时计算的对比

      本文链接:https://www.haomeiwen.com/subject/oxwxgftx.html