【产品掠影】实时计算&离线计算

作者: 升生 | 来源:发表于2018-03-27 21:19 被阅读7次
计算.jpg

实时计算

基于实时性数据需求产生

时间需求:

秒级甚至微秒级;

应用方向:
  • 站内搜索
  • 用户维度的个性化推荐
  • 站内广告竞价系统
  • RTB&DSP
  • 实时信息推送
计算过程

收集 - 计算(回归 - 协同过滤 - 关联 - 神经网络) - 反馈 - 输出,
协同过滤:利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息

离线计算

相对于实时计算,有充裕的时间进行运算挖掘

应用场景
  • 用户流失预警系统
  • 基于用户购买的挽回系统
  • 用户特征和规则提取系统
  • 数据分析系统
  • 用户画像系统

临时计算

介于实时和离线之间的方式,处理时间在秒到分钟之间,数据处理量级为GB到TB

相关文章

  • 【产品掠影】实时计算&离线计算

    实时计算 基于实时性数据需求产生 时间需求: 秒级甚至微秒级; 应用方向: 站内搜索 用户维度的个性化推荐 站内广...

  • 大数据发展历程

    离线计算 实时计算 内存计算

  • Apache Flink 简介

    前言 计算引擎 大数据计算引擎分为离线计算和实时计算,离线计算就是我们通常说的批计算,代表是Hadoop MapR...

  • Flink学习笔记(一)

    主要内容来自zhisheng大佬的课程,作为学习记录 一、实时计算的相关背景 实时计算应用 实时计算场景 离线计算...

  • SQL On Streaming

    实时计算的一个方向 实时计算未来会成为一个趋势,基本上所有的离线计算任务都能通过实时计算来完成,对于实时计算来算,...

  • Spark Streaming实时流处理-1.初识实时流处理

    目录 业务现状分析 实时流处理产生背景 实时流处理概述 离线计算与实时计算对比 实时流处理框架对比 实时流处理架构...

  • 浅谈分布式计算的开发与实现(二)

    实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数...

  • (二十二)大数据学习之流式计算

    大数据学习之流式计算 一. 1.计算分类:批量计算、实时计算、离线计算、流式计算2.共同点:数据源 --> ...

  • yarn资源多租户隔离

    标题随意取的,别太在意。 技术栈 实时计算:spark streaming + kafka + yarn离线计算:...

  • 4.阿里大数据——离线数据开发

    阿里巴巴的数据计算层包括两大体系: 数据存储及计算平台离线计算平台MaxCompute实时计算平台StreamCo...

网友评论

    本文标题:【产品掠影】实时计算&离线计算

    本文链接:https://www.haomeiwen.com/subject/idxecftx.html