美文网首页flink
基于Flink流处理的动态实时亿级全端用户数据统计分析系统(支持

基于Flink流处理的动态实时亿级全端用户数据统计分析系统(支持

作者: 56f42c89ce97 | 来源:发表于2018-12-21 11:41 被阅读165次

    基于Flink流处理的动态实时亿级全端用户数据统计分析系统(支持所有的终端统计)

    课程学习地址:http://www.xuetuwuyou.com/course/310

    课程出自学途无忧网:http://www.xuetuwuyou.com

    讲师:友凡老师

    本套案例是完全基于真实的产品进行开发和讲解的,同时对架构进行全面的升级,采用了全新的Flink架构+Node.js+Vue.js等,完全符合目前企业级的使用标准。对于本套课程在企业级应用的问题,可以提供全面的指导。

    Flink作为第四代大数据计算引擎,越来越多的企业在往Flink转换。Flink在功能性、容错性、性能方面都远远超过其他计算框架,兼顾高吞吐和低延时。

    Flink能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。也就是说同时支持流处理和批处理。Flink将流处理和批处理统一起来,也就是说作为流处理看待时输入数据流是无界的;批处理被作为一种特殊的流处理,只是它的输入数据流被定义为有界的。

    课程包含技术:

    1. 流处理特性

    支持高吞吐、低延迟、高性能的流处理

    支持带有事件时间的窗口(Window)操作

    支持有状态计算的Exactly-once语义

    支持高度灵活的窗口(Window)操作,支持基于time、count、session,以及data-driven的窗口操作

    支持具有Backpressure功能的持续流模型

    支持基于轻量级分布式快照(Snapshot)实现的容错

    一个运行时同时支持Batch on Streaming处理和Streaming处理

    Flink在JVM内部实现了自己的内存管理

    支持迭代计算

    支持程序自动优化:避免特定情况下Shuffle、排序等昂贵操作,中间结果有必要进行缓存

    2. API支持

    对Streaming数据类应用,提供DataStream API

    对批处理类应用,提供DataSet API(支持Java/Scala)

    3. Libraries支持

    支持机器学习(FlinkML)

    支持图分析(Gelly)

    支持关系数据处理(Table)

    支持复杂事件处理(CEP)

    4. 整合支持

    支持Flink on YARN

    支持HDFS

    支持来自Kafka的输入数据

    支持Apache HBase

    支持Hadoop程序

    支持Tachyon

    支持ElasticSearch

    支持RabbitMQ

    支持Apache Storm

    支持S3

    支持XtreemFS

    友凡老师另外一套flink课程推荐:

    基于Flink流处理的动态实时电商实时分析系统

    课程详情:http://www.xuetuwuyou.com/course/296

    相关文章

      网友评论

        本文标题:基于Flink流处理的动态实时亿级全端用户数据统计分析系统(支持

        本文链接:https://www.haomeiwen.com/subject/dprmkqtx.html