美文网首页
03-flink的主要特点

03-flink的主要特点

作者: yayooo | 来源:发表于2021-06-08 08:55 被阅读0次

一、flink事件驱动


左图为传统事务处理过程-右图为事件驱动处理过程

Traditional transaction application: 传统的事务应用程序
Events: 事件
Application: 应用
Transactional DB:传统数据库
trigger:触发
Action:操作
Event-driven application:事件驱动的应用程序
Event Log:事件日志
ingest:摄入
Application:应用
State:状态
periodically write asynchronous checkpoints:定期写异步检查点
Persistent storage:持久性存储

  • 传统型事务应用程序处理流程:一个事件通过后台应用程序处理,通过读写数据库,将结果返回给用户。
  • 事件驱动处理过程:通过收集事件日志,摄入到flink应用中,通过一个本地状态而不去查询关系型数据库,本地状态为了保证稳定性,还可以将状态存到一个持久性存储中,最终通过计算,将结果保存到持久存储或者发送给下游应用使用。

二、flink流式数据形式
flink中,一切都是由流组成的,离线数据是有界的流,实时数据是一个没有界限的流。


flink流式数据

bounded stream:有界数据流
unboude stream:无界数据流

三、flink拥有分层API

  • 越顶层的越抽象,表达含义越简明,使用越方便,如直接使用SQL。
  • 越底层越具体,表达能力丰富,使用灵活,任何逻辑都可以用ProcessFunction去表达,但是代码逻辑实现较难。


    flink分层api

    High-level Analytics API:高级api,分析型api,直接写SQL
    Stream-&Batch Data Processing: 流与批数据处理api,可以开窗口
    Stateful Event-Driven Applications:事件驱动型api,可以拿到事件的状态,和时间

同样可以如下理解:


flink分层api

High-level language:高级语言,即使用高级语义描述计算
Declarative DSL:声明式DSL
core APIs:核心PI
Stateful Stream Processing:有状态的流处理
low-level building block:低级api,构建块

四、flink时间语义
支持事件事件(event-time)和处理时间(processing-time)
详见后续连载:

五、精确一次(exactly-once)的状态一致性保证
详见后续连载:

六、可与常用存储系统连接(如redis,es,mysql,clickhouse等)
详见后续连载:

七、低延迟、高吞吐、每秒处理百万个事件

八、可实现动态扩展

相关文章

  • 03-flink的主要特点

    一、flink事件驱动 Traditional transaction application: 传统的事务应用程...

  • 03-flink编程模型

    03-flink编程模型 Flink编程接口 根据数据类型分为两大类: 支持批计算的接口DataSet API 支...

  • CDN的主要特点

    1、CDN加速服务提高了企业站点(尤其含有大量图片和静态页面站点)的访问速度,并大大提高以上性质站点的稳定性 2、...

  • 03-flink HelloWorld 入门项目初探

    目录 一、Mac安装Flink 1.brew 安装 brew install apache-flink 2.检查版...

  • 活动策划的主要特点

    第一;活动策划的功能 1、活动策划具有深层阐释功能 广告本身所具有的属性,决定了它不可以采取全面陈述的方式来表现;...

  • Java语言的主要特点

    1. 跨平台性 所谓的跨平台性,是指软件可以不受计算机硬件和操作系统的约束而在任意计算机环境下正常运行。这是软件发...

  • 中医基础理论

    中医基础理论(中基) 的目录框架 1:中医学理论体系的形成及主要特点 (1)形成与发展 (2)主要特点:【一:整体...

  • 网络营销的主要特点及优势

    网络营销的主要特点及优势 网络营销的主要特点及优势:1、传播范围广、不受时空限制。2、网络营销具有交互性和纵深性。...

  • 模具哥张跃16P:精密注塑成型主要特点

    我是模具哥张跃,做模具行业20多年了。我来介绍下做精密模具的主要特点。 精密注塑成型主要特点有: 1、制件的尺寸精...

  • 好领导的几个主要特点

    1、能够给下属足够的发展空间 2、能够在大方向上给予属下指导 3、能够在属下掉坑里的时候帮一把 4、能够在危机时刻...

网友评论

      本文标题:03-flink的主要特点

      本文链接:https://www.haomeiwen.com/subject/dpjarltx.html