1-概述

作者: 无暇的风笛 | 来源:发表于2020-07-18 00:52 被阅读0次

    1、功能特性

    1. 支持streaming流处理、batch批处理
    2. 容错:提供有状态的计算,记录数据的处理状态,基于chandy-lamport算法实现分布式一致性快照,提供一致性语义
    3. 可伸缩:一个集群支持上千个节点
    4. 高吞吐、低延迟

    2、架构

    1.1-flink架构.png
    1. deploy层:部署层,flink支持本地、集群和云服务器
    2. core层:为api层提供服务,提供支持flink计算的全部核心实现
    3. api&libraries:提供面向流处理、批处理的api;以及机器学习、图形处理等扩展库

    3、常见实时框架对比

    模型 一致性 容错机制 延时/吞吐量
    Storm Native(数据进入立即处理) at-lease-once(至少一次) record ack 低/低
    Spark Streaming Micro-batching exactly-once rdd checkpoint 中/高
    Flink Native exactly-once checkpoint(snapshot) 高/高

    4、flink基本组件

    1. datasource:主要用来接收数据
    2. transform:算子,对数据进行加工处理,比如map、reduce、filter、aggregation、
    3. datasink:数据输出组件,主要用来保存数据到其他介质中

    相关文章

      网友评论

          本文标题:1-概述

          本文链接:https://www.haomeiwen.com/subject/kxiohktx.html