入门篇 初始flink
接触flink有一段时间了,决定写一些东西,记录和总结一下。
Flink是什么?
Apache Flink是一个分布式的大数据处理引擎,可以对有限数据流和无线数据流进行有状态的计算。可以部署在各种集群环境,可以对各种大小规模的数据进行快速计算。
https://flink.apache.org/
上图中,可以看出,fink实时接收来自消息队列或者各种类型数据库中的数据,通过flink计算引擎进行处理之后,发送给应用,各种类型数据库,或者消息队列。这就是flink大体上的用途吧。
上图中提到Flink是一个对有限数据流和无线数据流进行有状态的计算的引擎,下面阐述一下什么是有限数据流和无限数据流。
有限数据流和无限数据流?
a)有限数据流:有限不会改变的数据集合--批处理、离线运算
误区:很多现实中认为是有界或者批量的数据集实际上无限数据流,hdfs目录、kafka
b) 无限数据流:数据流源源不断的--流式计算、流计算
举例:
a) 点击流(终端手机用户或者web应用的点击流)
b) 物理传感器采集的测量数据
c) 金融市场产生的数据(股市、数字货币交易市场)
d) 服务器上的日志数据
有限数据流和无线数据流有分别对应不同的计算模型
flink两种计算模型
a)流式计算、流计算,一直处于运行或者等待运行状态
b)批处理/离线运算,在预先定义的时间内运行计算,当完成时释放计算机资源
flink存储介质
flink存储的数据比如,checkpoint,savepoint数据,已经计算的中间状态数据等。可以存储到hdfs,s3,nfs...。
flink资源管理
flink的资源管理引擎,类比于spark,可以是local jvm,k8s,yarn,mesos...,所以我们可以直接在本机上,跑一个flink程序,方便测试。
总的来说,flink就是一个统一的大数据分析和流处理,批处理以及机器学习引擎,并且是一个生态友好,处处可运行的实时计算框架。
flink的诞生与发展
诞生于2009年,原来叫StratoSphere,是柏林工业大学的一个研究性项目,早期专注于批计算;2014年孵化出Flink并捐给Apache;2015年开始引起大家注意;2016年在阿里得到大规模应用; 背后的商业公司叫data artisans
https://data-artisans.com
flink开始崭露头角,并区别于其他的流计算引擎的主要特点: 它不仅是一个高吞吐,低延迟的计算引擎,同时还具备其他的高级特性,提供有状态的计算,支持状态管理,支持强一致性的语义,以及支持EventTime和waterMark 对消息乱序的处理。这也是阿里看上flink的原因,并决心投入重金研究基于flink的blink。
flink众多优点
支持批处理和流处理
优雅流畅的支持java和scala
高吞吐量和低延迟
支持事件处理和无序处理通过SataStream API,基于DataFlow数据流模型
在不同的时间语义(事件时间,摄取时间、处理时间)下支持灵活的窗口(时间,滑动、 翻滚,会话,自定义触发器)
仅处理一次的容错担保,通过event time & watermarker
自动背压机制,下游对上游的反压。
图处理(批) 机器学习(批) 复杂事件处理(流)
在dataSet(批处理)API中内置支持迭代程序(BSP)
高效的自定义内存管理,和健壮的切换能力在in-memory和out-of-core中
兼容hadoop的mapreduce和storm
集成YARN,HDFS,Hbase 和其它hadoop生态系统的组件,丰富的connector
flink的核心组件和生态
核心组件
Deploy:
flink可以运行在Single JVM,Standalone,YARN,S3.
Core:
flink的核心是Distributed streaming Dataflow
API:
基于flink core 是两大核心API DataStream API&DataSet API
Libraries:
基于核心API,有一些扩展的library,例如基于DataStream API的CEP,Table&SQL,基于DataSet API的Flink ML ,Gelly,Table&SQL,值得注意的是,Table&SQL可以同时运行流数据和批数据集合。
flink的生态
flink可以和大数据生态圈绝大多数的组建进行交互,当然了,目前来说,还没有spark支持的组建多,这也是flink未来努力的方向。
从图中可以看出,目前主流的大数据相关组件,都可以和flink整合。
flink的未来
批流统一
多语言支持
完善ml算法库,提供更多机器学习,深度学习相关的支持。
flink 的应用场景
Event-driven Applications
Data Analytics Applications
Data Pipeline Applications
具体可参考:https://flink.apache.org/usecases.html
事件驱动的应用程序不是查询远程数据库,而是在本地访问其数据,从而在吞吐量和延迟方面产生更好的性能。远程持久存储的定期检查点可以异步和递增完成。因此,检查点对常规事件处理的影响非常小。
Flink提供了一组丰富的状态原语,可以管理非常大的数据量(最多几TB),并且具有一次性的一致性保证。此外,Flink支持事件时间,高度可定制的窗口逻辑,以及通过ProcessFunction实现高级业务逻辑提供的细粒度时间控制。此外,Flink还提供了一个用于复杂事件处理(CEP)的库,用于检测数据流中的模式。
典型的应用场景:
欺诈识别
异常检测
基于规则的警报
业务流程监控
Web应用程序(社交网络)
数据分析应用
与批量分析相比,连续流分析的优势不仅限于因消除定期导入和查询执行的延迟。与批量查询相比,流式查询不必处理输入数据中的人为边界(比如过了凌晨12点开始T+1执行),这些边界是由定期导入和输入的有界性质引起的。
Flink为连续流式传输和批量分析提供了非常好的支持。具体来说,它具有符合ANSI标准的SQL接口,具有用于批处理和流式查询的统一语义。无论是在记录事件的静态数据集上还是在实时事件流上运行,SQL查询都会计算相同的结果。对用户定义函数的丰富支持可确保在SQL查询中执行自定义代码。如果需要更多的自定义逻辑,Flink的DataStream API或DataSet API提供更多的低级控制。此外,Flink的Gelly库为批量数据集上的大规模和高性能图形分析提供算法和构建块。
典型应用场景:
电信网络的质量监控
分析移动应用程序中的产品更新和实验评估
对消费者技术中的实时数据进行特别分析
大规模图分析
Data pipeline应用
连续数据流水线优于周期性ETL作业的明显优势是减少了将数据移动到目的地的延迟。此外,数据管道更通用,可用于更多用例,因为它们能够连续消耗和发送数据。
Flink的SQL接口(或表API)可以解决许多常见的数据转换或丰富任务,并支持用户定义的函数。通过使用更通用的DataStream API,可以实现具有更高级要求的数据管道。Flink为各种存储系统(如Kafka,Kinesis,Elasticsearch和JDBC数据库系统)提供了丰富的连接器。它还具有连续的文件系统源,用于监视以时间分区方式写入文件的目录和接收器。
典型应用场景:
电子商务中的实时搜索索引构建
电子商务中持续的ETL
阿里flink实时计算应用场景
阿里flink实践案例分析
下面是一个实践案例,更多案例请参考
https://help.aliyun.com/product/45029.html?spm=a2c4g.11186623.3.1.70b863caaaH5S0
基于实时计算,您可以轻松完成实时欺诈检测系统。 实时欺诈检测系统能够及时发现用户高危行为并采取措施,降低损失。
实时欺诈检测(风控)系统流程如下:
用户的行为经由App上报或Web日志记录下来,发送到一个消息队列里去。
实时计算订阅消息队列,过滤出感兴趣的行为,比如:购买、领券、浏览等。
实时计算计算把这个行为特征化。
实时计算通过UDF调用外部一个风险模型,判断这次行为是否有问题(单次行为)。
实时计算里通过CEP功能,跨多条记录分析用户行为(比如用户先做了A,又做了B,又做了3次C),整体识别是否有风险。
综合风险模型和CEP的结果,产出预警信息。
flink vs spark vs storm ...
spark 和 flink的对比我们可以从编程模型,扩展的类库,支持的语言,运行环境等方面进行比较。
详细可以参考:
https://blog.csdn.net/aWDac/article/details/83583247
而flink 和其他的实时流引擎的对比如下图:
从图中可以看出,想比如其他的实时处理引擎flink的明显优势是,保证exactly once的语义,并且具有低延迟,高吞吐等优点,并且越来越广泛的被应用。
总结:
这篇文章我们阐述了flink是什么,有限数据集,无线数据集的概念;flink的编程模型,存储介质,资源管理框架;flink的诞生与发展,flink的众多优点,核心组件与生态;以及阿里flink的使用场景,真实案例,最后对flink和spark以及其他实时流处理框架进行了比较。现在我们对flink应该有了大致的了解。
程序员升职加薪,可以联系我们
作者:流水设计V:13136173369或者Q:3139496932
链接:https://www.jianshu.com/p/f390f71a80d6
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。
网友评论