企业实践
09:00 网易实践
演进
16年调研Flink,基于1.3,1.5,1.7版本通过写代码跑流计算任务,2019年7月份发现大部分子公司都有流计算平台,决定共建平台,将子公司的任务迁移。
规模:1000+任务,2W+Vcore,80+T内存
业务场景:广告、电商大屏,数据分析,风控,监控,直播,ETL,推荐
FLINK平台化
-
0.x
图片.png -
1.0
图片.png -
2.0,平台共建
图片.png
平台模块图
图片.png
事件处理
通过zookeeper实现锁机制和写数据,通过DB来保存任务状态。
图片.png
通过父子进程来守护
图片.png
任务状态图
图片.png
最终任务开发界面
图片.png
日志检索功能
图片.png监控
图片.png告警
图片.png
案例分析
-
数据实时同步
图片.png -
实时数仓
图片.png -
搜索推荐
图片.png
未来发展与思考
- 实时计算平台支持flink on k8s的任务
- 任务的自动配置功能,平台根据业务类型,流量自动配置内存,并发度等,既能保证任务SLA,也能提升计算集群的资源利用率
- 智能诊断,对UDF以及代码构建的流计算任务,调试成本高,运行出错让业务和平台方疲于奔命,智能诊断来查找任务,减少任务的定位时间
- 关注Flink1.9级后续版本对SQL的支持,升级版本
- 更多参与社区
09:40 农业银行实践
背景
数字化转型:外部经济的压力,内部经营的压力
业务发展:农行通过线上贷款,服务了100w+个人客户,金额800亿左右,三农客户线上贷款2000亿
信贷发展与风控:希望能提高普惠金融收益
图片.png
传统风控的不足:经验为主、客户体验、实时性差、模型失灵
18年启动flink,19年通过kafka+flink搭建风控平台
选型要求:实时性、准确性、吞吐率
实践分享
图片.png图片.png
图片.png
图片.png
典型应用
图片.png图片.png
未来展望
- 使用范围扩展
- 平台化
- 智能化
10:20 基于Apache Flink的爱奇艺实时计算平台建设实践
发展史
2012年启动大数据
2013升级Hadoop2.0
15年引入kafka
17年引入flink
18年推出自研RAP数据分析平台
19年打造流数据处理平台
图片.png
图片.png
图片.png
实践
图片.png图片.png
图片.png
图片.png
未来规划
- 批流一体化
- 推广Streaming SQL
- 基于Flink的机器学习
- 提高Flink作业的资源利用率,支持动态资源调整
- Flink docker化
网友评论