美文网首页
flink 的部署模式

flink 的部署模式

作者: NazgulSun | 来源:发表于2021-01-29 14:10 被阅读0次

主要的运行模式:
flink session模式:
指定 master,slave 节点
启动flink run job 程序。
特点:
1)集群一直存在,也就是 jobmanager,taskmanager一直存在
2) 属于提前规好资源
3) 不同job共享集群,隔离不充分,按需分配的能力一般。
4) 物理资源总是占用,不管集群是否有job。

flink on yarn 的模式:
用过spark的都知道,yarn属于资源管理器,对物理资源进行管理,分配,回收,隔离。
尽可能做到资源的优化配置,提高利用率。

flink on yarn 模式 分为session 和 cluster模式。

session模式,和flink standalone的session模式差不多,需要提前设定资源,并且启动集群。
后面所有提交的job 都是共享这一个集群,隔离能力一般,共享资源,job之间可能会相互影响
适合job 较小的任务。

perjob cluster模式。
一个任务会对应一个Job,每提交一个作业会根据自身的情况,都会单独向yarn申请资源,
直到作业执行完成,一个作业的失败与否并不会影响下一个作业的正常提交和运行。
独享Dispatcher和ResourceManager,按需接受资源申请;适合规模大长时间运行的作业。
隔离能力强,资源共享可能不如session。但是集群使用时才占用物理资源,使用后销毁,利用率高。

相关文章

网友评论

      本文标题:flink 的部署模式

      本文链接:https://www.haomeiwen.com/subject/mxmqtltx.html