配置优化
Tez优化机制
YARN
当前存在的问题
每个作业启用一个Application-Master
,应用程序延迟较大,即每个应用程序要申请资源启动AppMaster
后,才可以启动任务
资源无法重用。MRAppMaster
总是为未运行的任务申请新的资源。
Tez引入的优化技术
ApplicationMaster
缓冲池
作业提交到AMPoolServer
上,预启动若干个ApplicationMaster
,形成缓冲池
预先启动Container
ApplicatoinMaster
启动时可预先启动若干个Container
Container
重用
一个任务运行完成后,ApplicationMaster
不会马上注销它使用的Container
,而是将它分配给其他任务
网友评论