美文网首页
Hadoop2.0 | Tez配置优化

Hadoop2.0 | Tez配置优化

作者: icebreakeros | 来源:发表于2019-07-06 12:38 被阅读0次

    配置优化

    Tez优化机制

    YARN当前存在的问题
    每个作业启用一个Application-Master,应用程序延迟较大,即每个应用程序要申请资源启动AppMaster后,才可以启动任务
    资源无法重用。MRAppMaster总是为未运行的任务申请新的资源。

    Tez引入的优化技术
    ApplicationMaster缓冲池
    作业提交到AMPoolServer上,预启动若干个ApplicationMaster,形成缓冲池

    预先启动Container
    ApplicatoinMaster启动时可预先启动若干个Container

    Container重用
    一个任务运行完成后,ApplicationMaster不会马上注销它使用的Container,而是将它分配给其他任务

    配置Tez

    用户手册

    相关文章

      网友评论

          本文标题:Hadoop2.0 | Tez配置优化

          本文链接:https://www.haomeiwen.com/subject/cpfphctx.html