美文网首页
【Spark】HistoryServer首页加载页面慢问题

【Spark】HistoryServer首页加载页面慢问题

作者: PowerMe | 来源:发表于2017-12-08 09:46 被阅读120次

    【问题分析】
    当刷新HistoryServer首页时,页面会发送一个REST请求( /api/v1/applications)到HistoryServer,获取application列表信息(json response);默认是将history log存储路径下的所有application信息返回。目前history log的HDFS存储路径下的application数目基本维持在1万以上,刷新首页显示“Loading History Summary”的耗时主要在解析返回的json数据及渲染页面上。
    【解决方案】
    设置spark.history.ui.maxApplications=2000参数,限制首页显示的application数目。
    参数设置后带来的问题是没有加载到首页的application通过search框搜索不到,查找方法转换成打开页面已有app historylog 链接,替换appid字段后跳转。

    相关文章

      网友评论

          本文标题:【Spark】HistoryServer首页加载页面慢问题

          本文链接:https://www.haomeiwen.com/subject/jjnsixtx.html