【问题分析】
当刷新HistoryServer首页时,页面会发送一个REST请求( /api/v1/applications)到HistoryServer,获取application列表信息(json response);默认是将history log存储路径下的所有application信息返回。目前history log的HDFS存储路径下的application数目基本维持在1万以上,刷新首页显示“Loading History Summary”的耗时主要在解析返回的json数据及渲染页面上。
【解决方案】
设置spark.history.ui.maxApplications=2000参数,限制首页显示的application数目。
参数设置后带来的问题是没有加载到首页的application通过search框搜索不到,查找方法转换成打开页面已有app historylog 链接,替换appid字段后跳转。
网友评论