美文网首页
HDP3 集成 TEZ_UI

HDP3 集成 TEZ_UI

作者: ron_yang | 来源:发表于2020-08-05 12:51 被阅读0次

HDP3以上的版本移除了TEZ view,收集网上的资料,自行部署集成

tez_ui 页面部署

  1. 准备一个tomcat
mkdir tez_ui
cd tez_ui
wget https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-9/v9.0.37/bin/apache-tomcat-9.0.37.tar.gz
tar -zxvf apache-tomcat-9.0.37.tar.gz
cd apache-tomcat-9.0.37/webapps
mkdir back
mv * back

  1. 修改tomcat默认端口为9999(官网推荐的tez_ui端口,具体配置略)
  1. 根据你使用的tez版本,下载对应的版本的安装包,我这里使用的时0.9.1 。
wget https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.1/apache-tez-0.9.1-bin.tar.gz
tar -zxvf apache-tez-0.9.1-bin.tar.gz
mkdir tez_ui
cp apache-tez-0.9.1-bin/tez-ui-0.9.1.war tez_ui/
cd tez_ui
jar -xvf tez-ui-0.9.1.war

  1. 修改config/configs.env中的内容,主要是timeline和rm的地址
ENV = {
  hosts: {
    /*
     * Timeline Server Address:
     * By default TEZ UI looks for timeline server at http://localhost:8188, uncomment and change
     * the following value for pointing to a different address.
     */
    timeline: "http://10.30.238.12:8188",

    /*
     * Resource Manager Address:
     * By default RM REST APIs are expected to be at http://localhost:8088, uncomment and change
     * the following value to point to a different address.
     */
    rm: "http://10.30.238.11:8088",

    /*
     * Resource Manager Web Proxy Address:
     * Optional - By default, value configured as RM host will be taken as proxy address
     * Use this configuration when RM web proxy is configured at a different address than RM.
     */
    //rmProxy: "http://localhost:8088",
  },

  /*
   * Time Zone in which dates are displayed in the UI:
   * If not set, local time zone will be used.
   * Refer http://momentjs.com/timezone/docs/ for valid entries.
   */
  //timeZone: "UTC",

  /*
   * yarnProtocol:
   * If specified, this protocol would be used to construct node manager log links.
   * Possible values: http, https
   * Default value: If not specified, protocol of hosts.rm will be used
   */
  //yarnProtocol: "<value>",
};
  1. 启动tomcat即可
cd ${TOMCAT_HOME}/bin
sh startup.sh

tez-site.xml 配置

tez.am.view-acls: *
yarn.timeline-service.enabled: true
tez.tez-ui.history-url.base http://your-host/tez-ui/
tez.am.tez-ui.history-url.template __HISTORY_URL_BASE__?viewPath=/#/tez-app/__APPLICATION_ID__
tez.history.logging.service.class org.apache.tez.dag.history.logging.ats.ATSV15HistoryLoggingService

hive-site.xml配置

hive.server2.enable.doAs: true
hive.exec.failure.hooks: org.apache.hadoop.hive.ql.hooks.ATSHook
hive.exec.post.hooks: org.apache.hadoop.hive.ql.hooks.ATSHook,org.apache.atlas.hive.hook.HiveHook
hive.exec.pre.hooks: org.apache.hadoop.hive.ql.hooks.ATSHook
hive_timeline_logging_enabled: true

yarn-site.xml配置

hadoop.http.cross-origin.allowed-origins: *
yarn.nodemanager.webapp.cross-origin.enabled: true
yarn.resourcemanager.webapp.cross-origin.enabled: true
yarn.timeline-service.http-cross-origin.enabled: true

相关文章

  • HDP3 集成 TEZ_UI

    HDP3以上的版本移除了TEZ view,收集网上的资料,自行部署集成 tez_ui 页面部署 准备一个tomca...

  • 用cloudera manager在阿里云搭建hadoop环境

    准备四台机器,并且做同样的操作 假设名字为cmf、hdp1、hdp2、hdp3、 系统全部为centos 6.5 ...

  • 【3】企业集成EAI概要

    企业应用集成(EAI)可以包括表示集成、数据集成、控制集成和业务流程集成等多个层次和方面。 1.表示集成表示集成也...

  • 集成Facebook广告、分享集成笔记

    集成Facebook广告、分享集成笔记 1、集成Facebook广告2、集成Facebook分享 Facebook...

  • iOS原生集成H5+详细流程

    iOS原生集成H5+ 集成方式 独立应用方式集成 Widget方式集成 WebView方式集成 可以打开官方链接:...

  • iOS开发 - SMSSDK(短信验证)

    Mob 的SMS短信验证集成和使用 1.集成##### 集成可以用cocoapods来集成,也可以手动集成,这里就...

  • SpringBoot 集成

    SpringBoot 集成 redis SpringBoot集成mongodb SpringBoot集成Beetl...

  • 竹木纤维集成墙面好不好

    竹木纤维集成墙面优点 集成墙板十大品牌排名竹木纤维集成墙面用户集成墙面价格表 竹木纤维集成墙面 新型集成墙面装饰板...

  • iOS 友盟分享

    前言:学习笔记大致流程: (只记录 pod集成)1.集成SDK 1.1 自动集成 (Pod) [集成链接](...

  • 软件测试基础

    测试流程 单元 > 集成 > 系统 > 验收 集成测试 主要分为:一次性集成和增殖式集成。 一次性集成 自顶向下 ...

网友评论

      本文标题:HDP3 集成 TEZ_UI

      本文链接:https://www.haomeiwen.com/subject/aminrktx.html