美文网首页
Hadoop 配置JobHistory

Hadoop 配置JobHistory

作者: 歌哥居士 | 来源:发表于2019-03-29 16:03 被阅读0次

    配置:mapred-site.xml中的配置

    mapreduce.jobhistory.address:jobhistory地址
    mapreduce.jobhistory.webapp.address:通过浏览器访问jobhistory的地址
    mapreduce.jobhistory.done-dir:MapReduce作业运行完之后放到哪里
    mapreduce.jobhistory.intermediate-done-dir:正在运行中的放到哪

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>host000:10020</value>
        <description>MapReduce JobHistory Server IPC host:port</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>host000:19888</value>
        <description>MapReduce JobHistory Server Web UI host:port</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/job/history/done</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/job/history/done_intermediate</value>
    </property>
    

    配置:yarn-site.yml中的配置

    <property>  
        <name>yarn.log-aggregation-enable</name>  
        <value>true</value>  
    </property>
    

    启动:mr-jobhistory-daemon.sh start historyserver

    进入页面http://host000:8088/,之后可以点击History,然后查看

    相关文章

      网友评论

          本文标题:Hadoop 配置JobHistory

          本文链接:https://www.haomeiwen.com/subject/bycxvqtx.html