美文网首页大数据程序员
YARN的日志聚集配置使用

YARN的日志聚集配置使用

作者: 明明德撩码 | 来源:发表于2018-02-03 23:53 被阅读149次

修改yarn-site.xml文件

说明:修改路径$hadoop/etc/hadoop下的yarn-site.xml。新增两个属性并保存上传服务器。


属性1:表示在yanr上开启聚合日志服务。
属性2:表示聚合日志在服务器上的存留时间。

2、关掉Yarn的resourcemanager服务

3、关掉Yarn的nodemanager服务

3、关掉MapReduce历史任务服务

4.启动resourcemanager、nodemanager 、historyserver

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

5、计算/user/beifeng/mapreduce/wordcount/*下文件单词出现的次数

image.png

6、查看聚集日志

image.png

相关文章

  • YARN的日志聚集配置使用

    修改yarn-site.xml文件 说明:修改路径$hadoop/etc/hadoop下的yarn-site.xm...

  • Flink的日志配置

    介绍flink在本地运行和on yarn运行时的日志配置。 很多现代框架都是用门面模式进行日志输出,例如使用Slf...

  • Spark2x on yarn日志配置详解

    概述 Spark on Yarn的日志配置分为两类: Spark on Yarn client模式 Spark o...

  • 配置日志聚集

    所谓日志聚集,就是指应用运行完以后,将程序的运行日志信息上传到HDFS系统上。日志聚集可以方便的查看程序的运行详情...

  • Hadoop-配置历史服务器和日志聚集

    配置历史服务器 历史服务器可以查看程序运行的历史情况 配置日志的聚集 日志聚集:应用运行完成以后,将程序运行日志信...

  • 【2019-08-07】yarn上任务记录不显示

    问题描述 yarn的app没有显示,hdfs上存在其app的日志 处理过程 1.检查配置yarn.resource...

  • readme

    前端框架使用说明 配置 yarn 可以通过以下代码检验是否安装了yarn yarn -v or yarn --ve...

  • Install software on Ubuntu 16.04

    安装yarn 安装 nodejs 6.10.2 安装Angular CLI 设置ng使用yarn 配置React环...

  • mapredue日志查看方式

    日志相关的一般配置项 NodeManager 存储容器日志文件的本地文件系统中的目录列表。yarn.nodeman...

  • npm命令收藏

    替换淘宝镜像 yarn 下载并配置好node之后,就可以使用npm命令了如果要使用yarn命令则需要先 yarn其...

网友评论

    本文标题:YARN的日志聚集配置使用

    本文链接:https://www.haomeiwen.com/subject/dzupzxtx.html