Yarn介绍及基本使用(更新中......)

Contaniner定义

• 一个虚拟的概念，表示YARN的资源抽象
• 封装了某节点的多维度资源(内存、CPU、磁盘、网络等资源)
• 当Application Master向Resource Manager申请资源时, Resouce Manager 为Application Master返回资源

Yarn的WEB UI的详细说明

• 参见: https://blog.csdn.net/weixin_42411818/article/details/96283995

Yarn任务处理流程(待更新......)

Yarn常用命令

• yarn jar demo.jar
  • 运行jar包, 等于 hadoop jar
• yarn application -list
  • 显示当前运行的application信息
• yarn application -kill <Application ID>
  • kill掉某个yarn application(某些情况下,终止了hql或mr程序,并不能终止提交到yarn上的job,需要用到这个命令)

Yarn性能调优

• yarn.nodemanager.resource.memory-mb

  • 单个nodemanager可以管理的内存大小: 默认8G

• yarn.scheduler.minimum-allocation-mb

  • 单个容器Container最小内存: 默认1G，生产上推荐2G

• yarn.scheduler.maximum-allocation-mb

  • 单个容器Container最大内存: 默认8G,
  • 生产上与yarn.nodemanager.resource.memory-mb一致，防止内存暴增，但是容器还有内存的情况下出现OOM

• yarn.nodemanager.pmem-check-enabled true

  • 物理内存超过“mapreduce.reduce.memory.mb”或“mapreduce.map.memory.mb”大小，此Container就会被kill

• yarn.nodemanager.vmem-check-enabled true

  • 虚拟内存超过yarn.nodemanager.vmem-pmem-ratio* mapreduce.reduce.memory.mb或者mapreduce.map.memory.mb的话，此Container就会被kill

• yarn.nodemanager.vmem-pmem-ratio 2.1

  • 虚拟内存与物理内存的比例