hadoop集群配置-总结

[TOC]

hadoop 集群

hadoop3.2 分为 单点，集群 ，伪集群

hadoop 配置

hadoop /etc/hadoop/ 下的xml 配置

环境变量的配置

hadoop 安全模式

用户可以通过 hdfs dfsadmin -safemode value 来操作安全模式，参数value的说明如下：

• enter - 进入安全模式

• leave - 强制NameNode离开安全模式

• get - 返回安全模式是否开启的信息

• wait - 等待，一直到安全模式结束。

hadoop datanode

在3.2中 hdfs namenode -format 后，启动start-all.sh 用jps 查看没有 datanode ,需要使用

hdfs 命令 hdfs datanode 启动

hadoop 3.2 页面访问

• http://<localhost>:8088

• http://<localhost>:9870

hadoop 2.7

• http://<localhost>:50070

• http://<localhost>:9870

同步时间

apt-get install ntp

ntpdate 192.168.1.159

启动

• 在regionServer上 ./hbase-daemon.sh start regionserver

• 在master上执行 ./bin/hbase-daemon.sh start master

• hdfs datanode

hadoop 单节点启动 yarn NodeManageer (处理wordcount)

1.单个节点操作

• 启动|停止单个节点

  hdfs --daemon start|stop datanode
  
  hdfs --daemon start|stop namenode
  

• 启动|停止单个节点的NodeManageer

  yarn --daemon start nodemanager
  
  yarn --daemon stop  nodemanager
  

• 启动|停止ResourceManager

  yarn --daemon start resourcemanager
  
  yarn --daemon stop resourcemanager
  

2.集群操作

start|stop-dfs.sh 在master上使用,否则只会停掉该台机器的datanode(namenode)

start|stop-yarn.sh(会停掉ResourceManager与NodeManager)在配置ResourceManager的机器上使用,否则只会停止该台机器上的NodeManager

start|stop-all.sh(不建议对集群使用)

wordcount

1.yarn-site.xml mapred-site.xml 内存修改

2.启动 NodeManageer resourcemanager

37开 - 原创文章(已经在多平台发表)，转载请标明出处

原文地址-99get81.com