Hadoop集群安装记录

作者: Kcrise | 来源:发表于2022-05-12 14:02 被阅读0次

大数据Hadoop集群搭建-04安装配置HDFS
Zookeeper高可用集群、分布式消息队列Kafka 、
docker不用已有hadoop-cluster镜像搭建 ha
【Hadoop】Hadoop 集群安装
Hadoop集群安装记录
Spark的安装及配置
Kafka快速入门
hadoop虚拟机全套配置攻略
大数据开发环境搭载4--安装Hadoop HA集群
Hive的安装及配置

前言

因工作需要验证FlinkCDC相关功能，Flink的checkpoint 信息可以放到Hdfs上，因此想部署一套Hadoop进行验证，鉴于之前部署的都没有做记录，本次安装部署的时候还得重新找安装步骤，因此本次做了记录，方便后续如果需要可以进行快速安装。大神绕过~

一、环境准备

1.集群规划

    VMware Workstation 15
    CentOS 7.9
    192.168.10.21(hadoop01)
    192.168.10.22(hadoop02)
    192.168.10.23(hadoop03)

2.虚拟机安装、网络配置
略...
3.JDK安装

版本：JDK1.8
步骤：略

新增 hadoop 用户增加sudo权限

1.新增用户
useradd hadoop
passwd hadoop

2.增加sudo权限
vi /etc/sudoers
新增 hadoop   ALL=(ALL)   ALL

## Allow root to run any commands anywhere 
root     ALL=(ALL)   ALL
hadoop   ALL=(ALL)   ALL

二、zookeeper安装

1.hadoop用户配置免密

1.各节点ssh-keygen生成RSA密钥和公钥（192.168.10.21~23）
ssh-keygen -q -t rsa  -N "" -f  ~/.ssh/id_rsa

2.将所有的公钥文件汇总到一个总的授权key文件中，在192.168.10.21 执行
ssh 192.168.10.21 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh 192.168.10.22 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh 192.168.10.23 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3.出于安全性考虑，将这个授权key文件赋予600权限：    
chmod 600 ~/.ssh/authorized_keys

4.将这个包含了所有互信机器认证key的认证文件，分发到各个机器中去
scp ~/.ssh/authorized_keys  192.168.10.22:~/.ssh/
scp ~/.ssh/authorized_keys  192.168.10.23:~/.ssh/

修改hosts

vi /etc/hosts

#Hadoop Cloud
192.168.10.21 hadoop01
192.168.10.22 hadoop02
192.168.10.23 hadoop03

3.上传安装包到hadoop01

下载：http://archive.apache.org/dist/zookeeper/
版本：apache-zookeeper-3.8.0-bin.tar.gz
注：zookeeper 好像从 3.5 版本以后，命名就发生了改变，如果是 apache-zookeeper-3.5.5.tar.gz 这般命名的，都是未编译的，而 apache-zookeeper-3.5.5-bin.tar.gz 这般命名的，才是已编译的包。


个人喜欢使用rz，先安装这个工具
sudo yum -y install lrzsz

1.创建目录
mkdir -p /home/hadoop/plat/zookeeper

2.上传安装包到该目录

3.解压
cd /home/hadoop/plat/zookeeper
tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz

4.更改名称
mv apache-zookeeper-3.8.0-bin zookeeper-3.8.0

5.新增目录
mkdir -p /home/hadoop/plat/zookeeper/zookeeper-3.8.0/data
mkdir -p /home/hadoop/plat/zookeeper/zookeeper-3.8.0/logs

修改配置文件

1.配置文件修改
cd /home/hadoop/plat/zookeeper/zookeeper-3.8.0/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
删除其中内容，并更改为
tickTime=2000                                                                                                        
dataDir=/home/hadoop/plat/zookeeper/zookeeper-3.8.0/data
dataLogDir=/home/hadoop/plat/zookeeper/zookeeper-3.8.0/logs
clientPort=21001
initLimit=5
syncLimit=2
server.1=192.168.10.21:21002:21003
server.2=192.168.10.22:21002:21003
server.3=192.168.10.23:21002:21003
autopurge.purgeInterval=24

2.myid修改
cd /home/hadoop/plat/zookeeper/zookeeper-3.8.0/data
echo 1 > myid

5.分发到其他主机

1.配置put工具
cd /home/hadoop
vi .bashrc
新增如下内容
export hadoop01=192.168.10.21
export hadoop02=192.168.10.22
export hadoop03=192.168.10.23
put()
{
    if [ $# != 2 ]
    then
        echo " put filename remotedir   -- eg:  put a.txt /home"
    else
        FileName=$1
        DirName=$2
        echo "${FileName} ${DirName}"
        echo $hadoop0{2..3} | xargs -n1 |awk '{print $0}'
        echo $hadoop0{2..3} | xargs -n1 | xargs -i scp  -r ${FileName} {}:${DirName}
    fi
}

2. 分发到其他两台主机
目标主机创建目录
mkdir -p /home/hadoop/plat/zookeeper

hadoop01主机
cd /home/hadoop/plat/zookeeper
put zookeeper-3.8.0 /home/hadoop/plat/zookeeper

3.修改hadoop02和hadoop03的myid
hadoop02 修改为 2
hadoop02 修改为 3

6.启动集群

1.配置环境变量
#Zookeeper
export ZOOKEEPER_HOME=/home/hadoop/plat/zookeeper/zookeeper-3.8.0
export PATH=${ZOOKEEPER_HOME}/bin:${PATH}

2.三台机器同时启动
cd /home/hadoop
zkServer.sh start

7.查看集群状态
zkServer.sh status

image.png

三、hadoop安装

1、安装jdk
2、配置hostname
3、配置hosts
4、版本选择

地址：http://archive.apache.org/dist/hadoop/core/
版本：hadoop-3.3.1.tar.gz

5、上传压缩包

1.hadoop01 创建目录
mkdir -p /home/hadoop/plat/hadoop

2.上传安装包到该目录并解压
tar -zxvf hadoop-3.3.1.tar.gz

6、配置环境变量

vi ~/.bashrc
#Hadoop
export HADOOP_HOME=/home/hadoop/plat/hadoop/hadoop-3.3.1
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${PATH}

7、配置文件修改
7.1 修改 hadoop-env.sh

cd ${HADOOP_HOME}/etc/hadoop
vi hadoop-env.sh
# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
# export JAVA_HOME=
export JAVA_HOME=/usr/local/src/jdk1.8.0_321

7.2 修改 core-site.xml

cd ${HADOOP_HOME}
mkdir data
cd ${HADOOP_HOME}/etc/hadoop
vi core-site.xml

<configuration>
    <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property> 
    
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/plat/hadoop/hadoop-3.3.1/data</value>
    </property>
    
    <!-- 在Web UI访问HDFS使用的用户名。-->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>
</configuration>

7.3 修改 hdfs-site.xml

<configuration>
    <!-- 设定SNN运行主机和端口。-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop02:9868</value>
    </property>
    
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

7.4 修改 mapred-site.xml

<configuration>
   <!-- 指定mapreduce运行在yarn上 -->
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>

   <property>
       <name>yarn.app.mapreduce.am.env</name>
       <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
   <property>
       <name>mapreduce.map.env</name>
       <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
   <property>
       <name>mapreduce.reduce.env</name>
       <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
</configuration>

7.5 修改 yarn-site.xml

<configuration>
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>

    <!-- reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 关闭yarn内存检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

    <!--开启日志聚合-->
    <property>  
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    <!--日志聚合hdfs存储路径-->
    <property>  
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/home/hadoop/plat/hadoop/hadoop-3.3.1/logs/nodemanager-remote-app-logs</value>
    </property>
    
    <!--hdfs上的日志保留时间-->
    <property>      
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

    <!--应用执行时存储路径-->
    <property>  
        <name>yarn.nodemanager.log-dirs</name>
        <value>file:///home/hadoop/plat/hadoop/hadoop-3.3.1/logs/nodemanager-logs</value>
    </property>

    <property>
    <!--应用执行完日志保留的时间，默认0，即执行完立刻删除-->
        <name>yarn.nodemanager.delete.debug-delay-sec</name>
        <value>604800</value>
    </property>
</configuration>

7.6 修改workers

hadoop01
hadoop02
hadoop03

7.6 分发到其他主机

cd /home/hadoop/plat
put hadoop /home/hadoop/plat

7.7 初始化namenode

hdfs namenode -format
看到成功的标识
/home/hadoop/plat/hadoop/hadoop-3.3.1/data/dfs/name has been successfully formatted.

7.8 启动 hadoop

start-all.sh

大数据Hadoop集群搭建-04安装配置HDFS
Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop...
Zookeeper高可用集群、分布式消息队列Kafka 、
Hadoop Hadoop集群及组件 zookeeper集群图例 zookeeper集群集群安装 1、重启云主机...
docker不用已有hadoop-cluster镜像搭建 ha
使用docker 安装hadoop 集群首先，使用docker 安装Hadoop集群，需要下载好jdk、Hado...
【Hadoop】Hadoop 集群安装
本篇结构：前言准备条件安装 Hadoop 集群启动 Hadoop 集群一、前言开始使用 Hadoop，...
Hadoop集群安装记录
前言因工作需要验证FlinkCDC相关功能，Flink的checkpoint 信息可以放到Hdfs上，因此想部署...
Spark的安装及配置
1 安装说明在安装spark之前，需要安装hadoop集群环境，如果没有可以查看：Hadoop分布式集群的搭建 ...
Kafka快速入门
安装部署集群规划 hadoop102hadoop103hadoop104zkzkzkkafkakafkakafk...
hadoop虚拟机全套配置攻略
Hadoop集群安装 1总览 Hdfs(hadoop内置) 2.8.5 Yarn(hadoop内置)...
大数据开发环境搭载4--安装Hadoop HA集群
4、安装Hadoop HA集群下载将Hadoop安装到/usr/local/hadoop 修改/etc/pro...
Hive的安装及配置
1 安装说明在安装hive之前，需要安装hadoop集群环境，如果没有可以查看：Hadoop分布式集群的搭建 1...