Hadoop集群搭建（二）

集群简介

Hadoop集群具体包括俩个集群，HDFS集群和YARN环境，二者逻辑上分离，但是物理上长在一起
1. HDFS集群：负责海量数据的存储，集群中的角色主要有，Namenode/Datenode
2. YARN集群：负责海量数据运算是时的资源调度，集群中的角色有ResourceManager/NodeManager

环境

1. 服务器:使用虚拟机服务器：

   1. 下载地址VmWare14Pro
   2. Centos 7.0

2. 网络环境：

   1. 将VMware Virtual Ethernet Adapter for VMnet8中IPV4设置成固定IP，每次重启不需要重新设置IP

   2. 采用NAT方式联网

   3. 修改主机名：

       vi /etc/sysconfig/network
       NETWORKING=yes
       HOSTNAME=***
      

   4. 修改IP

      vim /etc/sysconfig/network-scripts/ifcfg-eth0
      
      DEVICE="eth33"
      BOOTPROTO="static" 
      HWADDR="00:0C:29:3C:BF:E7"
      IPV6INIT="yes"
      NM_CONTROLLED="yes"
      ONBOOT="yes"
      TYPE="Ethernet"
      UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
      IPADDR="192.168.27.101"           
      NETMASK="255.255.255.0"      
      GATEWAY="192.168.27.1"     
      
      

   5. 修改Hosts文件

      vim /etc/hosts
      192.168.27.101 ralap01
      192.168.27.102 ralap02
      192.168.27.103 ralap03
      192.168.27.104 ralap04  
      

   6. 防火墙

      启动： systemctl start firewalld
      关闭： systemctl stop firewalld
      查看状态： systemctl status firewalld 
      开机禁用  ： systemctl disable firewalld
      开机启用  ： systemctl enable firewalld
      

   7. SSH免密登录

      1、生成KEY
            ssh-keygen -t rsa
      2. 将公钥复制到目标机器
            ssh-copy-id ***
      
      

3. 安装Hadoop

   1. 上传、解压hadoop安装包
   2. 修改hadoop-env.sh

      vi hadoop-env.sh
      xport JAVA_HOME=/home/hadoop/app/jdk1.8.0_144
      

   3. 修改core-site.xml

      <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ralap01:9000</value>
      </property>
      <!-- 指定hadoop运行时产生文件的存储目录 -->
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.4.6/hdfdata</value>
      </property>
      

   4. 修改hdfs-site.xml

      <!-- 指定HDFS副本的数量 -->
      <property>
          <name>dfs.replication</name>
          <value>2</value>
      </property>
      

   5. 修改mapred-site.xml

      mv mapred-site.xml.template mapred-site.xml
      vim mapred-site.xml
      <!-- 指定mr运行在yarn上 -->
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
      

   6. 修改yarn-site.xml

      <!-- 指定YARN的老大（ResourceManager）的地址 -->
      <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>ralap01</value>
      </property>
      <!-- reducer获取数据的方式 -->
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
      

4. 启动集群

   1. 初始化HDFS

       bin/hadoop  namenode  -format
      

   2. 启动HDFS

       sbin/start-dfs.sh
      

   3. 启动YARN

      sbin/start-yarn.sh
      

   4. 集群启动

      
      集群.png
      1. sbin/start-dfs.sh
      2. sbin/stop-dfs.sh