配置hadoop环境

• 准备Linux环境

1. 修改主机名

    vi /etc/sysconfig/network
    NETWORKKING = yes
    HOSTNAME = master01
   

2. 修改IP
   a. 通过Linux图形界面进行修改
   b. 修改配置文件

    vim /etc/sysconfig/network-scripts/ifcfg-eth0
    DEVICE="eth0"
    BOOTPROTO="static"         
    HWADDR="00:0C:29:3C:BF:E7"
    IPV6INIT="yes"
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    TYPE="Ethernet"
    UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
    IPADDR="192.168.1.101"
    NETMASK="255.255.255.0"
            GATEWAY="192.168.1.1"
   

3. 修改host文件

      vim  /etc/hosts
      192.168.1.100   master01
      192.168.1.101   slave01
      192.168.1.102   slave02
   

4. 关闭防火墙

      a. 查看防火墙状态：service iptables status
      b. 关闭防火墙：service iptables stop
      c. 查看防火墙开机启动状态：chkconfig iptables --list
      d. 关闭防火墙开机启动：chkconfig iptables off
   

5. 给hadoop用户添加执行权限

       sudo vi /etc/sudoers
   

6. 关闭linux图形界面

      vi /etc/inittab
      startx    开启图形界面
   

7. 重启linux

     reboot 
   

• 安装JDK

1. 上传并解压jdk

         alt+p后出现sftp窗口，put …/jdk-8u…tar.gz.(secoreCRT)
         tar -zxvf jdk……tar.gz -C  
   

2. 添加环境变量

      vim /etc/profile
      export JAVA_HOME=….
      export PATH=$PATH:JAVE_HOME/bin
   
      source /etc/profile
   

• 安装hadoop

1. 上传并解压hadoop（同jdk）

2. 配置hadoop（文件目录：$HADOOP_HOME/etc/hadoop）

     a. hadoop-env.sh    
         export JAVE_HOME=…../jdk….
     b. core-site.xml
     <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
         <property>
         <name>fs.defaultFS</name>
         <value>hdfs://master01:9000</value>
         </property>
         <!-- 指定hadoop运行时产生文件的存储目录 -->
         <property>
         <name>hadoop.tmp.dir</name>
         <value>/home/hadoop/hadoop-2.6.4/tmp</value>
         </property>
     c. hdfs-site.xml
     <!-- 指定HDFS副本的数量 -->
         <property>
         <name>dfs.replication</name>
         <value>1</value>
         </property>
    d. mapred-site.xml（mv mapred-site.xml.template mapred-site.xml）
    <!-- 指定mr运行在yarn上 -->
        <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        </property>
    e. yarn-site.xml 
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
        <property>
        <name>yarn.resourcemanager.hostname</name>          
        <value>master01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
        <name>yarn.nodemanager.aux-services</name>                  
        <value>mapreduce_shuffle</value>
        </property>
    f. slaves（添加datanode结点）
        slave01
        slave02
   

3. 添加环境变量

        vi /etc/profile
        export HADOOP_HOME=…/hadoop-2.8.5
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   
        source /etc/profile 
   

• 配置SSH免登录

      ssh-keygen -t rsa（四个回车）
      cd ~/.ssh（查看生成秘钥情况）
      ssh-copy-id slave01（目标机器）
      ssh slave01
      生成key->复制key到目标机器->验证 
  

• 启动hadoop

1. 格式化NameNode

        hdfs namenode -format
   

2. 启动

       start-dfs.sh && start-yarn.sh
   

3、验证

      jps

      Jps
      NameNode（hdfs）
      DataNode（hdfs）
      SecondaryNameNode（hdfs）
      ResourceManager (yarn)
      NodeManager (yarn)

HDFS管理界面 master01：50070
MR管理界面 master01：8088