Hadoop安装配置复习

一:安装虚拟机(虚拟机需要3台),准备Hadoop与JDK

二:修改所有虚拟机IP地址以及子网掩码,修改完成之后,重启网卡service network restart ,主服务于子节点都需要修改

三:使用root登录修改主机名(master,slave1, slave2...)

四:打开/etc下的hosts文件 修改为各子节点的IP以及对应名称

hosts.png

五:配置ssh免秘钥

  1.  进入根目录,输入:ssh-keygen -t rsa

  2.  一路回车

  3.  去ssh目录下检查秘钥文件id_rsa.pub是否生成

miyao.png

  4.  同样的步骤,重复操作另外两台虚拟机

  5.  三个节点秘钥都生成之后,使用命令将另外两台的秘钥拷贝到master节点的ssh目录下,输入命令
    *   scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub1
    *   scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub2

  6.  执行完成之后,去master节点下查看/root/.ssh目录下一共有三个秘钥文件

秘钥11.png

  7.  将三个秘钥文件合并成一个文件 authorized_keys 执行以下命令
   *    cat id_rsa.pub id_rsa.pub1 id_rsa.pub2>authorized_keys

  8.执行完成之后,查看  authorized_keys 中的内容  vim authorized_keys

key.png

  9.  将 authorized_keys 拷贝到另外两台子节点的/root/.ssh/目录下,执行命令
     *    scp /root/.ssh/authorized_keys slave1:/root/.ssh/authorized_keys
     *    scp /root/.ssh/authorized_keys slave2:/root/.ssh/authorized_keys

 10.至此,ssh免秘钥配置完成,可以通过ssh+节点名进行测试,执行名ssh slave1 

wancheng.png

 11.将Hadoop与JDK的的压缩文件(我分别创建了jdk与hadoop的根目录)放入Linux系统后,在给目录执行解压缩命令 tar -zxvf 压缩文件名

 12.配置Hadoop与jdk的环境变量
    *   打开/etc下的profile文件,添加如下配置

peizhi.png

* 配置文件生成之后,立即生效
source profile
测试是否配置成功(会出现安装的版本号)，执行命令：
java –version
hadoop version

六:配置Hadoop的相关文件

       进入Hadoop的根目录,进入etc/hadoop文件夹分别编辑
        hadoop-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

         1> hadoop-env.sh
                配置java环境变量

jdk.png

         2>slaves

slaves.png

         3> core-site.xml(注意：file:/后面的路径，是hadoop的根目录，下面的配置文件同理，不要照抄)

                <configuration>
                           <property>
                                     <name>fs.defaultFS</name>
                                     <value>hdfs://master:9000</value>
                             </property>
                             <property>
                                      <name>hadoop.tmp.dir</name>
                                      <value>file:/usr/hadoop/hadoop-2.6.0/tmp</value>
                                      <description>Abase for other temporary directories.</description>
                              </property>
                   </configuration>

           4> hdfs-site.xml

                   <configuration>
                             <property>
                                     <name>dfs.namenode.secondary.http-address</name>
                                     <value>master:50090</value>
                             </property>
                             <property>
                                     <name>dfs.replication</name>
                                     <value>2</value>
                             </property>
                              主节点:master
                             <property>
                                     <name>dfs.namenode.name.dir</name>
                                     <value>file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/name</value>
                             </property>
                             子节点:slave1;slave2
                             <property>
                                     <name>dfs.datanode.data.dir</name>
                                     <value>file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/data</value>
                             </property>
                    </configuration>

               5>mapred-site.xml

                    <configuration>
                                 <property>
                                         <name>mapreduce.framework.name</name>
                                         <value>yarn</value>
                                 </property>
                                 <property>
                                         <name>mapreduce.jobhistory.address</name>
                                         <value>master:10020</value>
                               </property>
                               <property>
                                       <name>mapreduce.jobhistory.webapp.address</name>
                                       <value>master:19888</value>
                             </property>
                      </configuration>

                6>yarn-site.xml

                       <configuration>
                              <!-- Site specific YARN configuration properties -->
                              <property>
                                       <name>yarn.resourcemanager.hostname</name>
                                       <value>master</value>
                             </property>
                             <property>
                                     <name>yarn.nodemanager.aux-services</name>
                                     <value>mapreduce_shuffle</value>
                           </property>
                       </configuration>

                7>关闭防火墙

                8>格式化HDFS
                     (bin/hadoop namenode -format )
                     注意：该命令只能执行一次，切记不要多次执行

                9>开启服务器,sbin/start-all.sh

                10>测试各节点启动进程，执行命令：

                       /usr/java/jdk1.8.0_151/bin/jps

(主)

ceshi1.png

(子节点)

ceshi2.png