美文网首页我爱编程
搭建Spark集群(三)——搭建Hadoop集群环境

搭建Spark集群(三)——搭建Hadoop集群环境

作者: cyfloel | 来源:发表于2015-04-29 22:43 被阅读3043次

    上一次分享已经把CentOS 7 系统安装到Master虚拟机上,下面就是安装JDK,搭建Hadoop集群,如果在安装时,网络环境没有配置好,可以参照下面配置网络环境来进行设置

    1 添加hadoop用户

    安装时,只添加了root用户,而后面需要用到ssh免密码通信,为了避免暴漏太多了权限,我们可以新建一个名为hadoop的用户
    #添加hadoop用户
    useradd hadoop
    passwd hadoop
    (按照提示输入密码)

    2 配置网络环境

    2.1 关闭防火墙

     systemctl status firewalld.service  --查看防火墙状态
    
     systemctl stop firewalld.service  --关闭防火墙
     systemctl disable firewalld.service  --永久关闭防火墙
     systemctl status firewalld.service  --再查看防火墙状
    

    2.2 设置静态IP地址

    CentOS 7最小化安装是没有ifconfig指令的,而是采用ip指令,想继续使用ifconfig指令需要自己安装:

     yum upgrade
     yum install net-tools
    

    ip指令与ifconfig的对照可参考下图:

    使用ip指令,查看网络连接情况,输入ip link指令,可查看网络连接情况


    修改配置文件,设定固定IP地址
    切换到root账户下

      cd /etc/sysconfig/network-scripts/
      vi ifcfg-enp0s3
    

    把IP地址设为192.160.1.160(自己预先想好每台虚拟机的IP方案)

      HWADDR=08:00:27:51:74:6A  --根据每台虚拟机的MAC地址设置
      TYPE=Ethernet
      BOOTPROTO=static  --static表示固定IP地址
      DEFROUTE=yes
      IPV4_FAILURE_FATAL=no
      IPV6INIT=yes
      IPV6_AUTOCONF=yes
      IPV6_DEFROUTE=yes
      IPV6_FAILURE_FATAL=no
      NAME=enp0s3
      UUID=ed8d2360-aaee-4a86-ace2-fc531df48970  --每台虚拟机都有自己的UUID
      ONBOOT=yes 
      IPADDR0=192.168.1.160  --设置固定IP地址
      PREFIX0=24
      GATEWAY0=192.168.1.1  --
      DNS1=2**.9*.1**.3*  --DNS根据自己网络来设置
      IPV6_PEERDNS=yes
      IPV6_PEERROUTES=yes      
    

    2.3 使用WinSCP、Xshell工具

    设定好固定IP后,就可以通过XShell和WinSCP工具来远程访问这台虚拟机了,其中XShell是一个终端工具类似于Putty(根据个人喜好来选择也行),WinSCP工具可以直接上传文件到虚拟机上,方便在windows 7里下载相关的安装文件,然后上传到虚拟机里。使用方法很简单,新建连接后,输入IP地址即可,这里是输入192.168.1.160,其他配置不需要修改


    确定后输入帐号密码即可登录。WinSCP的使用类似,同样输入IP地址、帐号以及密码后,即可访问,然后可以直接上传东西,使用非常方便

    3 安装JDK

    可通过下面的命令查看现在的系统是否已经安装了jdk,如果安装了,可以卸载后,从官网下载安装最新的JDK,在我写这篇文章时,最新的JDK是jdk-8u45版本,我这下载的是jdk-8u45-linux-x64.rpm,下载下来后,用WinSCP上传即可

    3.1 查看和卸载已安装的JDK

    首先切换到root用户。通过这个命令可查看现在系统已经安装的JDK(如果无安装,则无结果显示)rpm -qa | grep jdk


    卸载已经安装的jdk可通过这一命令rpm -e --nodeps jdk-1.7.0_79-fcs.x86_64

    3.2 安装最新的JDK

    进入jdk安装包所在目录


    增加rpm的可执行权限并执行rpm安装jdk

     chmod +x jdk-8u45-linux-x64.rpm
     rpm -ivh jdk-8u45-linux-x64.rpm
    

    一般情况下,jdk都是安装到/usr/java目录下

    出现上图所示表示已经安装成功,接下来就是对java环境变量进行配置

    3.3 配置JAVA环境变量

    编辑/etc/profile文件,这里使用vim命令进行编辑(前面都是用vi,但发现vi的显示效果不是很好,所以后面安装了vim,安装方法可自行百度查看)

     vim /etc/profile
     #在文件最后添加一下内容:
     export JAVA_HOME=/usr/java/jdk1.7.0_79
     export JAVA_BIN=/usr/java/jdk1.7.0_79/bin
     export PATH=$PATH:$JAVA_HOME/bin
     export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
     export JAVA_HOME JAVA_BIN PATH CLASSPATH
    

    添加完后按Esc键退出编辑状态,接着输入:wq进行保存,返回后,可输入source /etc/profile使其立即生效,同时通过命令java -version检查是否安装设置成功

    4 安装配置Hadoop2.6.0

    进入hadoop-2.6.0.tar.gz文件所在目录,解压文件,并把文件移动到/opt目录下(我的hadoop-2.6.0.tar.gz文件是在/home/hadoop/tools目录下,可以根据自己的实际情况cd到文件所在目录)

     cd /home/hadoop/tools
     tar -xvzf hadoop-2.6.0.tar.gz
     mv hadoop-2.6.0 /opt
     cd /opt/
     ##赋予hadoop用户修改hadoop-2.6.0的权限
     chown -R hadoop:hadoop hadoop-2.6.0
    

    4.1 配置hadoop环境变量

    编辑/etc/profile文件,在末尾添加如下两行:

     export HADOOP_HOME=/opt/hadoop-2.6.0
     export PATH=$PATH:$HADOOP_HOME/bin
    

    添加完后,使用source /etc/profile命令,是其立即生效

    4.2 添加hdfs和tmp文件夹

    进入hadoop所在目录cd /opt/hadoop-2.6.0

     mkdir hdfs
     mkdir tmp
     cd hdfs
     mkdir data
     mkdir name
    

    4.3 修改hadoop配置文件

    修改hadoop的配置文件主要包括下面几个

    • hadoop-env.sh
    • yarn-env.sh
    • mapred-env.sh
    • slaves
    • core-site.xml
    • hdfs-site.xml
    • mapred-site.xml
    • yarn-site.xml

    未完待续。。。

    相关文章

      网友评论

        本文标题:搭建Spark集群(三)——搭建Hadoop集群环境

        本文链接:https://www.haomeiwen.com/subject/zuwvfttx.html