美文网首页我爱编程Hadoop
基于Cent OS7 Hadoop-2.7.2伪分布式部署

基于Cent OS7 Hadoop-2.7.2伪分布式部署

作者: 程序员小H | 来源:发表于2017-08-08 01:37 被阅读0次

    基本环境:

    Linux版本:CentOS 7.0

    JDK版本:jdk-7u79-linux-x64.tar.gz

    Hadoop版本:hadoop-2.7.2.tar.gz

    jdk以及Hadoop安装在/usr目录下。

    一、安装java环境

    注意:若CentOS 7已安装OpenJDK,可以使用以下命令进行卸载。

    # rpm -qa | grep jdk  (查看目前系统中jdk版本)

    # yum -y remove java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64 java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64 java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64 java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64   (卸载)

    开始安装

    # tar zxvf jdk-7u79-linux-x64.tar.gz

    # mv jdk1.7.0_79 /usr/

    配置java环境变量

    # vi /etc/profile

    在末尾添加以下内容,并保存,退出。

    export JAVA_HOME=/usr/jdk1.7.0_79

    export JRE_HOME=/usr/jdk1.7.0_79/jre

    export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$JAVA_HOME/lib/jt.jar:$CLASSPATH

    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

    生效环境变量

    # source /etc/profile

    验证是否OK。

    # java -version

    二、安装Hadoop

    这里是下载已经编译好的包hadoop-2.7.2.tar.gz。

    解压、安装

    # tar zxvf hadoop-2.7.2.tar.gz

    # mv hadoop-2.7.2 /usr/

    配置环境变量

    # vi /etc/profile

    在末尾添加以下内容,并保存退出

    # Hadoop Environment Variables

    export HADOOP_HOME=/usr/hadoop-2.7.2

    export HADOOP_INSTALL=$HADOOP_HOME

    export HADOOP_MAPRED_HOME=$HADOOP_HOME

    export HADOOP_COMMON_HOME=$HADOOP_HOME

    export HADOOP_HDFS_HOME=$HADOOP_HOME

    export YARN_HOME=$HADOOP_HOME

    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

    生效环境变量

    # source /etc/profile

    三、修改IP映射

    # vi /etc/hosts

    四、配置SSH免密码登录

    检验是否已经安装SSH

    # rpm -qa | grep ssh

    若返回以下结果则不需要安装

    若需要安装则执行以下命令进行安装,已安装的忽略该步骤:

    # yum install -y openssh-clients openssh-server

    配置

    # cd ~/.ssh/  #若无SSH目录,则需要先执行一次ssh localhost

    # ssh-keygen -t rsa   #会有提示,直接按回车即可

    # cat id_rsa.pub >> authorized_keys  #加入授权

    # chmod 600 ./authorized_keys  #修改文件权限

    此时验证即可无密码登录。

    # ssh localhost

    五、修改Hadoop配置文件

    Hadoop配置文件在该目录下:/usr/hadoop-2.7.2/etc/hadoop/

    1)修改hadoop-env.sh

    主要是修改java_home路径

    # vi /usr/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

    2)修改yarn-env.sh

    主要是修改java_home路径

    # vi /usr/hadoop-2.7.2/etc/hadoop/yarn-env.sh

    3)修改core-site.xml

    # vi /usr/hadoop-2.7.2/etc/hadoop/core-site.xml

    4)修改hdfs-site.xml

    # vi /usr/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

    俩个目录需要手动创建

    # mkdir -p /usr/hadoop-2.7.2/tmp/dfs/name/

    # mkdir -p /usr/hadoop-2.7.2/tmp/dfs/data/

    5)修改mapred-site.xml

    指定mr运行在yarn上

    # vi /usr/hadoop-2.7.2/etc/hadoop/mapred-site.xml

    需要注意的是,并没有mapred-site.xml文件的,但是有mapred-site.xml.template

    所以我们只需要将这个mapred-site.xml.template更名为mapred-site.xml即可。

    6)修改yarn-site.xml

    指定yarn(ResourceManager)运行的地址,以及reducer获取数据的方式

    # vi /usr/hadoop-2.7.2/etc/hadoop/yarn-site.xml

    六、关闭防火墙

    # systemctl stop firewalld

    # systemctl disable firewalld

    七、格式化Hadoop

    # hdfs namenode -format

    出现以下内容则表示格式化成功。

    八、启动dfs以及yarn

    # start-all.sh  #或者执行以下俩条命令start-dfs.sh start-yarn.sh

    九、验证

    # jps

    十、web管理界面

    浏览器访问:http://IP:50070

    部署完成。

    相关文章

      网友评论

        本文标题:基于Cent OS7 Hadoop-2.7.2伪分布式部署

        本文链接:https://www.haomeiwen.com/subject/wbyzlxtx.html