美文网首页我爱编程
Hadoop2.9.0+VMware+ubuntu16.04完全

Hadoop2.9.0+VMware+ubuntu16.04完全

作者: 吴凡Eric | 来源:发表于2018-04-09 20:57 被阅读0次

    hadoop 2.9 +vmware 完全分布式环境搭建
    环境概要
    Linux:Ubuntu 16.04
    hadoop:Hadoop 2.9.0
    jdk:1.8.0
    vmware:14.0 pro

    第一部分Linux环境安装

    第一步配置Vmware NAT网络

    vmware虚拟机的配置,主要是网络配置,选择NAT网络,Ubuntu在我的电脑上不需要配置网络,所以这一步跳过

    第二步Vmware安装Linux操作系统

    1.关闭防火墙

    chkconfig iptables off
    

    2.关闭selinux

    vim /etc/sysconfig/selinux
    

    修改为

    # This file controls the state of SELinux on the system.
    # SELINUX= can take one of these three values:
    #     enforcing - SELinux security policy is enforced.
    #     permissive - SELinux prints warnings instead of enforcing.
    #     disabled - No SELinux policy is loaded.
    SELINUX=disabled #修改这个地方
    # SELINUXTYPE= can take one of these two values:
    #     targeted - Targeted processes are protected,
    #     mls - Multi Level Security protection.
    SELINUXTYPE=targeted
    

    2.hostname修改(永久)

    vim /etc/sysconfig/network
    NETWORKING=yes  #使用网络
    HOSTNAME=hadoop00  #设置主机名
    
    使用vim修改 vim /etc/hosts
    hosts: 192.168.100.10 
    

    3.免密码登录

    4.创建工作目录

    5.安装jdk-配置环境变量

    a.官网下载JDK文件:JDK下载
    选择对应的JDK,此处为jdk-8u151-linux-x64.tar.gz
    b.创建一个文件夹sudo mkdir /java
    c.将文件解压至该文件夹
      tar -zxvf jdk-8u151-linux-x64.tar.gz -C /java
    d.配置jdk的环境变量
       sudo gedit /etc/profile
    在末尾加入以下语句

    PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin"
    export CLASSPATH=.:\$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    export JAVA_HOME=/java/jdk1.8.0_121
    

    e.修改完成之后保存关闭,并输入以下命令使环境变量立即生效
    source /etc/profile
    f.输入java -version,显示JDK版本说明恭喜你,环境变量配置正确,继续下一步

    模式名称 各个模块占用的JVM进程数 各个模块运行在几个机器数上
    本地模式 1个 1个
    伪分布式模式 N个 1个
    完全分布式模式 N个 N个
    HA完全分布式 N个 N个

    6.Hadoop本地模式安装

    模式名称 各个模块占用的JVM进程数 各个模块运行在几个机器数上
    本地模式 1个 1个
    伪分布式模式 N个 1个
    完全分布式模式 N个 N个
    HA完全分布式 N个 N个

    1.下载Hadoop安装包Hadoop Download
    解压到/home/hadoop
    2.修改配置文件
    增加环境变量-java-hadoop
    a.在系统环境变量中添加hadoop的PATH

    b.在/hadoop/etc的数个文件中添加java的PATH
    包括
    yarn-env.sh
    mapred-env.sh
    hadoop-env.sh

    c.配置hadoop环境
    包括
    yarn-site.xml
    hdfs-site.xml
    core-site.xml
    source一下,立刻见效

    vmware克隆虚拟机2份
    关闭虚拟机后,点击管理-克隆-创建完整克隆
    重复克隆一次,两个虚拟机分别命名为slave1.slave2

    分发到子机器

    启动start-dsf,yarn

    启动yarn的网页host:http://localhost:8088/cluster

    相关文章

      网友评论

        本文标题:Hadoop2.9.0+VMware+ubuntu16.04完全

        本文链接:https://www.haomeiwen.com/subject/aglwhftx.html