美文网首页我爱编程
Hadoop2.9.0+VMware+ubuntu16.04完全

Hadoop2.9.0+VMware+ubuntu16.04完全

作者: 吴凡Eric | 来源:发表于2018-04-09 20:57 被阅读0次

hadoop 2.9 +vmware 完全分布式环境搭建
环境概要
Linux:Ubuntu 16.04
hadoop:Hadoop 2.9.0
jdk:1.8.0
vmware:14.0 pro

第一部分Linux环境安装

第一步配置Vmware NAT网络

vmware虚拟机的配置,主要是网络配置,选择NAT网络,Ubuntu在我的电脑上不需要配置网络,所以这一步跳过

第二步Vmware安装Linux操作系统

1.关闭防火墙

chkconfig iptables off

2.关闭selinux

vim /etc/sysconfig/selinux

修改为

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled #修改这个地方
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

2.hostname修改(永久)

vim /etc/sysconfig/network
NETWORKING=yes  #使用网络
HOSTNAME=hadoop00  #设置主机名
使用vim修改 vim /etc/hosts
hosts: 192.168.100.10 

3.免密码登录

4.创建工作目录

5.安装jdk-配置环境变量

a.官网下载JDK文件:JDK下载
选择对应的JDK,此处为jdk-8u151-linux-x64.tar.gz
b.创建一个文件夹sudo mkdir /java
c.将文件解压至该文件夹
  tar -zxvf jdk-8u151-linux-x64.tar.gz -C /java
d.配置jdk的环境变量
   sudo gedit /etc/profile
在末尾加入以下语句

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin"
export CLASSPATH=.:\$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME=/java/jdk1.8.0_121

e.修改完成之后保存关闭,并输入以下命令使环境变量立即生效
source /etc/profile
f.输入java -version,显示JDK版本说明恭喜你,环境变量配置正确,继续下一步

模式名称 各个模块占用的JVM进程数 各个模块运行在几个机器数上
本地模式 1个 1个
伪分布式模式 N个 1个
完全分布式模式 N个 N个
HA完全分布式 N个 N个

6.Hadoop本地模式安装

模式名称 各个模块占用的JVM进程数 各个模块运行在几个机器数上
本地模式 1个 1个
伪分布式模式 N个 1个
完全分布式模式 N个 N个
HA完全分布式 N个 N个

1.下载Hadoop安装包Hadoop Download
解压到/home/hadoop
2.修改配置文件
增加环境变量-java-hadoop
a.在系统环境变量中添加hadoop的PATH

b.在/hadoop/etc的数个文件中添加java的PATH
包括
yarn-env.sh
mapred-env.sh
hadoop-env.sh

c.配置hadoop环境
包括
yarn-site.xml
hdfs-site.xml
core-site.xml
source一下,立刻见效

vmware克隆虚拟机2份
关闭虚拟机后,点击管理-克隆-创建完整克隆
重复克隆一次,两个虚拟机分别命名为slave1.slave2

分发到子机器

启动start-dsf,yarn

启动yarn的网页host:http://localhost:8088/cluster

相关文章

  • Hadoop2.9.0+VMware+ubuntu16.04完全

    hadoop 2.9 +vmware 完全分布式环境搭建环境概要Linux:Ubuntu 16.04hadoop:...

  • 完全

    圣人:不是完美的人; 而是祂能够去爱不完美的人。

  • 完全

    肩头沉甸甸 轻风拂过 一阵缠绵 在松手的瞬间 急流汹涌般不安 笑颜还在眼前 背影却闯进了视线 手指已经离开 余温...

  • 完全

    肩头沉甸甸 轻风拂过 一阵纠缠 在松手的瞬间 急流汹涌的不安 笑颜还在眼前 背影却闯进了视线 你的手指已经离开 ...

  • 完全

    完全 七子 对于而言 我思想充斥着我 发现我已散落 停留 七子 我并非我 还没听到 我看到我在这里 发光 七子 我...

  • 完全

    完完全全爱我的人,爱我视如生命的人,才会使得一想到将要失去他而内心就透不过气来。 美好的情感,要给美好的人,他是我...

  • 完全敞开

    我完全的打开双眼 看到丰盛 看到丰富 看到多姿多彩的为我而生 我完全的打开双手 去接纳 去接收 去接连不断的溶入心...

  • 完全漂走

    那日 我告别了紧琐在房间 合着窗帘敞开世界的家伙 抱着一本没有字的书 开始这段没有地图的航行 不曾知道自己的坐标 ...

  • 完全解释

    昨天忘记写简书 原因:昨天过得太开心了,以至于都没有写日记吐槽的必要了。 一个人的时候容易不开心 原因:一个人地铁...

  • 完全自律

    辞职成功,即将迎来完全自律的日子。 我认为我自己是具有自律能力的,但只能是阶段性的,也不用郁闷于自己不够优秀的控制...

网友评论

    本文标题:Hadoop2.9.0+VMware+ubuntu16.04完全

    本文链接:https://www.haomeiwen.com/subject/aglwhftx.html