上一次分享已经把CentOS 7 系统安装到Master虚拟机上,下面就是安装JDK,搭建Hadoop集群,如果在安装时,网络环境没有配置好,可以参照下面配置网络环境来进行设置
1 添加hadoop用户
安装时,只添加了root用户,而后面需要用到ssh免密码通信,为了避免暴漏太多了权限,我们可以新建一个名为hadoop的用户
#添加hadoop用户
useradd hadoop
passwd hadoop
(按照提示输入密码)
2 配置网络环境
2.1 关闭防火墙
systemctl status firewalld.service --查看防火墙状态
systemctl stop firewalld.service --关闭防火墙
systemctl disable firewalld.service --永久关闭防火墙
systemctl status firewalld.service --再查看防火墙状
2.2 设置静态IP地址
CentOS 7最小化安装是没有ifconfig指令的,而是采用ip指令,想继续使用ifconfig指令需要自己安装:
yum upgrade
yum install net-tools
ip指令与ifconfig的对照可参考下图:
使用ip指令,查看网络连接情况,输入ip link
指令,可查看网络连接情况
修改配置文件,设定固定IP地址
切换到root账户下
cd /etc/sysconfig/network-scripts/
vi ifcfg-enp0s3
把IP地址设为192.160.1.160(自己预先想好每台虚拟机的IP方案)
HWADDR=08:00:27:51:74:6A --根据每台虚拟机的MAC地址设置
TYPE=Ethernet
BOOTPROTO=static --static表示固定IP地址
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME=enp0s3
UUID=ed8d2360-aaee-4a86-ace2-fc531df48970 --每台虚拟机都有自己的UUID
ONBOOT=yes
IPADDR0=192.168.1.160 --设置固定IP地址
PREFIX0=24
GATEWAY0=192.168.1.1 --
DNS1=2**.9*.1**.3* --DNS根据自己网络来设置
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
2.3 使用WinSCP、Xshell工具
设定好固定IP后,就可以通过XShell和WinSCP工具来远程访问这台虚拟机了,其中XShell是一个终端工具类似于Putty(根据个人喜好来选择也行),WinSCP工具可以直接上传文件到虚拟机上,方便在windows 7里下载相关的安装文件,然后上传到虚拟机里。使用方法很简单,新建连接后,输入IP地址即可,这里是输入192.168.1.160,其他配置不需要修改
确定后输入帐号密码即可登录。WinSCP的使用类似,同样输入IP地址、帐号以及密码后,即可访问,然后可以直接上传东西,使用非常方便
3 安装JDK
可通过下面的命令查看现在的系统是否已经安装了jdk,如果安装了,可以卸载后,从官网下载安装最新的JDK,在我写这篇文章时,最新的JDK是jdk-8u45版本,我这下载的是jdk-8u45-linux-x64.rpm,下载下来后,用WinSCP上传即可
3.1 查看和卸载已安装的JDK
首先切换到root用户。通过这个命令可查看现在系统已经安装的JDK(如果无安装,则无结果显示)rpm -qa | grep jdk
卸载已经安装的jdk可通过这一命令
rpm -e --nodeps jdk-1.7.0_79-fcs.x86_64
3.2 安装最新的JDK
进入jdk安装包所在目录
增加rpm的可执行权限并执行rpm安装jdk
chmod +x jdk-8u45-linux-x64.rpm
rpm -ivh jdk-8u45-linux-x64.rpm
一般情况下,jdk都是安装到
/usr/java
目录下
出现上图所示表示已经安装成功,接下来就是对java环境变量进行配置
3.3 配置JAVA环境变量
编辑/etc/profile
文件,这里使用vim命令进行编辑(前面都是用vi,但发现vi的显示效果不是很好,所以后面安装了vim,安装方法可自行百度查看)
vim /etc/profile
#在文件最后添加一下内容:
export JAVA_HOME=/usr/java/jdk1.7.0_79
export JAVA_BIN=/usr/java/jdk1.7.0_79/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
添加完后按Esc
键退出编辑状态,接着输入:wq
进行保存,返回后,可输入source /etc/profile
使其立即生效,同时通过命令java -version
检查是否安装设置成功
4 安装配置Hadoop2.6.0
进入hadoop-2.6.0.tar.gz文件所在目录,解压文件,并把文件移动到/opt
目录下(我的hadoop-2.6.0.tar.gz文件是在/home/hadoop/tools
目录下,可以根据自己的实际情况cd到文件所在目录)
cd /home/hadoop/tools
tar -xvzf hadoop-2.6.0.tar.gz
mv hadoop-2.6.0 /opt
cd /opt/
##赋予hadoop用户修改hadoop-2.6.0的权限
chown -R hadoop:hadoop hadoop-2.6.0
4.1 配置hadoop环境变量
编辑/etc/profile
文件,在末尾添加如下两行:
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
添加完后,使用source /etc/profile
命令,是其立即生效
4.2 添加hdfs和tmp文件夹
进入hadoop所在目录cd /opt/hadoop-2.6.0
mkdir hdfs
mkdir tmp
cd hdfs
mkdir data
mkdir name
4.3 修改hadoop配置文件
修改hadoop的配置文件主要包括下面几个
hadoop-env.sh
yarn-env.sh
mapred-env.sh
slaves
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
未完待续。。。
网友评论