Hadoop搭建的具体实施

准备工作

1.共享文件的设置:
进入VMware station，进入编辑虚拟机设置界面 选项-共享文件夹，点击右边的添加，设置你的共享文件夹的路径，此文件夹的内容都和Ubuntu共享。

编辑虚拟机设置 添加共享文件夹地址

然后进入虚拟机，打开终端输入以下命令：

sudo apt-get install open-vm-dkms  一路按enter键通过。 
sudo mount  -t  vmhgfs  .host:/   /mnt/hgfs  这样/mnt/hgfs下便有了与windows的共享目录
为了每次开机自动挂载共享目录，在/etc/init.d/open-vm-tools末尾增加一行： 
sudo mount  -t  vmhgfs  .host:/    /mnt/hgfs     （host:/  处有空格)

设置好共享文件夹后，打开你的Ubuntu，在/mnt/hgfs路径下出现你的文件，说明共享文件夹设置成功。

此路径的movie文件夹，为我设置的共享文件夹，里面的内容为我Windows系统下文件夹里的内容

2.固定IP地址

在虚拟机的System-Settings(设置)，点network,打开 wired-options-IPV4 
Settings-method:manual,->
 Address  192.168.228.200
 netmask  255.255.255.0
 gateway  192.168,228.2

一、安装JDK

在Windows下，前往官网下载JDK（当前官网的最新版本jdk1.8.0_05）并把下载好的JDK放在设置的共享文件夹下

1.在Ubuntu中，在 /mnt/hgfs下找到JDK压缩包进行解压：

sudo tar  zxvf  jdk-8u5-linux-x64.gz    /usr/local/

2.修改环境变量

sudo gedit  /etc/profile

然后在根据提示输入用户密码即可，然后在文件最下面添加如下：

export JAVA_HOME=/usr/local/jdk1.8.0_101 
export PATH=${JAVA_HOME}/bin:$PATH 

保存退出。

3.配置默认jdk版本

sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/java 300  
sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/javac 300
sudo update-alternatives --config java

4.验证JDK安装是否成功

java -version

若出现以下提示信息，表明安装成功。

显示JDK的版本号

二．安装hadoop

同样，首先在Windows下，前往官网下载好hadoop的压缩包，放于共享文件夹下
1.在Ubuntu中对其进行解压,并解压到相应目录。

 sudo tar  zxvf  hadoop2.7.1.gz    /usr/local/

2.配置hadoop的jdk路径

cd  /home/hadoop/hadoop-2.7.1/etc/Hadoop 

打开hadoop-env.sh文件

sudo gedit  hadoop-env.sh

3.打开后
替换exportJAVA_HOME=${JAVA_HOME}为如下：

    export JAVA_HOME=/usr/local/jdk1.8.0_05

同样，配置yarn-env.sh，在里面加入：

 export JAVA_HOME=/usr/local/jdk1.8.0_05

三．配置Hadoop环境变量(配置xml文件)

在core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件中做相应配置：

core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml

四 . 格式化Hadoop文件系统HDFS并启动Hadoop

1. HDFS格式化
   初次运行的初始化：
   进入hadoop的根目录：

cd hadoop/hadoop-2.6

初始化：

./bin/hdfs namenode -format

2．启动hadoop

 sbin/start-dfs.sh
 sbin/start-yarn.sh
 或
 sbin/start-all.sh

3.如果安装成功，在master机上输入jps后结果如下：

jps结果
4.测试 (此环节容易浏览器不能上网 解决方法：固定IP)
在Ubuntu里，找到浏览器并输入网址 http://master:50070 可以看到hdfs的信息。 hdfs信息

在浏览其中输入：http://master:8088 可以看到hadoop的信息

hadoop信息

五．安装免密码登录SSH

1. 修改主机名

 sudo gedit /etc/network/interfaces

（1）临时修改

sudo hostname master

（2）永久修改：

sudo gedit /etc/hostname 修改后重启生效

2.记下本机的ip

查看本机ip：

ifconfig

3.配置主机信息：

sudo gedit /etc/hosts

把本机的ip地址和主机名进行修改

修改IP和主机名

4.关闭防火墙
若要关闭Ubuntu系统的防火墙功能，则执行命令：

sudo ufw disable

之后，系统提示“防火墙在系统启动时自动禁用”。

执行以下命令，重新启动虚拟机。

sudo reboot now

5. 安装SSH服务

sudo apt-get install openssh-server

6. 检查SSH服务是否启动

sudo ps -e | grep sshd

7. 生成RSA密钥（包括私钥和公钥）

ssh-keygen -t rsa

8. 写入秘钥信息

cd ~/.ssh
cat id_rsa.pub >> authorized_keys （把id_rsa.pub追加到授权的key里面去）
   scp authorized_keys master:~/.ssh/ （将生成的authorized_keys文件拷贝到slave1主机相同的文件夹下）

成功安装后，即可主节点切换到从节点可不用输密码，效果为：

1.首先必须启动主节点和从节点的hadoop,并jps出现相应节点:
主节点:

主节点jps的结果

从节点：

从节点jps的结果

2.SSH主节点切换到从节点：

从主节点切换至从节点