虚拟机Java与Hadoop的安装与配置

• Java安装
  • 1.开启vm共享文件夹,并将jdk与Hadoop的安装文件放入共享文件夹,使用cd /mnt/hgfs进入共享文件夹
  • 2.使用linux复制语句,将文件全部从共享文件夹中复制到/usr/local/src
  • 3.获取管理员权限,转入/usr/local/src 文件夹,运行jdk安装文件
  • 4.配置jdk环境变量,vim ~/.bashrc,打开文件,输入如图属性(此处使用的jdk版本为1.6.0_45),保存退出

image.png

• Hadoop安装
  • 1.获取管理员权限,进入/usr/local/src
  • 2.解压Hadoop安装文件

集群搭建

• 1.进入/usr/local/src中的Hadoop解压文件夹,并创建tmp,用于放置临时文件
• 2.进入Hadoop文件下的conf文件夹,更改masters,slaves,core-site.xml,mapred-site.xml,hdfs-site.xml,hadoop-env.sh
  masters

image.png
slaves image.png
core-site.xml image.png
mapred-site.xml image.png
hdfs-site.xml image.png
hadoop-env.sh image.png

• 6.配置本地网络,更改hosts文件,在文件中添加如图,保存退出

image.png

• 4.执行hostname master,更改/etc/sysconfig/network,将hostname更改为master,保存退出
• 5.将虚拟机所在文件复制3份,导入VMware Workstation Pro
• 6.更改slave1与slave2的IP地址与在hosts中设置的IP地址一致,并将其网络适配器删除后重新添加,并将其添加至SecureCRT中,在其中操作(所有操作都需要管理员权限,请首先使用su命令获取)
• 7.选择一个虚拟机作为主机,更改名字为master,其他两个分别更改名字为slave1,slave2,并更改network中的hostname为对应名字,执行hostnam+对应名字
• 8.为了保证之后网络连接问题,关闭系统防火墙,/etc/init.d/iptables stop并执行 setenforce 0,每台机器都要执行
• 9.建立机器之间的互信关系,可以不用命令就可操作其系统.执行ssh-keygen,生成公钥(id_rsa.pub)与私钥文件,执行cd ~/.ssh,进入文件夹内,执行cat id_rsa.pub > authorized_keys,将公钥文件复制到authorized_keys中,每台机器执行一遍
• 10.将每台机器中的authorized_keys保存至另两台中的authorized_keys中
• 11.在master中使用ssh slave1验证是否需要密码链接slave1机器
• 12.在master中记入Hadoop文件夹中的bin文件夹,并执行./hadoop namenode -formate命令格式化,使用./start-all.sh启动集群,使用jps查看进程是否启动如图
  master

image.png
slave1 image.png
slave2 image.png