hadoop伪分布环境配置

一、windows新建linux虚拟机（red hat 7.4）

1、安装模式选择Server with gui：不要选择最小模式，很多功能用不了

2：virtual box网络连接选择仅主机模式

3：linux网络配置  

二层网络：网卡打开

三层网络：手工manaul输入IP，子网掩码

二、安装java

1：vi ~/.bash_profile  

2：JAVA_HOME=/root/training/jdk1.8.0_144               

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH

export PATH

3：source /.bash_profile

三、hadoop环境配置

1：hdfs-site.xml：配置数据块的冗余度，禁用HDFS权限检查

core-site.xml：设置NameNode的地址，HDFS对应的操作系统目录

mapred-site.xml：设置yarn，如果只有mapred-site.xml.template,执行cp mapred-site.xml.template mapred-site.xml 

yarn-site.xml:

2：设置ssh

ssh-keygen -t rsa -P "" 输入这个命令后一直回车就可以了

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

3:对NameNode格式化  hdfs namenode -format

4:启动hdfs  start-dfs.sh  

启动yarn start-yarn.sh

查看NameNode,DataNode进程是否启动  jps

如果启动的时候提示 JAVA_HOME未设置，则需要/hadoop-2.7.1/etc/hadoop/hadoop-env.sh，添加JAVA_HOME的具体路径

四、web管理界面

HDFS 的web界面  http://ip:50070

yarn的web界面http://ip:8088