Hadoop集群环境搭建

最近搞环境需要搭建hadoop环境，现在分享下过程！

1、首先下载相应的安装包，选择相应的版本选择包要是binary的。

2、上传相应的包配置相应环境

使用 tar -zxvf 压缩包 解压， 如果是集群环境配置相应的映射这只限于内网使用 修改 vi /etc/hosts ps:如果不是集群环境忽略

内网映射

3.配置：

配置etc/hadoop 下面的  core-site.xml   添加如下配置：fs:defaultFS 配置namenode hdp-01是主节点名称，9000是端口号，hdfs://是协议

配置

hdfs-site.xml 配置hdfs 文件

服务路径

4、启动 

环境变量和jdk配置一样的，这里给出：

export JAVA_HOME=/root/apps/jdk1.8.0_60

export HADOOP_HOME=/root/apps/hadoop-2.8.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

初始化namenode的元数据目录 ：hadoop namenode -format

启动namenode进程：hadoop-daemon.sh startnamenode

启动datanode进程：hadoop-daemon.sh startdatanode

web端访问：http://hdp-01:50070 ，如果50070 端口打不了或者看不了参考这篇文章也就是防火墙问题https://blog.csdn.net/u010458114/article/details/78388015（50070不能访问）

如果是集群环境忽略上面的，我们在/etc/hadoop/slaves 添加自己的节点 ，主节点上使用start-dfs.sh 来自动启动整个集群，stop-dfs.sh 关闭整个集群节点