Hadoop集群搭建

[配置 /etc/hosts]

1. 添加新用户
   useradd hadoop
   passwd hadoop

2. java环境
   scp -r /usr/lib/java/jdk target:/usr/lib/java/jdk
   vim ~/.bashrc
   [JAVA_HOME][JRE_HOME][CLASSPATH][PATH]
   source ~/.bashrc

3. 安装Hadoop

   hadoop-env.sh : JAVA_HOME
   core-site.xml :
   在configuration中加入：

          <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
          </property>
   
          <property>
          <name>fs.tmp.dir</name>
          <value>/usr/bigdata/hadoop/hdpdata</value>
          </property>
   

   hdfs-site.xml：

     <configuration>
          <property>
          <name>dfs.replication</name>
          <value>2</value>     // 复制的份数
          </property>
     </configuration>
   

   mapred-site.xml.template : （修改完后重命名为mapred-site.xml）
   <configuration>

          <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>    // 默认为local：单机，yarn为集群
          </property>
   
     </configuration>
   

   yarn-site.xml：
   <configuration>

          <!-- Site specific YARN configuration properties -->
          <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>     //为yarn设置一个master
          </property>
   
          <property>
          <name>yarn.resourcemanager.aux-services</name>
          <value>mapreduce_shuffle</value>     //yarn为mapreduce提供需要的服务
          </property>
   
     </configuration>
   

4. 拷贝至DataNode机器
   scp -r bigdata/ worker-1:/usr/bigdata/
   scp -r bigdata/ worker-2:/usr/bigdata/

5. 配置环境变量
   export HADOOP_HOME=/usr/bigdata/hadoop/hadoop-2.10.0
   export PATH=JAVA_HOME/bin:CONDA_HOME/bin:$HADOOP_HOME/bin

6. 格式化HDFS
   hadoop namenode -format

   启动/关闭当前namenode/datanode
   - sbin/hadoop-daemon.sh start/stop namenode
   - sbin/hadoop-daemon.sh start/stop datanode

7. 配置slaves自动化启动节点(slaves中的节点将会启动datanode)
   加入：
   worker-1
   worker-2

8. 在namenode节点上启动start-dfs.sh/stop-dfs.sh来开启/关闭namenode、datanode、secondarynamenode

9. 在namenode节点上启动start-all.sh/stop-all.sh来开启/关闭 hdfs集群 和 yarn集群

注意：

• 不同机器权限不统一的问题
• 配置文件拼写错误
• 主机名与IP的配置，多用主机名