Linux下Hadoop集群安装与配置

环境基础

三台虚拟机，本文以三台CentOS6.9为例(分别命名：bigdata1 bigdata2 bigdata3,并且每台的hosts文件中已添加上三台的IP映射)

http://mirrors.aliyun.com/centos/6.9/isos/x86_64/CentOS-6.9-x86_64-minimal.iso
注意：本文操作统一用root用户，生产环境须单独创建用户

基础配置

关闭防火墙

关闭防火墙
service iptables stop
启动防火墙
service iptables start
永久关闭防火墙
chkconfig iptables off
永久关闭防火墙后启用
chkconfig iptables on

HOSTS文件配置

修改/etc/hosts文件
vi /etc/hosts
尾行后添加

192.168.128.129 bigdata1
192.168.128.130 bigdata2
192.168.128.131 bigdata3

SSH免密登录

每台虚拟机都要生成公私钥并授权其他虚拟机
ssh-keygen
ssh-copy-id bigdata1
ssh-copy-id bigdata2
ssh-copy-id bigdata3

软件准备

JDK

http://download.oracle.com/otn/java/jdk/8u144-b01/090f390dda5b47b9b721c7dfaa008135/jdk-8u144-linux-x64.tar.gz

Hadoop

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0.tar.gz

安装步骤

JDK(只装1台配置完成后分发给其它节点)

安装此处不展开，详见Linux下JDK安装

Hadoop(只装1台配置完成后分发给其它节点)

安装解压

创建/opt/software文件夹
mkdir /opt/software
将Hadoop压缩包放进此文件夹并解压
tar -zxvf hadoop-2.6.0-cdh5.13.0.tar.gz

环境变量

修改系统环境变量
vi /etc/profile
尾行后添加

export HADOOP_HOME=/opt/software/hadoop-2.6.0-cdh5.13.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

生效系统环境变量
source /etc/profile

Hadoop配置

masters
修改hadoop目录下etc/hadoop/masters
vi etc/hadoop/masters

bigdata1

slaves
修改hadoop目录下etc/hadoop/slaves
vi etc/hadoop/slaves

bigdata2
bigdata3

hadoop-env.sh
修改hadoop目录下bin/hadoop-env.sh
vi bin/hadoop-env.sh

export JAVA_HOME="/opt/software/jdk1.8.0_144"
export HADOOP_PREFIX="/opt/software/hadoop-2.6.0-cdh5.13.0"

yarn-env.sh
修改hadoop目录下bin/yarn-env.sh
vi bin/yarn-env.sh

export YARN_LOG_DIR="/opt/software/hadoop-2.6.0-cdh5.13.0/yarn/logs"

core-site.xml
修改hadoop目录下etc/hadoop/core-site.xml
vi etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata1:9000</value>
        <description>定义HadoopMaster的URI和端口</description>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
        <description>用作序列化文件处理时读写buffer的大小</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/software/hadoop-2.6.0-cdh5.13.0/hdfs/tmp</value>
        <description>临时数据存储目录设定</description>
    </property>
</configuration>

hdfs-site.xml
修改hadoop目录下etc/hadoop/hdfs-site.xml
vi etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>bigdata1:50070</value>
        <description>namenode的http通讯地址</description>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata2:50090</value>
        <description>secondarynamenode的http通讯地址</description>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
        <description>hdfs副本数量</description>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>1048576</value>
        <description>块大小1M</description>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
        <description>是否对DFS中的文件进行权限控制(测试中一般用false)</description>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/software/hadoop-2.6.0-cdh5.13.0/hdfs/name</value>
        <description>namenode存放fsimage本地目录</description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/software/hadoop-2.6.0-cdh5.13.0/hdfs/data</value>
        <description>datanode存放block本地目录</description>
    </property>
</configuration>

mapred-site.xml
修改hadoop目录下etc/hadoop/mapred-site.xml
vi etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml
修改hadoop目录下etc/hadoop/yarn-site.xml
vi etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata1</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

分发程序

分发命令模板

scp -r source root@hostname:/target

分发software文件夹

scp -r /opt/software root@bigdata2:/opt
scp -r /opt/software root@bigdata3:/opt

分发hosts文件

scp -r /etc/hosts root@bigdata2:/etc
scp -r /etc/hosts root@bigdata3:/etc

分发/etc/profile文件（环境变量）

scp -r /etc/profile root@bigdata2:/etc
scp -r /etc/profile root@bigdata3:/etc

注意：分发环境变量配置文件后每台机器都须执行：source /etc/profile

启动验证

格式化NameNode（只在bigdata1执行命令）
hdfs namenode -format

注意：format之后启动了集群，再次format后datanode集群ID可能不一致，导致datanode启动不了，有两种解决方法

1. 分别打开nn和dn中的hdfs-site.xml里配置的datanode和namenode对应的目录，打开current文件夹里的VERSION，可以看到clusterID项正如日志里记录的一样，确实不一致，修改datanode里VERSION文件的clusterID 与namenode里的一致，再重新启动dfs（执行start-dfs.sh）再执行jps命令可以看到datanode已正常启动
2. 删除集群内每一台主机的hdfs目录，重新格式化NameNode

启动HDFS（只在bigdata1执行命令）
start-dfs.sh
启动YARN（只在bigdata1执行命令）
start-yarn.sh
验证

http://192.168.128.129:50070

其他

基本操作

hadoop fs -ls /
hadoop fs -put file /
hadoop fs -mkdir /dirname
hadoop fs -text /filename
hadoop fs -rm /filename

横向扩展

1. 新起一台虚拟机
2. 修改hosts文件
3. 修改nn主机hadoop目录下etc/hadoop/slaves文件加入主机名
4. 同样方式分发hosts, profile, software
5. 在新加的主机上执行hadoop-daemon.sh start datanode