hadoop 搭建之HDFS，MapReduce

hadoop分布式安装(CENTOS7)

001 集群机器

主机	ip
master	10.13.7.43
slave01	10.13.7.40
slave02	10.13.7.41

1.修改主机名

hostnamectl set-hostname master     

其他机器按照同样的方法修改主机名

2.修改hosts文件

vi /etc/hosts

配置如下：

127.0.0.1   localhost
10.13.7.43 master
10.13.7.40 slave01
10.13.7.41 slave02

010 SSH免密登录

1.测试ssh能否连接到本机

ssh localhost

2.不能连接的话，下载openssh-server

yum -y install openssh-server

3.配置ssh免密登录

ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4.将master的公钥发送到slave01和slave02，实现ssh免密登录slave01和slave02

scp ~/.ssh/id_rsa.pub root@slave01:~/.ssh/
scp ~/.ssh/id_rsa.pub root@slave02:~/.ssh/

5.ssh 连接slave01和slave02，将master的公钥添加到authorized_keys

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

6.测试master是否ssh免密登录slave01和slave02

ssh slave01

011 安装JAVA环境和Hadoop

1.安装openJDK

yum -y install java-1.7.0-openjdk java-1.7.0-openjdk-devel

2.获取JDK安装路径

rpm -ql java-1.7.0-openjdk-devel | grep '/bin/javac'

安装路径：/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el7_3.x86_64

3.添加JDK环境变量

vi /etc/profile

添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el7_3.x86_64
觉得路径长的话，可以修改路径名。

4.生效环境变量

source /etc/profile

5.检验配置是否生效

java -version

6.安装hadoop
可以通过清华源https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/下载hadoop，这里用的是hadoop 2.8.0版本，下载完之后，解压文件

tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local
cd /usr/local/
mv hadoop-2.8.0 hadoop

8.添加hadoop环境变量

vi /etc/profile

添加以下内容

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

8.生效环境变量

source /etc/profile

9.测试配置是否生效

hadoop

100 配置hadoop集群

1.进入hadoop配置文件存放的目录

cd /usr/local/hadoop/etc/hadoop

2.修改slave文件

vi slave

添加DATANODE的主机名
slave01
slave02
3.修改core-site.xml文件

vi core-site.xml

在< configuration>< /configuration>之间添加以下内容

 <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop/tmp</value>
          <description>Abase for other temporary directories.</description>
      </property>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
 </property>

4.修改hdfs-site.xml文件

vi hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/tmp/dfs/name</value>
    </property>

5.复制mapred-site.xml.template，修改文件名为mapred-site.xml，并修改这个文件

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

在< configuration>< /configuration>之间添加以下内容

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

6.修改yarn-site.xml文件

vi yarn-site.xml

在< configuration>< /configuration>之间添加以下内容

      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
      <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
      </property>

7.将master配置好的hadoop文件夹打包复制到各slave节点,master节点执行

cd /usr/local
tar -zcf hadoop.tar.gz ./hadoop
scp hadoop.tar.gz slave01:/usr/local
scp hadoop.tar.gz slave02:/usr/local

8.创建namenode临时文件存放路径,仅master节点执行

mkdir /usr/local/hadoop/tmp/dfs/name

8.在各slave节点解压hadoop文件

cd /usr/local
tar -zxvf hadoop.tar.gz -C /usr/local

101 启动hadoop集群

1.master主机执行启动命令

hdfs namenode -format
start-all.sh

2.运行后，在master，slave01，slave02 执行jps命令，查看运行情况
maser：

slave01：

slave02：

ok!!!大功告成！！！