CentOS 伪分布式配置Hadoop2.7.3

• 安装JDK
• 设置ssh免密码登入

rsa密钥认证：
$ cd ~/.ssh  #进入本机home目录
$ ssh-keygen -t rsa    #生成本机id_rsa（私钥）、id_rsa.pub（公钥）
$ ssh-copy-id localhost  #将公钥拷贝到要免登陆的机器上，切勿使用私钥  
                         #此处localhost为远程主机的localhost

或dsa密钥认证：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #用dsa密钥认证来生成一对公钥和私钥：
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #将生成的公钥加入到用于认证的公钥文件中

#测试一下是否配置成功
$ ssh localhost

• 安装Hadoop2.7.3

1. 第一步 安装Hadoop

上传hadoop的安装包hadoop-2.7.3.tar.gz到服务器上去/usr/download （自由选择路径）

$ tar -zxvf hadoop-2.7.3.tar.gz  -C /usr/export/software/

2. 第二步 配置hadoop
   hadoop-2.7.3的搭建需要修改5个配置文件

$ cd /usr/export/software/hadoop-2.7.3/etc/hadoop 

第一个：vi hadoop-env.sh

#第27行
export JAVA_HOME=/usr/java/jdk1.8.0_121 

第二个：vi core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/export/data/hadoop/tmp</value>
</property>

注：若localhost已更换别名(如grape)，可以grape替换上述代码中的localhost；指定存储目录时，该路径自由分配

第三个：vi hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
      <name>dfs.replication</name>
      <value>1</value>
</property>

第四个：mapred-site.xml (改名后得到的文件)

# mapred-site.xml.template重命名
$ mv mapred-site.xml.template mapred-site.xml 
$ vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value> 
</property>

第五个：vi yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value> 
</property>

<!-- reducer获取数据的方式 -->
<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
</property>

3. 第三步 将hadoop添加到环境变量

$ vim /etc/profile

#hadoop
export HADOOP_HOME=/usr/export/software/hadoop-2.7.3 #选中hadoop路径

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

$ source /etc/profile

4. 第四步 格式化namenode（是对namenode进行初始化）

$ hdfs namenode -format (hadoop namenode -format 已经过时，但是依然可用)

5. 第五步 启动hadoop

$ cd /home/hadoop/app/hadoop-2.7.3/sbin#若已配置hadoop环境变量，直接在根目录下输入下一行代码
$ start-all.sh

Hadoop搭建到此结束，接下来是验证是否搭建成功
使用jps命令验证
出现以下结果，表明启动成功

[root@xxxxx sbin]# jps
6417 DataNode
7207 NodeManager
6920 ResourceManager
7258 Jps
6235 NameNode
6700 SecondaryNameNode

6.第六步 终止hadoop

$ cd /home/hadoop/app/hadoop-2.7.3/sbin #若已配置hadoop环境变量，直接在根目录下输入下一行代码
$ stop-all.sh

参考：
CentOS安装JDK 8
hadoop2.7.3伪分布式搭建之三------>Hadoop2.7.3的安装
Hadoop2.7.3的安装详细过程(伪分布式)
CentOS Linux 配置SSH密钥登录 配置笔记