单个hadoop配置

配置mapReduce程序运行环境

注意: 配置这些xml文件可以用notepad 的插件 npp

在HDFS上运行MapReduce程序

1）配置 hadoop-env.sh  修改JAVA_HOME路劲
2）配置hdfs-site.xml 
 <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

3) 配置core-site.xml 
    <!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:8020</value>
    </property>

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

4）格式化namenode 
    bin/hdfs namenode -format

5） 启动namenode
    sbin/hadoop-daemon.sh start namenode

6） 启动datanode
    sbin/hadoop-daemon.sh start datanode

浏览器查看 http://192.168.1.101:50070/cluster 

在yarn上运行MapReduce

1. 配置yarn-env.sh 配置JAVA_HOME路劲

2）配置yarn-site.xml

<!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop102</value>
</property>

3. 配置mapred-env.sh

​ 配置JAVA_HOME环境

4)配置mapred-site.xml

​ 对mapred-site.xml.template 重命名为mapred-site.xml

​ 用命令 mv

<!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

5. 启动集群

​ 启动resourcemanager

​ sbin/yarn-daemon.sh start resourcemanager

​ 启动nodemanager

    sbin/yarn-daemon.sh start nodemanager

6. （a）yarn的浏览器页面查看

​ http://192.168.1.101:8088/cluster

​

修改hadoop缓存目录

Mkdir data/tmp

core-site.xml文件

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

启动所有进程

[ hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
[ hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
[ hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[ hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

​