Hadoop配置文件详解

1.core-site.xml

    <!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://主机名1:9000</value>
    </property>

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.X.X/data/tmp</value>
    </property>

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/data/hadoop/tmp</value>
        <!-- 其他临时目录的父目录 -->
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-alone:9000</value>
        <!--hdfs://host:port/默认的文件系统的名称。通常指定namenode的URI地址，包括主机和端口-->
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
        <!--
            在序列文件中使用的缓冲区大小，这个缓冲区的大小应该是页大小（英特尔x86上为4096）的倍数
            他决定读写操作中缓冲了多少数据（单位kb）
        -->
    </property>
    <!--ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->
    <property>
        <name>ha.zookeeper.quorum</name>
         <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
    </property>
</configuration>

2.hdfs-site.xml

     <!--数据冗余数-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--secondary的地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>主机名1:50090</value>
    </property>
    <!--关闭权限-->
    <property>
         <name>dfs.permissions</name>
         <value>false</value>
     </property>

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
        <!--指定dataNode存储block的副本数量，默认值是3个，该值应该不大于4-->
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
        <!--大型的文件系统HDFS块大小为256MB，先默认是128MB-->
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/name</value>
        <!--
            存放namenode的名称表（fsimage）的目录，如果这是一个逗号分隔的目录列表，
            那么在所有目录中复制名称表，用于冗余。
         -->
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/data</value>
        <!--
            存放datanode块的目录。如果这是一个逗号分隔的目录列表，
            那么数据将存储在所有命名的目录中，通常存储在不同的设备上。
        -->
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:50070</value>
        <!---->
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>0.0.0.0:50090</value>
        <!--secondary namenode HTTP服务器地址和端口。-->
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
        <!-- 当为true时，则允许HDFS的检测，当为false时，则关闭HDFS的检测，但不影响其它HDFS的其它功能。-->
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>hadoop-cluster1</value>
        <!--给hdfs集群起名字 -->
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
        <!-- RPC服务器的监听client线程数，如果dfs.namenode.servicerpc-address属性没有配置，则线程会监听所有节点的请求。-->
    </property>
</configuration>

3.yarn-site.xml

    <!-- reducer获取数据的方式 -->
    <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>主机名1</value>
    </property>
        <!-- 日志聚集功能使能 -->
    <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>
    <!-- 日志保留时间设置7天(秒) -->
    <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
    </property>

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoop-alone:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoop-alone:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-alone:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop-alone:8050</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-alone:8030</value>
    </property>
</configuration>

4.mapred-site.xml

<!-- 指定mr运行在yarn上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!--历史服务器的地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>主机名1:10020</value>
    </property>
    <!--历史服务器页面的地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>主机名1:19888</value>
    </property>

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <!--执行框架设置为 Hadoop YARN.-->
    </property>
</configuration>