美文网首页
Hadoop的配置文件

Hadoop的配置文件

作者: 热爱学习qwq | 来源:发表于2021-04-27 11:17 被阅读0次

 *注:这些配置文件的路径均在 ${HADOOP_HOME}/ etc/hadoop 目录下

(1)hadoop-env.sh

#添加
export JAVA_HOME=/home/hadoop/jdk
# hadoop为用户名,按实际修改


(2)core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
            <name>fs.defaultFS</name>       #fs.defaultFS 属性指定默认文件系统的 URI 地址
            <value>hdfs://node1:8020</value> 
            <!-- 以上 ip 地址或主机名要按实际情况修改 --> 
    </property>

    <property> 
            <name>hadoop.tmp.dir</name> #指定 Hadoop 的临时工作目录  
            <value>/home/hadoop/hadoop/tmp</value>
     </property>
</configuration> 


注意:一定要配置 hadoop.tmp.dir,否则默认的 tmp 目录 在/tmp 下,重启 Ubuntu 操作系统时 tmp 目录下的 dfs/name 文件夹会被删除,造成没有 NameNode

(3)hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name> 
        <value>1</value>       # dfs.replication 的默认值是 3,因为伪分布式只有一个节点,所以值设置为 1。
    </property>
</configuration>


(4)mapred-site.xml

复制 mapred-site.xml.template,生成 mapred-site.xml。
命令:cp mapred-site.xml.template mapred-site.xml

在<configuration></configuration>之间添加如下配置信息,如下图所示            <!-- 指定mr框架为yarn方式  -->
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

mapreduce.framework.name 默认值为 local,设置为 yarn,让 MapReduce 程序运行 在 YARN 框架上。

(5)yarn-site.xml

<property> 
    <name>yarn.resourcemanager.hostname</name> #属性为资源管理器的主机
    <value>node1</value>
    <!-- 以上主机名或 IP 地址按实际情况修改 -->
</property>
<property>
    <name>yarn.nodemanager.aux-services</name> #属性为节点管理器的辅助服务器
    <value>mapreduce_shuffle</value>
</property>

相关文章

网友评论

      本文标题:Hadoop的配置文件

      本文链接:https://www.haomeiwen.com/subject/utgurltx.html