*注:这些配置文件的路径均在 ${HADOOP_HOME}/ etc/hadoop 目录下
(1)hadoop-env.sh
#添加
export JAVA_HOME=/home/hadoop/jdk
# hadoop为用户名,按实际修改
(2)core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name> #fs.defaultFS 属性指定默认文件系统的 URI 地址
<value>hdfs://node1:8020</value>
<!-- 以上 ip 地址或主机名要按实际情况修改 -->
</property><property>
<name>hadoop.tmp.dir</name> #指定 Hadoop 的临时工作目录
<value>/home/hadoop/hadoop/tmp</value>
</property>
</configuration>
注意:一定要配置 hadoop.tmp.dir,否则默认的 tmp 目录 在/tmp 下,重启 Ubuntu 操作系统时 tmp 目录下的 dfs/name 文件夹会被删除,造成没有 NameNode
(3)hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value> # dfs.replication 的默认值是 3,因为伪分布式只有一个节点,所以值设置为 1。
</property>
</configuration>
(4)mapred-site.xml
复制 mapred-site.xml.template,生成 mapred-site.xml。
命令:cp mapred-site.xml.template mapred-site.xml
在<configuration></configuration>之间添加如下配置信息,如下图所示 <!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
mapreduce.framework.name 默认值为 local,设置为 yarn,让 MapReduce 程序运行 在 YARN 框架上。
(5)yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name> #属性为资源管理器的主机
<value>node1</value>
<!-- 以上主机名或 IP 地址按实际情况修改 -->
</property>
<property>
<name>yarn.nodemanager.aux-services</name> #属性为节点管理器的辅助服务器
<value>mapreduce_shuffle</value>
</property>
网友评论