Hadoop03环境搭建

Hadoop环境搭建较为复杂。这里一份可以用版本

节点配置：

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

         注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

core-site.xml 配置 指定HDFS中NameNode的地址

cd $HADOOP_HOME/etc/hadoop

vim core-site.xml

<configuration>

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://zy100:8020</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-3.1.3/data</value>-

    </property>

    <property>

        <name>hadoop.proxyuser.zy.hosts</name>

        <value>*</value>

    </property>

    <property>

        <name>hadoop.proxyuser.zy.groups</name>

        <value>*</value>

    </property>

    <property>

        <name>hadoop.http.staticuser.user</name>

        <value>zy</value>

    </property>

</configuration>

配置hdfs-site.xml指定HDFS中2NameNode的地址

vim hdfs-site.xml

<configuration>

<property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>zy102:9868</value>

    </property>

</configuration>

配置yarn-site.xml

vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>zy101</value>

    </property>

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

    <property>

        <name>yarn.scheduler.minimum-allocation-mb</name>

        <value>512</value>

    </property>

    <property>

        <name>yarn.scheduler.maximum-allocation-mb</name>

        <value>4096</value>

    </property>

    <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>4096</value>

    </property>

    <property>

        <name>yarn.nodemanager.pmem-check-enabled</name>

        <value>false</value>

    </property>

    <property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

    </property>

</configuration>

配置workers 添加工作节点

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

Localhost删除

zy100

zy101

zy102

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

配置mapred-site.xml  配置历史

配置日志的聚集

Hadoop3好像不用，或者伪分布式不用

建议参考

https://blog.csdn.net/qq_43412289/article/details/89241271

同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

节点配置完成后可以用最好存一下虚拟机快照I。以防以后节点出错。

出错怎么办：

先停止所有节点 stop-all.sh

   删除历史数据  cd $HADOOP_HOME

rm -rf /opt/module/hadoop-3.1.3/data logs edits.xml fsimage.xml 

    重新格式化

格式化Namenode 在zy100

    hdfs namenode -format

新东方

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers