在Mac下安装Hadoop3.1.0的坑

一、首先要配置好java环境（这个网上多的是这里就。。。）

二、1.关闭防火墙

2.ssh免登陆配置

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod og-wx ~/.ssh/authorized_keys

测试 ssh localhost如果仍然提示要输入密码，那么可以vim ~/.ssh/config文件，添加以下代码。

Host localhost

  AddKeysToAgent yes

  UseKeychain yes

  IdentityFile ~/.ssh/id_rsa

三、1.下载好Hadoop3.1.0(这里下载http://ftp.riken.jp/net/apache/hadoop/common/hadoop-3.1.0/)

2.我将下载好的Hadoop放到/usr/local/hadoop目录下

3.配置一下Hadoop环境

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

4.1 配置hadoop-env.sh

4.2配置core-site.xml——指定了NameNode的主机名与端口(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/core-site.xml)

4.3配置hdfs-site.xml(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/hdfs-site.xml)

4.4配置mapred-site.xml(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/mapred-site.xml )

4.5配置yarn-site.xml(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/yarn-site.xml )

4.6格式化HDFS

在终端上     hdfs namenode -format

我这里没有下面这条信息不知道为啥，😄

4.7 一次启动hadoop所有进程：

在终端上     start-all.sh

4.8 在终端上 敲jps

看看节点是不是都有

放大招啦：测一下

浏览器输入:

http://localhost:9870/而不是http://localhost:50070/

为啥是http://localhost:9870呢，这是Hadoop3后面新特性吧😄，我是在大神指导下发现的😄

最后有不足指出请多多指教😄