一、各版本号
mac os :10.14
Hadoop:3.2.1
Hive:3.1.2
mysql:8.0.18
二、安装前准备
（1）hadoop 和hive都是用brew install hadoop ,brew install hive的方式安装，因此需要先安装brew
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 下载
（2）mysql 下载
https://dev.mysql.com/downloads/mysql/
需要注意的是：下载与mac os版本对应的，不然在系统偏好设置中找不到，下载dmg的就可以
图片.png
（3）mysql-connect-java
https://downloads.mysql.com/archives/c-j/
图片.png
需要注意的是：需要下载与mysql对应的版本，不然会报错
好了，准备工作就是这些，下面可以开始安装了
三、安装hadoop
1、直接在终端输入 brew install hadoop，等待下载安装完成
2、ssh 免秘钥登录
ssh-keygen -t rsa 回车 需要按y的按y
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #将公钥添加，若之前报错了，需要将之前添加的删除了，再添加
chmod og-wx ~/.ssh/authorized_keys
然后重启终端，在命令行下输入>ssh localhost 如果不需要输密码即可进入，证明设置成功。如果仍需要输入密码，那可能是文件权限的问题，尝试执行 chmod 755 ~/.ssh
2、修改配置文件
cd /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop 在该目录下修改以下几个文件
（1）修改core-site.xml
vi core-site.xml
在<configuration> </configuration>中间添加以下内容
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/Cellar/hadoop/3.2.1/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
（2）修改hdfs-site.xml
添加以下内容
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/Cellar/hadoop/libexec/tmp/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:/usr/local/Cellar/hadoop/3.2.1/tmp/dfs/data</value>
</property>
四、配置hadoop的环境变量
vi ~/.bash_profile
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_241.jdk/Contents/Home
export HADOOP_HOME=/usr/local/Cellar/hadoop/3.2.1/libexec
export PATH=PATH
然后sourece ~/.bash_profile 使更改生效
五、格式化hdfs
cd /usr/local/Cellar/hadoop/3.2.1/bin
./hdfs namenode -format
六、启动hadoop
cd /usr/local/Cellar/hadoop/3.1.1/sbin
./start-dfs.sh
运行jps命令查看是否启动了
图片.png
NameNode: http://localhost:9870/ 节点打开
七、启动yarn
（1）修改配置文件 libexec/etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name
</name>
<value>yarn</value>
</property>
（2）修改配置文件 libexec/etc/hadoop/yarn-site.xml
<property>
<name>mapreduce.framework.name
</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
（3）启动yarn
./start-yarn.sh
八、运行wordcount程序
第二部分：安装Mysql
mysql8.0 版本安装过程中，输入密码的时候需要注意 一定是字母+数字+符号的组合，不然安装的时候不会报错，等在终端运行的时候会登录不进
其他的就是配置Mysql的环境变量
在Mysql里创建hive的元数据库
图片.png
第三部分：安装Hive
（1）注意事项：
1、需要查看hive的 guava.*.jar 与hadoop的版本是否一致，若不一致，会提示大概guava类似的错误，此时只需要将高版本的覆盖低版本就行
2、需要将mysql-connect-java.jar包拷贝至/usr/local/Cellar/hive/3.1.2/libexec/lib
3、需要对数据库进行初始化
schematool -dbType mysql -initSchema
不然hive查询的时候回报错
4、hive-site.xml配置
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/metastore</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/tmp/hive</value>
</configuration>
4、至此，已全部配置完成，就可以启动hive了
图片.png
网友评论