大数据相关组件的学习，经常会遇到各种各样的环境问题，排查问题需要浪费超级多的时间。今天我就来说说我大数据环境采坑之旅。没有升级操作系统前，我搭建的大数据环境是完全可以正常使用的。
第一趴：
我的mac由于操作系统更新后，本机安装的mysql服务端就不翼而飞了。结果在官网下载了最新的安装包，废了九牛二虎之力终于搞定了，结果hadoop正常启动后，hive又无法正常启动，各种报错，昨天搞了一下下午，浪费了时间，结果问题丝毫没有解决，心情非常的down。
第二趴：
睡了一晚上之后，内心还是想要把这个问题解决掉，于是在正确使用搜索引擎之后，问题一个个被解决，然后疲惫一扫而去。整个问题解决的步骤如下。
01 彻底卸载本机所有的mysql版本，然后安装新版本
A、mac 彻底卸载mysql
参考文档 简书上的彻底卸载mysql的方法
步骤一：切换到~
cd ~
步骤二：打开usr文件
open /usr
步骤三：找到local，进入到local文件夹，然后依次执行如下命令
sudo rm /usr/local/mysql
sudo rm -rf /usr/local/mysql*
sudo rm -rf /Library/StartupItems/MySQLCOM
sudo rm -rf /Library/PreferencePanes/My*
rm -rf ~/Library/PreferencePanes/My*
sudo rm -rf /Library/Receipts/mysql*
sudo rm -rf /Library/Receipts/MySQL*
sudo rm -rf /var/db/receipts/com.mysql.*
步骤四：卸载完成，可以发现在系统偏好设置没有了MySql的标志。
PS: 由于我的mysql有多个版本，还有非默认路径下安装的mysql版本，于是还执行了一下的操作。
* 检查/usr/local/Cellar目录是否有mysql文件，有的话删除。
* 检查/usr/local/var 里的mysql文件，有的话删除。
* 检查/tmp 里的mysql.sock、mysql.sock.lock、 my.cnf文件，有的话删除。
* err文件以及pid文件都是在/usr/local/var/mysql中，有的话删除。
* brew安装的安装包存储在/usr/local/Library/Cache/Homebrew，有的话删除。
* 一定要记得执行brew cleanup【这个操作一定要慎用慎用 】。
B、mac配置文件 bash_profile 环境变量需要配置
注意配置文件的两处均需要进行修改
C、创建一个新的hive用户，并给其指定访问hive的元数据的权限
进入mysql执行命令
create user 'hive'@'localhost' identified by 'hive'; （创建hive用户）
grant all privileges on *.* to 'hive'@'localhost' with grant option;（赋予权限）
flush privileges;（刷新权限）
02 hive的各种报错
1、mysql的jdbc的连接驱动版本太低，导致hive启动报错
报错的截图
解决方案：在mysql的官网下载与mysql版本匹配的驱动。
官网地址下载地址
驱动选择图1
下载选项截图，针对于Mac系统
将下载好的mysql驱动放在hive 【/Users/zhanglina/cluster/hive-2.1.1/lib】目录下
2、java.sql.SQLSyntaxErrorException: Table 'hive.version' doesn't exist 的解决方案。
问题产生原因：
hive元数据，未能正常初始化导致的问题。【mysql服务端卸载后重装，需要手动进行初始化】
具体执行步骤如下:
1、修改hive-site.xml 配置文件
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
2、进入hive的bin目录下，手动执行 ./schematool -dbType mysql -info
03 hive可正常启动了
hive可以正常访问了，好happy！
网友评论