python3 windows使用pyhive连接Hive

背景：工作需要，使用 python 操作 hive sql 查询数据使用。
目标：使用pyhive连接上hive，并正常读取数据。

hive

---

一、准备工作

首先安装几个简单的包

pip install thrift
pip install thrift-sasl
pip install PyHive

接下来安装sasl，直接运行

pip install sasl

但是我们在安装sasl的时候可能会报错，导致安装不上，这个时候就得去sasl下载地址下载我们所需要的sasl。

需要下载对应的版本，例如python3.7 对应 sasl-0.2.1-cp37-cp37m-win_amd64.whl

否则会报错 :
whl is not a supported wheel on this platform

下载完成后，执行命名 pip install sasl-0.2.1-cp37-cp37m-win_amd64.whl

如果连接404可以由此下载

---

二、运行中的坑

安装完成后，直接输入命令 from pyhive import hive 时候可能会报错

cannot import name 'constants' from 'TCLIService' (unknown location)

这个时候需要进一步安装

pip install --upgrade pyzmq

安装完成后，测试运行无误

---

三、连接Hive

开始尝试连接hive

from pyhive import hive

host='188.158.11.59'
username='hdfs'
password='hdfs%123'
port=2181
data_base_name='test'

conn = hive.Connection(host=host,
                       port=port,
                       auth="CUSTOM",
                       database=data_base_name,
                       username=username,
                       password=password)

这个时候会报错

Could not start SASL: b'Error in sasl_client_start (-4) SASL(-4): no mechanism available: Unable to find a callback: 2'

在linux下执行如下两条命令中的一条便可以解决问题，windows下暂未解决

yum install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi

sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel

windows下尝试去https://sourceforge.net/projects/saslwindows/下载了Cyrus-SASL for Windows的安装文件，但是没有安装成功。

---

四、终极解决方案

在Windows中使用管理员权限打开控制台，在控制执行一段命令即可，操作如下。

C:\Windows\system32> FOR /F "usebackq delims=" %A IN (`python -c "from importlib import util;import os;print(os.path.join(os.path.dirname(util.find_spec('sasl').origin),'sasl2'))"`) DO (
  REG ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Carnegie Mellon\Project Cyrus\SASL Library" /v SearchPath /t REG_SZ /d "%A"
)

解决原理参考 Windows下pyhive无法使用的解决方案（https://blog.csdn.net/wenjun_xiao/article/details/104458940）

from pyhive import hive
from impala.dbapi import connect as impalaConn
from impala.util import as_pandas
import pandas as pd

conn = hive.Connection(host='192.168.10.99',
                       port=10000,
                       auth="CUSTOM",
                       database='test',
                       username='hive',
                       password='hive')
cur =conn.cursor()
cur.execute('show tables')
row =cur.fetchall()

if row: 
    print(row)

conn.close

---

五、使用pandas读取数据

from pyhive import hive
from impala.dbapi import connect as impalaConn
from impala.util import as_pandas
import pandas as pd

conn = hive.Connection(host='192.168.10.99',
                       port=10000,
                       auth="CUSTOM",
                       database='test',
                       username='hive',
                       password='hive')

sql_order = 'select * from u_data limit 10' 
df = pd.read_sql(sql_order, conn)

conn.close