Greenplum pxf 连接hadoop

最近在搞greenplum连接hadoop，采用pxf插件。hadoop集群是kerberos认证的。

首先添加一下hadoop的参数:

$ gpconfig -c gp_hadoop_target_version -v"hdp2"

$ gpconfig -c gp_hadoop_home -v"/usr/lib/hadoop"

具体的版本参数参照官网，hadoop的home自己设定

然后配置java环境目录，每个segment节点都配置一下。这里最好每台机器都check一下。

1.添加加载类

遇到的问题：No class found一类的问题。

在greenplum-db/lib/hadoop目录下的hadoop_env.sh 文件缺少应该加载的类的配置。

在hadoop_env.sh文件中，JAVA_LIBRARY_PATH之前加上

if [ -d "/usr/hdp/2.6.1.0-129/hadoop/client" ]; then

for f in /usr/hdp/2.6.1.0-129/hadoop/client/*.jar; do

  CLASSPATH=${CLASSPATH}:$f;

done

fi

其中/usr/hdp/2.6.1.0-129/是我的hadoop安装目录。

2.指定hadoop配置文件

指定PXF_CONF=/usr/local/greenplum-db/pxf/conf,也可是其他目录。根据官方指导，

在这个目录下的servers/default 

加入hadoop经典的四个配置文件：

hdfs-site.xml,core-site.xml,yarn-site.xml,mapred-site.xml

当然，加入hive-site.xml,hbase-site.xml 如果需要读取hive，hbase的数据。

3.指定kerberos配置文件

在/usr/local/greenplum-db/pxf/conf/conf目录下pxf-env.sh中，这个目录和第二步中的PXF_CONF设定对应，

加入对应的keytab与principal。

这里需要重点强调一下，上面的配置对应的是segment节点，master节点不做要求。最好所有的配置都一样，省的出现各类问题。

4.替换hadoop版本。

我用的gp是pivolt的5.16版本，自带的hadoop版本是2.8.5，我的hadoop版本是2.7.3的，然后查询的时候，

就报错了各种NosuchMethod。最后实在没办法了，我就把gp自带的jar替换成我的hadoop版本的。

gp需要的hadoop的jar在 ${你的安装目录}/greenplum-db/pxf/lib/shared 这个目录下，

替换的jar有

hadoop-auth-2.7.3.2.6.1.0-129.jar

hadoop-aws-2.7.3.2.6.1.0-129.jar

hadoop-azure-2.7.3.2.6.1.0-129.jar

hadoop-azure-datalake-2.7.3.2.6.1.0-129.jar

hadoop-common-2.7.3.2.6.1.0-129.jar

hadoop-hdfs-2.7.3.2.6.1.0-129.jar

hadoop-mapreduce-client-core-2.7.3.2.6.1.0-129.jar

hadoop-yarn-api-2.7.3.2.6.1.0-129.jar

其实就是hadoop相关的，然后就可以了。

以上四步中，官方文档有第二步，第三步，第一步在网上其他教程中也能够解决。但是，第四部，官方文档中没有提及，网上的相关的资料基本上没有。pxf这个功能也是最近才发布，gp用的人比较少，更别提pxf了。作为第一个采坑，希望分享出来，帮助大家。

gp连接hive的出现的问题

1.  User null does not belong to hdfs

在hive-site.xml中加入

<property>

      <name>hive.warehouse.subdir.inherit.perms</name>

      <value>false</value>

    </property>

2.ERROR: "set_ugi() not successful, Likely cause: new client talking to old server. Continuing without it" 

正在解决……