一.背景

 pxf适用于联邦数据的查询，支持多种数据源，如Hadoop、hive、关系数据库。支持多个异构数据源，并只查询数据源中少量数据集，而避免对数据集执行ETL操作。

二.PXF架构

1.pxf server 部署在segment host主机上。

2.segment通过rest接口和pxf server进行交互。

3.pxf server和外部数据通过特定connector进行交互。

三.编译

1.源码（这里采用5.14版本）

开源协议：Apache-2.0 License

https://github.com/greenplum-db/pxf/archive/release-5.13.0.zip

2.物理结构说明

1）cli

pxf的命令行工具,go语言开发主要基于github.com/spf13/cobra。

2）server

pxf的服务，Java语言开发，gradle编译打包成war，运行于tomcat中。

3. 基于容器编译

1）容器启动

#docker run -td -v ~/workspace/gpdb:/home/gpadmin/gpdb_src --privileged --security-opt seccomp:unconfined -i pivotaldata/gpdb6-centos7-build:latest /usr/sbin/init

2）依赖包安装

#yum install -y openssl openssh-server

#yum install openssh*

#yum install python-devel 

#yum install net-tools  ifconfig

3）python安装程序

#wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate

#wget https://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz

#pip install psutil

#pip install python-daemon

4）go语言设置

下载go语言包，并解压，放在/root/go目录下

#wget https://studygolang.com/dl/golang/go1.14.4.linux-386.tar.gz

#export GOPATH=/root/go

#export PATH=$PATH:/usr/local/go/bin:$GOPATH/bin

5）greenplum数据库

假设greenplum数据库已经在/home/gpadmin/gpdb_install目录中安装好

#source /home/gpadmin/gpdb_install/greenplum_path.sh

6）编译（用root用户编译可以避免权限的问题）

可以参考如下链接：

https://github.com/greenplum-db/pxf

7）编译注意事项

i）dep 和ginkgo

如果如下方式安装失败，也可以直接把代码下载到/root/go/src/github.com对应目录

go get github.com/golang/dep/cmd/dep

go get github.com/onsi/ginkgo/ginkgo

ii)在编译pxf-cli，涉及到golang.org/x的依赖包，如果防火墙原因导致下载失败。可以

从github.com/golang下载对应源码包放在/root/go/src/golang.org/x目录，如下图

2) 修改 /home/gpadmin/pxf/cli/go/src/pxf-cli/Gopkg.lock

删除对应projects信息

3）gradle的依赖修改

在编译server的时候如果由于依赖库下载慢，可以把server/build.gradle中的jcenter()修改成如下：

maven{ url'http://maven.aliyun.com/nexus/content/groups/public/' }

maven{ url'http://maven.aliyun.com/nexus/content/repositories/jcenter'}

四.参考资料

https://s3.amazonaws.com/greenplum.org/wp-content/uploads/2020/05/12171437/pxf-paper.pdf