关于alluxio这里不再详细描述了,相关内容可以参考https://www.jianshu.com/p/f417806156cf
官方提供的可下载的压缩包是适配开源版本的hadoop,而且是支持到hadoop2.X版本的,考虑到目前使用的是CDH环境并且hadoop版本是3.0.0,所以重新编译源代码。
1. 环境准备
- linux环境: centos7
- maven: 3.6.2
- git: 1.8.3.1
- java: 1.8.0_181
我尝试在windows上面编译,但是总是编译失败,不知道为什么,转而用linux编译
此外,由于网络的原因,在编译的过程中,本人使用了vpn
2. 编译
2.1 编译默认环境
下载源码
git clone git://github.com/alluxio/alluxio.git
如果编译默认环境直接
mvn clean install -DskipTests
编译成功应该如下:
2.2 使用开源hadoop,指定版本
-P<HADOOP_PROFILE> -Dhadoop.version=<HADOOP_VERSION>
比如
mvn clean install -Phadoop-3 -Dhadoop.version=3.0.0 -DskipTests
2.3 使用CDH环境,制定版本
$apacheRelease-cdh$cdhRelease
比如
mvn clean install -Phadoop-3 -Dhadoop.version=3.0.0-cdh6.1.1 -DskipTests
2.4 其他环境
官网中还有说明,支持MapR发行版、Hortonworks发行版,本人并没有尝试,具体可参考:https://docs.alluxio.io/os/user/stable/cn/contributor/Building-Alluxio-From-Source.html
3. 关于CDH的配置
使用cdh环境,集成一些东西,比如mapReduce等会需要修改配置文件,这里不要修改文件,直接在cdh管理页面上配置相关属性,然后重启相关组件即可。
网友评论