美文网首页
编译Alluxio源码适配CDH和hadoop3.0.0环境

编译Alluxio源码适配CDH和hadoop3.0.0环境

作者: 虫儿飞ZLEI | 来源:发表于2019-10-08 10:23 被阅读0次

关于alluxio这里不再详细描述了,相关内容可以参考https://www.jianshu.com/p/f417806156cf

官方提供的可下载的压缩包是适配开源版本的hadoop,而且是支持到hadoop2.X版本的,考虑到目前使用的是CDH环境并且hadoop版本是3.0.0,所以重新编译源代码。

1. 环境准备

  • linux环境: centos7
  • maven: 3.6.2
  • git: 1.8.3.1
  • java: 1.8.0_181

我尝试在windows上面编译,但是总是编译失败,不知道为什么,转而用linux编译

此外,由于网络的原因,在编译的过程中,本人使用了vpn

2. 编译

2.1 编译默认环境

下载源码
git clone git://github.com/alluxio/alluxio.git

如果编译默认环境直接
mvn clean install -DskipTests

编译成功应该如下:


2.2 使用开源hadoop,指定版本

-P<HADOOP_PROFILE> -Dhadoop.version=<HADOOP_VERSION>

比如
mvn clean install -Phadoop-3 -Dhadoop.version=3.0.0 -DskipTests

2.3 使用CDH环境,制定版本

$apacheRelease-cdh$cdhRelease

比如
mvn clean install -Phadoop-3 -Dhadoop.version=3.0.0-cdh6.1.1 -DskipTests

2.4 其他环境

官网中还有说明,支持MapR发行版、Hortonworks发行版,本人并没有尝试,具体可参考:https://docs.alluxio.io/os/user/stable/cn/contributor/Building-Alluxio-From-Source.html

3. 关于CDH的配置

使用cdh环境,集成一些东西,比如mapReduce等会需要修改配置文件,这里不要修改文件,直接在cdh管理页面上配置相关属性,然后重启相关组件即可。

相关文章

网友评论

      本文标题:编译Alluxio源码适配CDH和hadoop3.0.0环境

      本文链接:https://www.haomeiwen.com/subject/xtavpctx.html