美文网首页
编译Alluxio源码适配CDH和hadoop3.0.0环境

编译Alluxio源码适配CDH和hadoop3.0.0环境

作者: 虫儿飞ZLEI | 来源:发表于2019-10-08 10:23 被阅读0次

    关于alluxio这里不再详细描述了,相关内容可以参考https://www.jianshu.com/p/f417806156cf

    官方提供的可下载的压缩包是适配开源版本的hadoop,而且是支持到hadoop2.X版本的,考虑到目前使用的是CDH环境并且hadoop版本是3.0.0,所以重新编译源代码。

    1. 环境准备

    • linux环境: centos7
    • maven: 3.6.2
    • git: 1.8.3.1
    • java: 1.8.0_181

    我尝试在windows上面编译,但是总是编译失败,不知道为什么,转而用linux编译

    此外,由于网络的原因,在编译的过程中,本人使用了vpn

    2. 编译

    2.1 编译默认环境

    下载源码
    git clone git://github.com/alluxio/alluxio.git

    如果编译默认环境直接
    mvn clean install -DskipTests

    编译成功应该如下:


    2.2 使用开源hadoop,指定版本

    -P<HADOOP_PROFILE> -Dhadoop.version=<HADOOP_VERSION>

    比如
    mvn clean install -Phadoop-3 -Dhadoop.version=3.0.0 -DskipTests

    2.3 使用CDH环境,制定版本

    $apacheRelease-cdh$cdhRelease

    比如
    mvn clean install -Phadoop-3 -Dhadoop.version=3.0.0-cdh6.1.1 -DskipTests

    2.4 其他环境

    官网中还有说明,支持MapR发行版、Hortonworks发行版,本人并没有尝试,具体可参考:https://docs.alluxio.io/os/user/stable/cn/contributor/Building-Alluxio-From-Source.html

    3. 关于CDH的配置

    使用cdh环境,集成一些东西,比如mapReduce等会需要修改配置文件,这里不要修改文件,直接在cdh管理页面上配置相关属性,然后重启相关组件即可。

    相关文章

      网友评论

          本文标题:编译Alluxio源码适配CDH和hadoop3.0.0环境

          本文链接:https://www.haomeiwen.com/subject/xtavpctx.html