美文网首页
分布式Alluxio配置部署

分布式Alluxio配置部署

作者: 日常采坑君 | 来源:发表于2018-08-10 17:26 被阅读0次

    alluxio 分布式


    配置分布式Alluxio:

    10.87.219.7 #master 
    10.87.219.8 #worker1
    10.87.219.9 #worker2
    

    1.下载Alluxio发布版本并解压到各个节点
    2.进入各个节点的解压后的文件夹,该文件夹中包含所有的Alluxio源文件和Java二进制文件

    cd alluxio-1.8.0
    

    3.配置
    1)在conf目录下,根据模板文件创建alluxio-site.properties配置文件:

    cp alluxio-site.properties.template  alluxio-site.properties
    

    2)进入master机器alluxio-site.properties文件中进行设置:

    # Common properties
    # alluxio.master.hostname=localhost
    alluxio.master.hostname=10.87.219.7#master address
    # alluxio.underfs.address=${alluxio.work.dir}/underFSStorage
    alluxio.underfs.address=hdfs://10.87.49.221:8020/
    alluxio.underfs.hdfs.configuration=/usr/local/hadoop-2.7.4/etc/hadoop/core-site.xml:/usr/local/hadoop-2.7.4/etc/hadoop/hdfs-site.xml
    
    # Security properties
    # alluxio.security.authorization.permission.enabled=true
    # alluxio.security.authentication.type=SIMPLE
    
    # Worker properties
    alluxio.worker.memory.size=5GB
    # alluxio.worker.tieredstore.levels=1
    # alluxio.worker.tieredstore.level0.alias=MEM
    # alluxio.worker.tieredstore.level0.dirs.path=/mnt/ramdisk
    

    3)配置workers文件:
    进入conf/workers文件中,将2个worker的IP地址写入文件。
    4)使用命令同步配置文件到2个worker节点中:

    alluxio copyDir /data0/alluxio-1.8.0/conf/alluxio-site.properties
    

    4.验证Alluxio运行环境

    1). 环境变量
    将Alluxio命令加入环境变量中,在/etc/profile末尾添加Alluxio的路径信息:

    export PATH="/data0/alluxio-1.8.0/bin:$PATH"
    

    输入source /etc/profile使其生效
    2). 验证本地运行环境
    输入命令验证运行环境:

    ./alluxio-1.8.0/bin/alluxio validateEnv local
    
    1. 格式化Alluxio
      输入以下命令格式化Alluxio,为启动Alluxio做准备:
    ./bin/alluxio format
    

    6.启动Alluxio

    ./bin/alluxio-start.sh all Mount
    

    7.在http://10.87.219.7:19999/home中查看web UI:

    image.png
    1. 最后stop alluxio
    alluxio-stop.sh all
    

    运行alluxio命令时,需要输入master机器密码好几次...

    相关文章

      网友评论

          本文标题:分布式Alluxio配置部署

          本文链接:https://www.haomeiwen.com/subject/icjlbftx.html