alluxio 分布式
配置分布式Alluxio:
10.87.219.7 #master
10.87.219.8 #worker1
10.87.219.9 #worker2
1.下载Alluxio发布版本并解压到各个节点
2.进入各个节点的解压后的文件夹,该文件夹中包含所有的Alluxio源文件和Java二进制文件
cd alluxio-1.8.0
3.配置
1)在conf
目录下,根据模板文件创建alluxio-site.properties
配置文件:
cp alluxio-site.properties.template alluxio-site.properties
2)进入master机器alluxio-site.properties
文件中进行设置:
# Common properties
# alluxio.master.hostname=localhost
alluxio.master.hostname=10.87.219.7#master address
# alluxio.underfs.address=${alluxio.work.dir}/underFSStorage
alluxio.underfs.address=hdfs://10.87.49.221:8020/
alluxio.underfs.hdfs.configuration=/usr/local/hadoop-2.7.4/etc/hadoop/core-site.xml:/usr/local/hadoop-2.7.4/etc/hadoop/hdfs-site.xml
# Security properties
# alluxio.security.authorization.permission.enabled=true
# alluxio.security.authentication.type=SIMPLE
# Worker properties
alluxio.worker.memory.size=5GB
# alluxio.worker.tieredstore.levels=1
# alluxio.worker.tieredstore.level0.alias=MEM
# alluxio.worker.tieredstore.level0.dirs.path=/mnt/ramdisk
3)配置workers文件:
进入conf/workers文件中,将2个worker的IP地址写入文件。
4)使用命令同步配置文件到2个worker节点中:
alluxio copyDir /data0/alluxio-1.8.0/conf/alluxio-site.properties
4.验证Alluxio运行环境
1). 环境变量
将Alluxio命令加入环境变量中,在/etc/profile
末尾添加Alluxio的路径信息:
export PATH="/data0/alluxio-1.8.0/bin:$PATH"
输入source /etc/profile
使其生效
2). 验证本地运行环境
输入命令验证运行环境:
./alluxio-1.8.0/bin/alluxio validateEnv local
- 格式化Alluxio
输入以下命令格式化Alluxio,为启动Alluxio做准备:
./bin/alluxio format
6.启动Alluxio
./bin/alluxio-start.sh all Mount
7.在http://10.87.219.7:19999/home
中查看web UI:
- 最后stop alluxio
alluxio-stop.sh all
运行alluxio命令时,需要输入master机器密码好几次...
网友评论