美文网首页
分布式存储MFS构建

分布式存储MFS构建

作者: mk_ | 来源:发表于2021-07-13 17:41 被阅读0次

    构建环境:

    mfs-master        192.168.1.170

    mfs-matedata      192.168.1.171

    mfs-chunkserver  192.168.1.172

    mfs-chunkserver  192.168.1.173

    mfs-chunkserver  192.168.1.174

    mfs-client        192.168.1.175


    1、mfs-master配置

    [root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel -y

    [root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

    [root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

    [root@localhost ~]#cd moosefs-3.0.115/

    [root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

    [root@localhost moosefs-3.0.115]#make -j 4 && make install

    [root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

    [root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

    [root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

    [root@localhost ~]# chmod a+x /usr/local/mfs/bin/*

    [root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*

    [root@localhost ~]# cd /usr/local/mfs/etc/mfs/

    2、启动master节点配置文件

    [root@localhost mfs]# cp -a mfsmaster.cfg.sample mfsmaster.cfg  #启动master节点配置文件

    [root@localhost mfs]# vim mfsmaster.cfg  #不用更改配置文件,默认即可

    3、主配置配置文件说明解释:

    WORKING_USER = mfs

    WORKING_GROUP = mfs

    SYSLOG_IDENT = mfsmaster #在 syslog 中的表示, 说明这是 mfsmaster 产生的

    LOCK_MEMORY = 0  # 是否执行 mlockall()以避免 mfsmaster 内存溢出(默认为 0)

    NICE_LEVEL = -19 # 运行的优先级(默认-19, 注意, 这进程必须是 root 启动 )

    DATA_PATH = /usr/local/mfs/var/mfs #数据存放路径,该目录下有三大类文件

    changelog,sessions,stats

    EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg #被挂载目录以及其权限控制文件的存放位置

    BACK_LOGS = 50 #元数据的改变日志文件数量(默认是 50)

    MATOML_LISTEN_HOST = * # 元数据日志服务器监听的 IP 地址(默认是*, 代表任何 IP)

    MATOML_LISTEN_PORT = 9419 # 元数据日志服务器监听的端口地址, 默认是 9419

    MATOCS_LISTEN_HOST = * # 用于存储服务器(Chunk Server) 连接的 IP 地址

    MATOCS_LISTEN_PORT = 9420 # 是存储服务器(Chunk server) 连接的端口地址

    REPLICATIONS_DELAY_INIT = 300 # 延迟复制的时间(默认是 300)

    CHUNKS_LOOP_MIN_TIME = 300 # chunks 的回环率

    CHUNKS_SOFT_DEL_LIMIT = 10

    CHUNKS_WRITE_REP_LIMIT = 2,1,1,4 在一个循环里复制到一个 CHUNK Server 的最大chunks

    CHUNKS_READ_REP_LIMIT = 10,5,2,5

    MATOCL_LISTEN_PORT = 9421

    4、设置MFS 挂载权限

    [root@localhost mfs]#cp -a mfsexports.cfg.sample mfsexports.cfg # 设置 MFS 挂载权限

    [root@localhost mfs]# vim mfsexports.cfg

    192.168.1.0/24 . rw,alldirs,maproot=0  #最后一行插入,.表示/文件系统,rw表示读写,alldirs任何目录允许挂载,maproot登录root权限

    5、拷贝MFS元数据信息文件(初始)

    [root@localhost ~]# cd /usr/local/mfs/var/mfs/

    [root@localhost mfs]# cp metadata.mfs.empty metadata.mfs

    [root@localhost mfs]# mfsmaster start # 启动 MFS-Master 服务

    [root@localhost mfs]# netstat -anutp

    Active Internet connections (servers and established)

    Proto Recv-Q Send-Q Local Address          Foreign Address        State      PID/Program name   

    tcp        0      0 0.0.0.0:9419            0.0.0.0:*              LISTEN      4694/mfsmaster     

    tcp        0      0 0.0.0.0:9420            0.0.0.0:*              LISTEN      4694/mfsmaster     

    tcp        0      0 0.0.0.0:9421            0.0.0.0:*              LISTEN      4694/mfsmaster

    [root@localhost mfs]# pwd

    /usr/local/mfs/var/mfs

    [root@localhost mfs]# ls

    changelog.0.mfs  metadata.mfs.back  metadata.mfs.empty  #metadata.mfs.back完整备份,changelog.0.mfs增量备份

    [root@localhost mfs]# mfscgiserv    #开启web监控页面http://192.168.1.170:9425/


    1、mfs-matedata配置

    [root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel –y

    [root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

    [root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

    [root@localhost ~]#cd moosefs-3.0.115/

    [root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

    [root@localhost moosefs-3.0.115]#make -j 4 && make install

    [root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

    [root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

    [root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

    [root@localhost ~]# chmod a+x /usr/local/mfs/bin/*

    [root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*

    [root@localhost ~]# cd /usr/local/mfs/etc/mfs/

    2、MFS元数据服务配置文件

    [root@localhost ~]cp mfsmetalogger.cfg.sample mfsmetalogger.cfg # 拷贝 MFS元数据服务配置文件

    [root@localhost ~]vim mfsmetalogger.cfg

    39  META_DOWNLOAD_FREQ = 2          # 设置完整同步间隔为 2 小时

    52  MASTER_HOST = 192.168.1.170    # 设置 MFS-Master 服务器 IP 地址

    [root@localhost ~]mfsmetalogger start # 启动 MFS-Logger 服务

    [root@localhost mfs]# netstat -anutp | grep 9419

    tcp        0      0 192.168.1.250:60132    192.168.1.170:9419      ESTABLISHED 10490/mfsmetalogger

    [root@localhost mfs]# cd /usr/local/mfs/var/mfs/    #同步master元数据信息


    1、mfs-chunkserver配置

    1)添加硬盘并分区

    [root@localhost ~]# fdisk /dev/sdb

    [root@localhost ~]# mkfs.ext4 /dev/sdb1  #格式化分区

    [root@localhost ~]# mkdir /mfs          #创建挂载点

    [root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

    [root@localhost mfs]# chown -R mfs.mfs /mfs

    [root@localhost ~]# mount /dev/sdb1 /mfs

    [root@localhost mfs]# chown -R mfs.mfs /mfs

    2)mfs-chunkserver配置

    [root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel -y

    [root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

    [root@localhost ~]#cd moosefs-3.0.115/

    [root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

    [root@localhost moosefs-3.0.115]#make -j 4 && make install

    [root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

    [root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

    [root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

    [root@localhost ~]# chmod a+x /usr/local/mfs/bin/*

    [root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*

    [root@localhost ~]# cd /usr/local/mfs/etc/mfs/

    2、拷贝Chunkserver配置文件

    [root@localhost mfs]# cp mfschunkserver.cfg.sample mfschunkserver.cfg # 拷贝 Chunkserver 配置文件

    [root@localhost mfs]# vim mfschunkserver.cfg

    33 # HDD_CONF_FILENAME = /usr/local/mfs/etc/mfs/mfshdd.cfg        #指定提供存储的配置文件位置

    90  MASTER_HOST = 192.168.1.170              #指定 MFS-Master 服务器地址

    93 MASTER_PORT = 9420                        #指定 MFS-Master 服务器端口

    [root@localhost mfs]# cp -a mfshdd.cfg.sample mfshdd.cfg

    [root@localhost mfs]#vim /usr/local/mfs/etc/mfs/mfshdd.cfg # 修改 MFS 服务 HDD 路径

    /mfs      #最后一行插入挂在点

    [root@localhost mfs]mfschunkserver start # 启动 MFSChunkserver

    [root@localhost mfs]# netstat -anutp | grep 9422

    tcp        0      0 0.0.0.0:9422            0.0.0.0:*              LISTEN      6385/mfschunkserver

    http://192.168.1.170:9425/查看mfs-chunkserver磁盘信息


    mfs-client配置

    [root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel –y

    [root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

    [root@localhost ~]#cd moosefs-3.0.115/

    [root@localhost ~]./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs--disable-mfsmaster --disable-mfschunkserver

    [root@localhost ~]make && make install

    [root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

    [root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

    [root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

    [root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

    [root@localhost moosefs-3.0.115]mkdir /mnt/mfsclient    #创建挂载点

    [root@localhost moosefs-3.0.115]mfsmount /mnt/mfsclient/ -H 192.168.1.170  #挂载

    [root@localhost mfsclient]cd /mnt/mfsclient

    [root@localhost mfsclient]touch a.txt

    [root@localhost mfsclient]mfsfileinfo a.txt

    a.txt:

    chunk 0: 0000000000000002_00000001 / (id:2 ver:1)

    copy 1: 192.168.1.189:9422 (status:VALID)            #数据存放信息

    1)mfs-client误删除处理,垃圾回收站机制

    [root@localhost back]# mkdir /back

    [root@localhost back]# cd /back

    [root@localhost back]# mfsmount -m /back -H 192.168.1.170

    [root@localhost back]# cd trash

    [root@localhost trash]# yum install tree -y

    [root@localhost trash]# tree . >> /root/a.txt      #tree . 定位删除文件目录 /root/a.txt

    [root@localhost trash]# mv 007/00000007\|a.txt /back/trash/undel/

    mfsgettrashtime 64800 /mnt/mfs/a.txt 设置保存时间

    mfssettrashtime 64800 /mnt/mfs/a.txt 设置保存时间

    2) 快照功能

    mkdir  /back

    chown  mfs.mfs /back

    mfsmakesnapshot a.txt /back

    cd bb/

    3)mfs-client冗余 goal 设置

    mfssetgoal 3 /mnt/mfs/test1 

    mfssetgoal  /mnt/mfs/test1

    mfsfileinfo  /mnt/mfs/test1

    4)mfs-matedata还原master

    [root@localhost ~]# cd /usr/local/mfs/var/mfs/

    [root@localhost ~]# rm -rf *  #删除master元数据信息

    scp /usr/local/mfs/var/mfs/* root@192.168.1.171:/usr/local/mfs/var/mfs/  #mfs-matedata元数据信息拷贝到mfs-master

    mfsmaster -a

    相关文章

      网友评论

          本文标题:分布式存储MFS构建

          本文链接:https://www.haomeiwen.com/subject/hwqtpltx.html