美文网首页
分布式存储MFS构建

分布式存储MFS构建

作者: mk_ | 来源:发表于2021-07-13 17:41 被阅读0次

构建环境:

mfs-master        192.168.1.170

mfs-matedata      192.168.1.171

mfs-chunkserver  192.168.1.172

mfs-chunkserver  192.168.1.173

mfs-chunkserver  192.168.1.174

mfs-client        192.168.1.175


1、mfs-master配置

[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel -y

[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

[root@localhost ~]#cd moosefs-3.0.115/

[root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

[root@localhost moosefs-3.0.115]#make -j 4 && make install

[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

[root@localhost ~]# chmod a+x /usr/local/mfs/bin/*

[root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*

[root@localhost ~]# cd /usr/local/mfs/etc/mfs/

2、启动master节点配置文件

[root@localhost mfs]# cp -a mfsmaster.cfg.sample mfsmaster.cfg  #启动master节点配置文件

[root@localhost mfs]# vim mfsmaster.cfg  #不用更改配置文件,默认即可

3、主配置配置文件说明解释:

WORKING_USER = mfs

WORKING_GROUP = mfs

SYSLOG_IDENT = mfsmaster #在 syslog 中的表示, 说明这是 mfsmaster 产生的

LOCK_MEMORY = 0  # 是否执行 mlockall()以避免 mfsmaster 内存溢出(默认为 0)

NICE_LEVEL = -19 # 运行的优先级(默认-19, 注意, 这进程必须是 root 启动 )

DATA_PATH = /usr/local/mfs/var/mfs #数据存放路径,该目录下有三大类文件

changelog,sessions,stats

EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg #被挂载目录以及其权限控制文件的存放位置

BACK_LOGS = 50 #元数据的改变日志文件数量(默认是 50)

MATOML_LISTEN_HOST = * # 元数据日志服务器监听的 IP 地址(默认是*, 代表任何 IP)

MATOML_LISTEN_PORT = 9419 # 元数据日志服务器监听的端口地址, 默认是 9419

MATOCS_LISTEN_HOST = * # 用于存储服务器(Chunk Server) 连接的 IP 地址

MATOCS_LISTEN_PORT = 9420 # 是存储服务器(Chunk server) 连接的端口地址

REPLICATIONS_DELAY_INIT = 300 # 延迟复制的时间(默认是 300)

CHUNKS_LOOP_MIN_TIME = 300 # chunks 的回环率

CHUNKS_SOFT_DEL_LIMIT = 10

CHUNKS_WRITE_REP_LIMIT = 2,1,1,4 在一个循环里复制到一个 CHUNK Server 的最大chunks

CHUNKS_READ_REP_LIMIT = 10,5,2,5

MATOCL_LISTEN_PORT = 9421

4、设置MFS 挂载权限

[root@localhost mfs]#cp -a mfsexports.cfg.sample mfsexports.cfg # 设置 MFS 挂载权限

[root@localhost mfs]# vim mfsexports.cfg

192.168.1.0/24 . rw,alldirs,maproot=0  #最后一行插入,.表示/文件系统,rw表示读写,alldirs任何目录允许挂载,maproot登录root权限

5、拷贝MFS元数据信息文件(初始)

[root@localhost ~]# cd /usr/local/mfs/var/mfs/

[root@localhost mfs]# cp metadata.mfs.empty metadata.mfs

[root@localhost mfs]# mfsmaster start # 启动 MFS-Master 服务

[root@localhost mfs]# netstat -anutp

Active Internet connections (servers and established)

Proto Recv-Q Send-Q Local Address          Foreign Address        State      PID/Program name   

tcp        0      0 0.0.0.0:9419            0.0.0.0:*              LISTEN      4694/mfsmaster     

tcp        0      0 0.0.0.0:9420            0.0.0.0:*              LISTEN      4694/mfsmaster     

tcp        0      0 0.0.0.0:9421            0.0.0.0:*              LISTEN      4694/mfsmaster

[root@localhost mfs]# pwd

/usr/local/mfs/var/mfs

[root@localhost mfs]# ls

changelog.0.mfs  metadata.mfs.back  metadata.mfs.empty  #metadata.mfs.back完整备份,changelog.0.mfs增量备份

[root@localhost mfs]# mfscgiserv    #开启web监控页面http://192.168.1.170:9425/


1、mfs-matedata配置

[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel –y

[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

[root@localhost ~]#cd moosefs-3.0.115/

[root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

[root@localhost moosefs-3.0.115]#make -j 4 && make install

[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

[root@localhost ~]# chmod a+x /usr/local/mfs/bin/*

[root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*

[root@localhost ~]# cd /usr/local/mfs/etc/mfs/

2、MFS元数据服务配置文件

[root@localhost ~]cp mfsmetalogger.cfg.sample mfsmetalogger.cfg # 拷贝 MFS元数据服务配置文件

[root@localhost ~]vim mfsmetalogger.cfg

39  META_DOWNLOAD_FREQ = 2          # 设置完整同步间隔为 2 小时

52  MASTER_HOST = 192.168.1.170    # 设置 MFS-Master 服务器 IP 地址

[root@localhost ~]mfsmetalogger start # 启动 MFS-Logger 服务

[root@localhost mfs]# netstat -anutp | grep 9419

tcp        0      0 192.168.1.250:60132    192.168.1.170:9419      ESTABLISHED 10490/mfsmetalogger

[root@localhost mfs]# cd /usr/local/mfs/var/mfs/    #同步master元数据信息


1、mfs-chunkserver配置

1)添加硬盘并分区

[root@localhost ~]# fdisk /dev/sdb

[root@localhost ~]# mkfs.ext4 /dev/sdb1  #格式化分区

[root@localhost ~]# mkdir /mfs          #创建挂载点

[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

[root@localhost mfs]# chown -R mfs.mfs /mfs

[root@localhost ~]# mount /dev/sdb1 /mfs

[root@localhost mfs]# chown -R mfs.mfs /mfs

2)mfs-chunkserver配置

[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel -y

[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

[root@localhost ~]#cd moosefs-3.0.115/

[root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

[root@localhost moosefs-3.0.115]#make -j 4 && make install

[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

[root@localhost ~]# chmod a+x /usr/local/mfs/bin/*

[root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*

[root@localhost ~]# cd /usr/local/mfs/etc/mfs/

2、拷贝Chunkserver配置文件

[root@localhost mfs]# cp mfschunkserver.cfg.sample mfschunkserver.cfg # 拷贝 Chunkserver 配置文件

[root@localhost mfs]# vim mfschunkserver.cfg

33 # HDD_CONF_FILENAME = /usr/local/mfs/etc/mfs/mfshdd.cfg        #指定提供存储的配置文件位置

90  MASTER_HOST = 192.168.1.170              #指定 MFS-Master 服务器地址

93 MASTER_PORT = 9420                        #指定 MFS-Master 服务器端口

[root@localhost mfs]# cp -a mfshdd.cfg.sample mfshdd.cfg

[root@localhost mfs]#vim /usr/local/mfs/etc/mfs/mfshdd.cfg # 修改 MFS 服务 HDD 路径

/mfs      #最后一行插入挂在点

[root@localhost mfs]mfschunkserver start # 启动 MFSChunkserver

[root@localhost mfs]# netstat -anutp | grep 9422

tcp        0      0 0.0.0.0:9422            0.0.0.0:*              LISTEN      6385/mfschunkserver

http://192.168.1.170:9425/查看mfs-chunkserver磁盘信息


mfs-client配置

[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel –y

[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

[root@localhost ~]#cd moosefs-3.0.115/

[root@localhost ~]./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs--disable-mfsmaster --disable-mfschunkserver

[root@localhost ~]make && make install

[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

[root@localhost moosefs-3.0.115]mkdir /mnt/mfsclient    #创建挂载点

[root@localhost moosefs-3.0.115]mfsmount /mnt/mfsclient/ -H 192.168.1.170  #挂载

[root@localhost mfsclient]cd /mnt/mfsclient

[root@localhost mfsclient]touch a.txt

[root@localhost mfsclient]mfsfileinfo a.txt

a.txt:

chunk 0: 0000000000000002_00000001 / (id:2 ver:1)

copy 1: 192.168.1.189:9422 (status:VALID)            #数据存放信息

1)mfs-client误删除处理,垃圾回收站机制

[root@localhost back]# mkdir /back

[root@localhost back]# cd /back

[root@localhost back]# mfsmount -m /back -H 192.168.1.170

[root@localhost back]# cd trash

[root@localhost trash]# yum install tree -y

[root@localhost trash]# tree . >> /root/a.txt      #tree . 定位删除文件目录 /root/a.txt

[root@localhost trash]# mv 007/00000007\|a.txt /back/trash/undel/

mfsgettrashtime 64800 /mnt/mfs/a.txt 设置保存时间

mfssettrashtime 64800 /mnt/mfs/a.txt 设置保存时间

2) 快照功能

mkdir  /back

chown  mfs.mfs /back

mfsmakesnapshot a.txt /back

cd bb/

3)mfs-client冗余 goal 设置

mfssetgoal 3 /mnt/mfs/test1 

mfssetgoal  /mnt/mfs/test1

mfsfileinfo  /mnt/mfs/test1

4)mfs-matedata还原master

[root@localhost ~]# cd /usr/local/mfs/var/mfs/

[root@localhost ~]# rm -rf *  #删除master元数据信息

scp /usr/local/mfs/var/mfs/* root@192.168.1.171:/usr/local/mfs/var/mfs/  #mfs-matedata元数据信息拷贝到mfs-master

mfsmaster -a

相关文章

  • 分布式存储MFS构建

    构建环境: mfs-master 192.168.1.170 mfs-matedata 192.168....

  • 阿里云表格存储产品优势及应用场景

    表格存储(Table Store)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务,根据99.99%...

  • 阿里云表格存储使用教程

    课程链接:阿里云表格存储使用教程 表格存储(Table Store)是构建在阿里云飞天分布式系统之上的分布式NoS...

  • Elasticsearch初识

    开源分布式搜索分析引擎, 基于Java语言开发, 采用Lucene内库构建 近实时 分布式存储, 搜索, 分析引擎...

  • mfs分布式文件系统搭建

    一、简介 MFS一般指MooseFS,分布式文件系统,比如谷歌的GFS,Apache的HDFS。 MooseFS ...

  • Elasticsearch 分布式特性

    前言 本文的主要内容: 分布式介绍及cerebro 构建集群 副本与分片 集群状态与故障转移 文档分布式存储 脑裂...

  • HBase架构与原理

    HBASE基本概念 Hbase是构建在HDFS上的分布式列存储系统,用于海量结构化数据存储 为什么需要HBASE?...

  • volume

    volume Pod的存储卷,不应该在某台Node上,而是在共享存储中(NFS,MFS)在Pod上有一个基础容器p...

  • HBase个人学习笔记

    WHAT HBase是一个构建在HDFS上的 分布式列存储系统;从逻辑上讲,HBase将数据按表、行和列进行存储,...

  • 时代在变,创新不息 区块革命 前程似锦

    WMM使用区块链技术构建去中心化医养平台,更安全存储和共享健康数据,打造开放性金融新时代 分布式数据存储、点对点...

网友评论

      本文标题:分布式存储MFS构建

      本文链接:https://www.haomeiwen.com/subject/hwqtpltx.html