1 NFS的介绍
NFS(Network File System,网络文件系统)主要是用于在不同的计算机之间同步文件,比如在集群中的各个节点要执行相同的下载文件或者程序的操作。NFS本身没有提供信息传输的协议和功能,只是提供一个通过网络共享资料的服务。NFS在在文件或信息传递的过程依赖于RPC协议,PRC(Remote Procedure Call,远程过程调用)是能使客户端执行其他系统中程序的一种机制,所以在需要使用NFS服务的地方需要事先启动PRC协议,以保证NFS服务的顺利进行。
2 NFS的配置
2.1 计算节点命名
NFS的配置需要提供两台Linux计算机,我在macbook pro上使用VMware创建了两台Centos7的虚拟机充当两台计算机,分别重新命名为node1和node2。
# 在第一台计算机下
$ hostname node1 #临时更改计算机名称
$ hostnamectl set-hostname node1 # 重启之后更改计算机名称
# 在第二台计算机下
$ hostname node2 #临时更改计算机名称
$ hostnamectl set-hostname node2 # 重启之后更改计算机名称
2.2 修改hosts文件
为了后续过程中,使用IP地址更加方便、快捷,我推荐修改hosts文件下的DNS解析服务,将IP地址映射成主机名称,当然也可以不修改hosts文件,在后续只使用IP地址。
# 在第一台计算机下
$ ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.27.80.248 netmask 255.255.192.0 broadcast 172.27.127.255
inet6 fe80::38e9:dc35:1f30:bfc prefixlen 64 scopeid 0x20<link>
inet6 2001:da8:a801:69b2::d30 prefixlen 128 scopeid 0x0<global>
inet6 2001:da8:a801:69b2:afd:50ea:387e:a783 prefixlen 64 scopeid 0x0<global>
ether 00:0c:29:5a:b8:48 txqueuelen 1000 (Ethernet)
RX packets 8358 bytes 1151291 (1.0 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 786 bytes 183912 (179.6 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
···
# 在第二台计算机下
$ ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.27.80.247 netmask 255.255.192.0 broadcast 172.27.127.255
inet6 fe80::38e9:dc35:1f30:bfc prefixlen 64 scopeid 0x20<link>
inet6 2001:da8:a801:69b2::d30 prefixlen 128 scopeid 0x0<global>
inet6 2001:da8:a801:69b2:afd:50ea:387e:a783 prefixlen 64 scopeid 0x0<global>
ether 00:0c:29:5a:b8:48 txqueuelen 1000 (Ethernet)
RX packets 8358 bytes 1151291 (1.0 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 786 bytes 183912 (179.6 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
···
# 两台计算机分别做如下操作
$ vim /etc/hosts
# 增加以下内容
172.27.80.248 node1
172.27.80.247 node2
2.3 关闭SELinux和防火墙
SELinux(Security-Enhanced Linux) 是美国国家安全局(NSA)对于强制访问控制的实现,是 Linux历史上最杰出的新安全子系统。
- 临时关闭SELinux:
setenforce 0
- 永久关闭SELinux:修改
/etc/selinux/config
文件信息,将SELINUX的等号右端改为disabled
防火墙等安全设置是一项用于协助确保安全信息的设备,它会按照特定的规则,允许或是限制传输的数据通过。虽然说采用防火墙会保护用户数据的使用安全,但在一定程度上看会限制一些网络功能。由于CentOS 6和CentOS 7在防火墙的关闭操作上有很大区别,这里详细描述如何关闭CentOS 7的防火墙操作,CentOS 7默认使用的是firewall作为防火墙,具体关闭防火墙操作如下:
- 查看防火墙状态:
firewall-cmd --state
- 停用防火墙:
systemctl stop firewalld.service
- 禁止开机启动防火墙:
systemctl disable firewalld.service
需要注意的是,在设置NFS之前应该关闭所有节点机的SELinux和防火墙,如果没有关闭则会导致共享文件失败。
2.4 服务端配置
由于NFS提供了文件共享服务,所以需要一台计算机充当NFS服务器,另一台作为客户端进行访问或读写的操作,我这里选择node1作为服务端,node2作为客户端,以下操作均在node1节点上进行。
$ yum install -y epel-release # 更新epel源
$ yum -y install nfs-utils # 安装nfs-utils软件包,centos7默认安装
$ yum -y install rpcbind # 安装rpcbind软件包,centos7默认安装
$ vim /etc/exports
在exports文件中,编辑内容的格式为[要共享的目录] IP地址或网段号([选项],[选项],···)
选项:
- rw:表示读写操作
- sync:表示同步操作
- no_all_squash:表示远程用户不映射到nfsnobody
# 在exports文件中添加以下内容,注意IP地址和选项之间没有空格!有空格会导致,客户端不能写入!
# 请任意指定一个你想要共享的文件夹!
想要共享的文件夹 172.27.80.247(rw,sync,no_all_squash)
接下来,启动rpcbind和nfs服务,请注意一定要先启动rpcbind再启动nfs。
$ systemctl start rpcbind # 启动rpcbind服务
$ systemctl start nfs # 启动nfs服务
也可以执行开机自动启动rpcbind和nfs服务。
$ systemctl enable rpcbind.service
$ systemctl enable nfs-server.service
正常来说,执行到这里NFS服务端已经配置完毕,但是如果我们想确认下配置文件和rpcbind、nfs服务是否生效,可以执行以下操作:
$ rpcinfo -p # 确认NFS服务器是否已经启动
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 46473 status
100024 1 tcp 42960 status
100005 1 udp 20048 mountd
100005 1 tcp 20048 mountd
100005 2 udp 20048 mountd
100005 2 tcp 20048 mountd
100005 3 udp 20048 mountd
100005 3 tcp 20048 mountd
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 3 tcp 2049 nfs_acl
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 3 udp 2049 nfs_acl
100021 1 udp 37237 nlockmgr
100021 3 udp 37237 nlockmgr
100021 4 udp 37237 nlockmgr
100021 1 tcp 35824 nlockmgr
100021 3 tcp 35824 nlockmgr
100021 4 tcp 35824 nlockmgr
$ exportfs -r # 使配置文件生效
$ exportfs # 查看共享的文件和共享的客户端IP
共享的文件夹在这里显示
172.27.80.247
2.5 客户端配置
客户端配置比较简单,需要将NFS服务器上的文件夹挂载到客户端上,使用mount命令,以下操作均在node2节点上执行。
$ mount node1:共享文件夹 客户端文件夹
$ df -h # 查看node2节点上的所有挂载
最后,需要注意的一点是,在挂载完成之后,一定要重新进入挂载目录,才能实现服务端和客户端的共享!
3 后记
我在之前搭建MPI集群的时候,配置过一次NFS服务,当时没感觉有多困难,按照教程走了一遍就成功了。时隔一个月,又在搭建SLURM时,重新配了以下NFS,最后发现客户端和服务端文件不能共享???
我仔细查找了寻找了前序步骤,从host文件到rpcbind和nfs服务安装,到配置文件生效,等等···我不断的百度查找,白天黑夜,做梦里都在想着解决这个问题,无数次的失败过程中我一度以为我的研究生生涯可能要从这里结束,拿着我的行李,灰溜溜的回家···
就在破罐子破摔之时,峰回路转,我在华为的用户手册上发现了问题的所在,重新进入挂载目录!
感谢华为,感谢党,感谢祖国和人民,给我重新念书的机会!
网友评论