美文网首页
nfs文件储存系统

nfs文件储存系统

作者: 优秀砖 | 来源:发表于2019-05-22 20:07 被阅读0次

    nfs大纲

    1.nfs是干什么
    1.什么是NFS,NFS是Network File System的缩写及网络文件系统。
    2.NFS能干什么,它的主要功能是通过局域网络让不同主机系统之间可以共享文件和目录。
    和Windows网络共享很像
    windows\linux\macos
    3.为什么要使用NFS,NFS解决了什么问题?
    解决多台web静态资源的共享(所有客户端都挂载服务端,看到的数据都一样)
    解决多台web静态资源一致性(如果客户端A删除NFS服务上的test文件,客户端B上也会看不见test文件)
    解决多台web磁盘空间的浪费(有用户上传图片,就使用rsync进行一次同步)

    需要注意的问题:
    由于用户请求静态资源每次都需要web连接NFS服务获取,那么势必会带来一定的网络开销、以及网络延时、所以增加NFS服务并不能给网站带来访问速度的提升。
    如果希望对静态资源进行加速,建议将静态资源统一存放至NFS服务端,便于统一推送至CDN,以此来实现静态资源的加速。

    CDN:将源站内容分发至最接近用户的节点,使用户可就近取得所需内容,提高用户访问的响应速度和成功率。

    NFS共享存储
    分布式共享存储: glusterfs fastdfs ceph

    nfs没什么用: 为什么要学?
        1.理解什么是共享存储
        2.后面很多课程需要使用共享存储   nfs
        3.简单\容易理解\
    

    2.nfs是怎么存数据

    本地文件操作方式
    1.当用户执行mkdir命令,BashShell无法完成该命令操作,会将其翻译给内核。
    2.Kernel内核解析完成后会驱动对应的磁盘设备,完成创建目录的操作。

    NFS实现原理(需要先了解[程序|进程|线程])
    1.NFS客户端执行增、删等操作,客户端会使用不同的函数对该操作进行封装。
    2.NFS客户端会通过TCP/IP的方式传递给NFS服务端。
    3.NFS服务端接收到请求后,会先调用portmap进程进行端口映射。
    4.nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。
    5.Rpc.mount进程判断客户端是否有对应的权限进行操作。
    6.idmap进程实现用户映射和压缩。
    7.NFS服务端将客户端的函数转换为本地能执行的命令,然后将命令传递至内核,由内核驱动硬件

    注意: rpc是一个远程过程调用,那么使用nfs必须有rpc服务

    3.nfs怎么使用
    安装
    yum install nfs-utils -y #依赖rpcbind软件包
    配置
    [root@nfs ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,all_squash)

    准备共享目录
    [root@nfs ~]# mkdir /data
    [root@nfs ~]# chown -R nfsnobody.nfsnobody /data/
    
    启动
    [root@nfs ~]# systemctl start nfs-server
    [root@nfs ~]# systemctl enable nfs-server
    
    客户端测试挂载:
        [root@web01 ~]# yum install nfs-utils -y
        [root@web01 ~]# showmount -e 172.16.1.31
        Export list for 172.16.1.31:
        /data 172.16.1.0/24
        [root@web01 ~]# mount -t nfs 172.16.1.31:/data /opt
        [root@web01 ~]# df -h
    
    客户端测试写入
        [root@web01 opt]# mkdir dir
        [root@web01 opt]# ll
        total 0
        drwxr-xr-x. 2 nfsnobody nfsnobody 6 May 22 03:01 dir
    
    
    怎么判断nfs服务启动异常:
        systemctl status nfs-server
        [root@nfs ~]# cat /var/lib/nfs/etab 
            #有记录则代表共享的没问题
            #无记录则代表共享的有问题
    

    使用nfs在共享一个/data1目录,让客户端web01能通过172网段挂载到本地的/mnt目录,并能写入数据

    服务端
    [root@nfs ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,all_squash)
    /data1 172.16.1.0/24(rw,all_squash)

    [root@nfs ~]# mkdir /data1
    [root@nfs ~]# chown -R nfsnobody.nfsnobody /data1/
    [root@nfs ~]# systemctl restart nfs-server
    

    客户端
    [root@web01 ~]# showmount -e 172.16.1.31
    Export list for 172.16.1.31:
    /data1 172.16.1.0/24
    /data 172.16.1.0/24
    [root@web01 ~]# mount -t nfs 172.16.1.31:/data1 /mnt/
    [root@web01 ~]# df -h
    Filesystem Size Used Avail Use% Mounted on
    172.16.1.31:/data 37G 3.8G 34G 11% /opt
    172.16.1.31:/data1 37G 3.8G 34G 11% /mnt

    数据到底在哪?
    nfs服务器
    有人说数据就在web上面? 错误 数据始终都是在存储上面

    希望开机自启动:
    #cat /etc/fstab
    172.16.1.31:/data /opt nfs defaults 0 0

        如果当nfs故障
            开机状态: 那么客户端输入df -h 则会夯住
                解决方法: 强制卸载
                mount               #查看所有的挂载信息
                umount -lf /opt     #强制卸载
            重启系统: 会导致系统无法启动
                单用户: e  enforcing=0 init=/bin/bash   ctrl+x   
                        mount -o remount,rw /
    

    NFS配置详解

    nfs共享参数 参数作用
    rw* 读写权限
    ro 只读权限
    root_squash 当NFS客户端以root管理员访问时,映射为NFS服务器的匿名用户(不常用)
    no_root_squash 当NFS客户端以root管理员访问时,映射为NFS服务器的root管理员(不常用)
    all_squash 无论NFS客户端使用什么账户访问,均映射为NFS服务器的匿名用户(常用)
    no_all_squash 无论NFS客户端使用什么账户访问,都不进行压缩
    sync* 同时将数据写入到内存与硬盘中,保证不丢失数据
    async 优先将数据保存到内存,然后再写入硬盘;这样效率更高,但可能会丢失数据
    anonuid* 配置all_squash使用,指定NFS的用户UID,必须存在系统
    anongid* 配置all_squash使用,指定NFS的用户UID,必须存在系统

    验证: ro
    [root@nfs ~]# cat /etc/exports
    /data 172.16.1.0/24(ro,all_squash)
    [root@nfs ~]# systemctl restart nfs

    客户端测试
    [root@web01 opt]# touch file
    touch: cannot touch 'file': Read-only file system

    验证: all_squash anonuid anongid
    服务端操作
    [root@nfs ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
    [root@nfs ~]# groupadd -g 666 www
    [root@nfs ~]# useradd -u 666 -g 666 www
    [root@nfs ~]# id www
    uid=666(www) gid=666(www) groups=666(www)
    [root@nfs ~]# chown -R www.www /data
    [root@nfs ~]# systemctl restart nfs

    客户端挂载
    [root@web01 ~]# mount -t nfs 172.16.1.31:/data/ /opt
    如果客户端觉得看666属主和属组不爽,请执行 groupadd 和useradd添加一个666的用户
    [root@web01 opt]# ll
    drwxr-xr-x. 2 666 666 6 May 22 03:01 dir
    -rw-r--r--. 1 666 666 0 May 22 07:00 file

    [root@web01 opt]# groupadd -g 666 www
    [root@web01 opt]# useradd -u 666 -g 666 www

    [root@web01 opt]# ll
    drwxr-xr-x. 2 www www 6 May 22 03:01 dir
    -rw-r--r--. 1 www www 0 May 22 07:00 file

    NFS案例实践
    准备3台虚拟机服务器,并且请按照要求搭建配置NFS服务。
    NFS服务端(A)172.16.1.31
    NFS客户端(B)172.16.1.7
    NFS客户端(C)172.16.1.41
    1.在NFS服务端(A)上共享/data/w(读写rw)及/data/r(只读ro)
    2.在NFS客户端(B/C)上进行挂载测试

    服务端:

    1.配置共享
    [root@nfs ~]# cat /etc/exports
    /data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
    /data/r 172.16.1.0/24(ro,sync,all_squash,anonuid=666,anongid=666)

    2.创建共享的目录,以及用户,并进行授权
    [root@nfs ~]# mkdir /data/{r,w} -p
    [root@nfs ~]# groupadd -g 666 www
    [root@nfs ~]# useradd -u 666 -g 666 www
    [root@nfs ~]# chown -R www.www /data/r/
    [root@nfs ~]# chown -R www.www /data/w/

    3.重启服务
    [root@nfs ~]# systemctl restart nfs-server

    4.检查共享是否成功
    [root@nfs ~]# cat /var/lib/nfs/etab
    /data/r 172.16.1.0/24(ro,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=666,anongid=666,sec=sys,ro,secure,root_squash,all_squash)
    /data/w 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=666,anongid=666,sec=sys,rw,secure,root_squash,all_squash)

    客户端:
    [root@web01 ~]# mount 172.16.1.31:/data/r /opt/
    [root@web01 ~]# mount 172.16.1.31:/data/w /mnt/

    测试写:
    [root@web01 mnt]# touch file123
    [root@web01 mnt]# ls
    file123

    测试读:
    root@web01 ~]# cd /opt/
    [root@web01 opt]# ls
    [root@web01 opt]# touch file
    touch: cannot touch 'file': Read-only file system

    NFS存储总结

    1.NFS存储优点
    1.NFS简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。
    2.NFS的数据都在文件系统之上,所有数据都是能看得见。

    2.NFS存储局限
    1.存在单点故障, 如果构建高可用维护麻烦
    2.NFS数据都是明文,并不对数据做任何校验,也没有密码验证(强烈建议内网使用)。

    3.NFS应用建议
    1.生产场景应将静态数据(jpg\png\mp4\avi\css\js)尽可能放置CDN进行加速, 以此来减少后端存储压力
    2.如果没有缓存或架构、代码等,本身历史遗留问题太大,在多存储也没意义

    明天: sersync实时同步
    案例: 实现web上传视频文件,实则是写入NFS至存储,当NFS存在新的数据则会实时的复制到备份服务器
    rsync
    nfs
    sersync

    EXAMPLE
    # sample /etc/exports file
    共享什么东西 共享给谁(拥有什么权限)
    / master(rw) trusty(rw,no_root_squash)
    /projects proj*.local.domain(rw)
    /usr *.local.domain(ro) @trusted(rw)
    /home/joe pc001(rw,all_squash,anonuid=150,anongid=100)
    /pub *(ro,insecure,all_squash)
    /srv/www -sync,rw server @trusted @external(ro)
    /foo 2001:db8:9:e54::/64(rw) 192.0.2.0/24(rw)
    /build buildhost[0-9].local.domain(rw)

      Stale NFS file handle的解决方法
      https://dikar.iteye.com/blog/634862
    
    nfs错误:
        [root@web01 ~]# mount -t nfs 10.0.0.31:/data /mnt/
        mount.nfs: access denied by server while mounting 10.0.0.31:/data
        你没有权限访问我的nfs服务器
        写错了共享的目录名
    
    
    nfs已挂载:
    [root@web01 opt]# mkdir dir
    mkdir: cannot create directory 'dir': Permission denied
    
    
    nfs
    [root@web01 ~]# showmount -e 172.16.1.31
    clnt_create: RPC: Port mapper failure - Unable to receive: errno 113 (No route to host)
        建议关闭掉 firewalld
        建议关闭掉 selinux
        加入开机自启
    

    相关文章

      网友评论

          本文标题:nfs文件储存系统

          本文链接:https://www.haomeiwen.com/subject/iuwqzqtx.html