NFS

image.png image.png image.png image.png

客户端不放数据，数据存放在nfs服务器上，操作系统存放在本机硬盘里

image.png

Windows里的NFS
设置——应用——程序和功能——启用和关闭Windows功能——点√：NFS管理工具和客户端——确定
Linux里的NFS
NFS：Network File System 网络文件系统，基于内核的文件系统。
用户和程序可以像访问本地文件一样访问远端系统上的文件，基于RPC实现
RPC：RemoteProcedure Call Protocol远程过程调用
NFS优势：
节省本地存储空间，将常用的数据如：home目录,
存放在一台NFS服务器上且可以通过网络访问，
那么本地终端将可以减少自身存储空间的使用

locate ext4.ko
locate nfs.ko(Kernel支持)
yum list nfs-utils(软件包)
yum info nfs-utils
rpm -ql nfs-utils
systemctl start nfs-server  (centos7)
service nfs start  (centos6)
rpcinfo -p  查看端口
rpcinfo –s  查看rpc注册程序
rpcinfo -p > nfs.log
systemctl restart nfs-server
rpcinfo -p > nfs2.log
diff nfs.log nfs2.log  重启后有的端口不同，有的端口相同

端口：2049(nfsd)，其它端口由portmap(111)分配
portmap端口映射，CentOS6开始portmap进程由rpcbind代替
相关软件包：rpcbind（必须），tcp_wrappers

centos6
ss -ntlp
chkconfig --list  (centos6)
service rpcbind status
service rpcbind stop
service nfs restart  失败
service rpcbind restart  
service nfs restart
nfs依赖rpcbind,rpcbind不启动,那么nfs就不会启动
centos7
systemctl status rpcbind
systemctl stop rpcbind
systemctl status rpcbind  状态：dead
systemctl status nfs-server
systemctl restart nfs-server  可以启动
systemctl status rpcbind  状态：running，按需启动相关服务

CentOS7不支持同一目录同时用nfs和samba共享，因为使用锁机制不同
NFS服务主要进程：
rpc.nfsd  最主要的NFS进程，管理客户端是否可登录
rpc.mountd  挂载和卸载NFS文件系统，包括权限管理
rpc.lockd  非必要，管理文件锁，避免同时写出错
rpc.statd  非必要，检查文件一致性，可修复文件
日志：/var/lib/nfs/

配置文件：
ll /etc/exports  内容为空，自己添加
ll /etc/exports.d/  此文件夹下的*.exprots文件为配置文件，自己添加
rpm -qf /etc/exports  来自于基础包：setup
rpm -ql setup  操作系统的基本包——nfs文件系统是Linux的基本服务
man exports

配置防火墙，开放NFS服务，配置NFS使用固定端口
vim /etc/sysconfig/nfs
手动添加以下3条信息：
RQUOTAD_PORT=875
LOCKD_TCPPORT=32803
LOCKD_UDPPORT=32769
去掉下面3条信息的注释：
MOUNTD_PORT=892
STATD_PORT=662
STATD_OUTGOING_PORT=2020
防火墙除开放上述端口，还需开放TCP和UDP的111和2049共4个端口
外部用，才这么干。一般都是内部用，不用到外部。

nfs服务器端 centos6
service nfs status  启动状态
service rpcbind status  启动状态
service rpcbind stop
service nfs status  仍然启动状态
nfs客户端 centos7
showmount -e 192.168.29.126  不能显示共享的文件
centos6：service rpcbind restart
centos7：showmount -e 192.168.29.126
显示：errno 111
centos6：service nfs restart
centos7：showmount -e 192.168.29.126  可以了
nfs依赖rpcbind,rpcbind不启动,那么nfs就不会启动

nfs服务器端 centos7
mkdir -p /app/nfsdir/dir{1,2}
vim /etc/exports
/app/nfsdir/dir1        *
exportfs -r  重读配置文件，并共享目录
    显示：suggest *(sync) to avoid warning  可不用管
exportfs -v  查看本机所有NFS共享
systemctl status rpcbind  状态：running
systemctl status nfs-server  状态：exited
cp /etc/fstab /app/nfsdir/dir1/f1
cp /etc/fstab /app/nfsdir/dir1/f2
nfs客户端 centos6
which showmount
rpm -qf /usr/sbin/showmount  来自nfs-utils这个包
showmount -e 192.168.29.127  显示共享的文件夹
mkdir /mnt/nfs{1,2}
ll /mnt
mount 192.168.29.127:/app/nfsdir/dir1 /mnt/nfs1
cd /mnt/nfs1
cat f1/f2  可以读
touch f3  只读权限，不能写
mount  显示rw,但是centos7上"exportfs -v"显示ro只读
umount /mnt/nfs1; df
vim /etc/fstab  使此挂载永久有效
192.168.29.127:/app/nfsdir/dir1    /mnt/nfs1  nfs defaults 0 0
mount -a  
df; mount  看是否挂载成功
reboot  
df  重启以后仍然可以看到nfs文件的挂载，原因是netfs服务
chkconfig --list  
network网络服务先于netfs服务启动
network启动后，netfs再启动，如果有网络挂载，就会进行挂载
cd /etc/rc5.d/
看到：S10network  S25netfs  network和netfs启动顺序
service netfs status
chkconfig  --list netfs
chkconfig netfs off
chkconfig  --list netfs
reboot
df  netfs服务开机自动关闭后，即使重启，nfs网络文件也无法自动挂载了
chkconfig netfs on
chkconfig  --list netfs
mount -a; df; reboot
Windows命令行
showmount -e 192.168.29.127
mount 192.168.29.127:/app/nfsdir/dir1 Y:
y:  就会进入到Y盘：/app/nfsdir/dir1
进入我的电脑，Y盘会显示为dir1，点击进入即可
del f1  拒绝
mkdir dir  介质受写入保护
centos7
ss -nt  2049端口
vim /etc/exports
/app/nfsdir/dir1        *(rw)
exportfs -v
exportfs -r
exportfs -v
Windows命令行
echo >  win10  拒绝访问
mkdir dir  拒绝访问
centos6
touch file  权限拒绝
centos7
cd /app/nfsdir/; ls
chmod 777 dir1; ll
Windows命令行
echo >  win10  ok
mkdir dir3  ok
centos6
touch file  ok
su fgq; touch file_fgq  ok
centos7
cd /app/nfsdir/dir1; ll
所建文件的属主是nfsnobody(root身份建立)或者id号(普通用户身份建立)
id nfsnobody
ll -d /app/nfsdir/dir1
chmod 755 /app/nfsdir/dir1
ll -d /app/nfsdir/dir1
setfacl -m u:nfsnobody:rwx /app/nfsdir/dir1
centos6
touch file2  ok
su fgq
touch file_fgq  不ok
以上结果是root_squash权限导致的：远程root映射为nfsnobody，普通用户就是该用户的id号
centos7
setfacl -b /app/nfsdir/dir1
chmod 777 /app/nfsdir/dir1
vim /etc/exports
/app/nfsdir/dir1        *(rw,no_root_squash)
exportfs -v
exportfs -r
exportfs -v
centos6
touch file3  ok
centos7
ll /app/nfsdir/dir1  显示file3文件是root所创
以上结果是no_root_squash权限导致的：远程root映射成root用户
centos7
chmod 755 /app/nfsdir/dir1
centos6
touch file4  ok  因为是root，所以仍然有写权限

每个条目指定目录导出到的哪些主机，及相关的权限和选项
• 默认选项：(ro,sync,root_squash,no_all_squash)
• ro,rw  只读和读写
• async  异步，数据变化后不立即写磁盘，性能高
• sync(1.0.0后为默认)  同步，数据在请求时立即写入共享
• no_all_squash(默认)  保留共享文件的UID和GID(针对普通用户)
• all_squash  所有远程用户(包括root)都变成nfsnobody
• root_squash(默认)  远程root映射为nfsnobody,UID为65534，早期版本是4294967294 (nfsnobody)
• no_root_squash  远程root映射成root用户
• anonuid和anongid  指明匿名用户映射为特定用户UID和组GID，而非nfsnobody,可配合all_squash使用

centos7
vim /etc/exports(不操作)
/app/nfsdir/dir1        *(rw,all_squash,no_root_squash)  
后两项会冲突，all_squash生效，root也变为nfsnobody
centos7
useradd -r -s /sbin/nologin nfsuser
id nfsuser
chmod 777 /app/nfsdir/dir1
vim /etc/exports
/app/nfsdir/dir1        *(rw,no_root_squash,all_squash,anonuid=989,anongid=984)
exportfs -r
exportfs -v
centos6
root: touch file5  ok  
fgq:  touch file6  ok  
Windows命令行
echo >  win10-2 
centos7
ll /app/nfsdir/dir1  都是nfsuser(989,984),注意uid和gid不等
nfs客户端 centos7-3
showmount -e 192.168.29.127  
mkdir /mnt/nfs{1,2}
ll /mnt
mount 192.168.29.127:/app/nfsdir/dir1 /mnt/nfs1
cd /mnt/nfs1
vim f1  同时更改
centos6
cd /mnt/nfs1
vim f1  可以同时更改
centos7-3：while true;do echo 777 > f1 ;sleep 0.5;done
centos6：while true;do echo 666 > f1 ;sleep 0.5;done
centos7：tail -f /app/nfsdir/dir1/f1
容易损坏文件，最好只能一个人可写

centos7
vim /etc/exports
/app/nfsdir/dir1        *(rw)  192.168.29.126(ro)
exportfs -r
exportfs -v
centos6
touch /mnt/nfs1/f8  no  只读
centos7-3
touch /mnt/nfs1/f8  ok

centos7
vim /etc/exports
/app/nfsdir/dir1        192.168.29.0/16(ro)  192.168.29.126(rw)
exportfs -r
exportfs -v
centos7-3
touch /mnt/nfs1/f9  no  只读
centos6
touch /mnt/nfs1/f9  ok

centos7
vim /etc/exports.d/f1.exports  权限写在专门的配置文件里也可以
/app/nfsdir/dir1        192.168.29.0/16(rw)  192.168.29.126(ro)
> /etc/exports
exportfs -r
exportfs -v
centos6
touch /mnt/nfs1/f10  no  只读
centos7-3
touch /mnt/nfs1/f10  ok
centos7：
exportfs -au  停止本机所有共享
exportfs -v  没有信息显示
centos7-3/centos6：showmount -e 192.168.29.127  没有共享文件可以获得
centos7：
exportfs -a  输出本机所有共享
exportfs -v  显示信息
centos7-3/centos6：showmount -e 192.168.29.127  可以获得共享文件

centos5
showmount -e 192.168.29.127
mkdir /mnt/nfs1
mount 192.168.29.127:/app/nfsdir/dir1 /mnt/nfs1
df
mount; cat /proc/mounts  显示版本是3
centos6
mount  显示版本是4
mount 192.168.29.127:/app/nfsdir/dir1 /mnt/nfs1 -o vers=3(要求3，默认是4，rhce考题)
mount  显示版本是3

centos7
xshell：ifdown ens33  断网
图形：ifup ens33  连网
centos6
umount /mnt/nfs1
mount -o bg 192.168.29.127:/app/nfsdir/dir1 /mnt/nfs1  后台运行，前台继续操作
ps aux |grep mount
df——连网——df

客户端NFS挂载：基于安全考虑，建议使用nosuid,nodev,noexec挂载选项
NFS相关的挂载选项：
  fg（默认）  前台挂载，  bg  后台挂载
  hard（默认）  持续请求，  soft  非持续请求
  intr和hard配合，请求可中断
  rsize和wsize  一次读和写数据最大字节数，rsize=32768
  _netdev  无网络不挂载
mount -o rw,nosuid,fg,hard,intr 172.16.0.1:/testdir /mnt/nfs/

客户端NFS：自动挂载
/dev/cdrom 挂载至 /mount/cdrom
相对路径
把挂载点分为2部分：目录名和基名
/etc/auto.master  autofs的主配置文件
    dirname  /etc/子配置文件
    /mount
/etc/子配置文件
    basename
    cdrom  :/dev/sr0
centos6
ls /misc/cd 
cd /net
ls 192.168.29.127/app/nfsdir/dir1/
df  发现/mnt/nfs1和/net都有挂载
把光盘挂载至/mount/cdrom
rpm -ql autofs
vim /etc/auto.master
/mount  /etc/automount
vim /etc/automount
cdrom  -fstype=iso9660(可省)  :/dev/sr0(or /dev/cdrom)
或者
*  -fstype=iso9660  :/dev/&  *和&相同的名字：cdrom
service autofs restart
ls /mount  存在
ls /mount/cdrom  出现光盘内容
把 192.168.29.127:/app/nfsdir/dir1/ 挂载至 /mount/nfs
showmount -e 192.168.29.127
vim /etc/automount  
nfs  -fstype=nfs  192.168.29.127:/app/nfsdir/dir1/
没有更改主配置文件，所以不用重新加载配置文件
ls /mount/nfs  挂载成功
df
把/dev/sr0挂载至/mnt/cdrom
vim /etc/auto.master
/mnt  /etc/abc
vim /etc/abc
cdrom  :/dev/sr0
service autofs restart
ls /mount/cdrom  出错，文件不存在，原先的nfs文件也没有了
同理：在centos5上把 192.168.29.127:/app/nfsdir/dir1/ 挂载至/nfs 也不会成功

解决办法：绝对路径
/etc/auto.master  autofs的主配置文件
    /-  /etc/子配置文件(完全由子配置文件管理) 
/etc/子配置文件
    /fullpath  :/dev/sr0
把/dev/sr0挂载至/mnt/cdrom
umount /mnt/nfs1
vim /etc/auto.master
    /-      /etc/automount
vim /etc/automount
/mnt/cdrom      -fstype=iso9660 :/dev/cdrom
/mnt/nfs1       -fstype=nfs     192.168.29.127:/app/nfsdir/dir1
service autofs restart
ls /mnt/cdrom
ls /mnt/nfs1
df  挂载成功
把需要挂载的文件放到一个文件里/etc/automount就OK了，易于管理

image.png

ISCSI协议：SAN服务器，提供物理磁盘，存储数据，走网络，由客户端管理磁盘

nfs协议：nfs服务器，提供数据，由nfs服务器管理数据

A
user1  /home/user1
user2  /home/user2
user1,user2进入家目录是进入到NFS服务器/app/homedir/user1,user2里面
B
NFS
/app/homedir/user1,user2

nfs服务器端  centos7
mkdir  /app/homedir
useradd -u 6000 -d /app/homedir/user1 -s /sbin/nologin user1
useradd -u 6001 -d /app/homedir/user2 -s /sbin/nologin user2
ll /app/homedir
vim /etc/exports
/app/homedir/       192.168.29.126(rw)
systemctl start nfs-server  
exportfs -v  
cp /etc/fstab /app/homedir/user1/user1.txt
cp /etc/fstab /app/homedir/user2/user2.txt
nfs客户端 centos6
showmount -e 192.168.29.127  
useradd -u 6000 user1  id和centos7的user1相同，所建文件即id属主
useradd -u 6001 user2  不建立家目录，因为挂载之后，此目录就没用了
vim /etc/auto.master  绝对路径挂载
    /-    /etc/nfsauto
vim /etc/nfsauto
    /home/user1    -fstype=nfs,vers=3  192.168.29.127:/app/homedir/user1
    /home/user2    -fstype=nfs,vers=3  192.168.29.127:/app/homedir/user2
service autofs restart
su - user1; pwd; ls; df  ok
exit
su - user2; pwd; ls; df; touch user21.txt; ll  ok
vim /etc/auto.master  相对对路径挂载
    /home    /etc/nfsauto
vim /etc/nfsauto
    *    -fstype=nfs  192.168.29.127:/app/homedir/&
service autofs restart
su - user1; pwd; ls; df  ok
su - user2; pwd; ls; df; touch user21.txt; ll  ok

实现NFS伪根
NFS服务器  centos7
mkdir /app/{read,write}
vim /etc/exports
/app  *(fsid=0,rw,crossmnt)
/app/read  *(ro)
/app/write  *(rw)
exportfs -r
exportfs -v
setfacl -m u:nfsnobody:rwx /app/write  (或者  chmod 777 /app/write)
NFS客户端  centos6
mkdir /mnt/nfsdir
mount 192.168.29.127:/ /mnt/nfsdir
df
cd /mnt/nfsdir; ls
touch read/file_read  readonly
touch write/file_write  root可以，普通用户no(centos7使用777权限，root和普通用户都OK)