美文网首页Hadoop
97.HDFS文件系统挂载

97.HDFS文件系统挂载

作者: 大勇任卷舒 | 来源:发表于2022-01-24 15:56 被阅读0次

97.1 演示环境介绍

  • CM和CDH版本:5.11.2

97.2 操作演示

  • NFS GateWay服务安装
    • 管理员账号登录CM,进入HDFS服务实例界面,添加角色实例,选择新添加的NFS GateWay服务并启动

Linux下挂载NFS文件系统

  • Fayson选择集群任意节点(ip-186-31-21-45.ap-southeast-1.compute.internal)进行NFS挂载
  • 登录186.31.21.45服务,安装NFS依赖包
[ec2-user@ip-186-31-21-45 ~]$ sudo yum -y install nfs-utils*
  • 创建本地NFS挂载目录
[ec2-user@ip-186-31-21-45 ~]$ sudo mkdir /hdfs_nfs_mount
  • 在命令行执行如下命令挂载NFS文件系统
<pre style="margin: 0px; padding: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important; color: rgb(51, 51, 51); font-size: 17px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: 0.544px; orphans: 2; text-align: justify; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial; background-color: rgb(253, 246, 227);">[ec2-user@ip-186-31-21-45 ~]$ sudo mount -t nfs -o vers=3,proto=tcp,nolock ip-186-31-26-80.ap-southeast-1.compute.internal:/ /hdfs_nfs_mount</pre>

自动挂载NFS文件系统

  • 编辑/etc/fstab文件,在文件最后行增加如下配置
<pre style="margin: 0px; padding: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important; color: rgb(51, 51, 51); font-size: 17px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: 0.544px; orphans: 2; text-align: justify; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial; background-color: rgb(253, 246, 227);">[ec2-user@ip-186-31-21-45 ~]$ sudo vim /etc/fstab #
# /etc/fstab
# Created by anaconda on Tue Oct 25 15:56:15 2016
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
# UUID=d8048d39-5ce3-4cdf-9115-416a99b36906 / xfs     defaults 0 0 ip-186-31-26-80.ap-southeast-1.compute.internal:/ /hdfs_nfs_mount nfs     defaults 0 0</pre>
  • 重启OS后查看是否挂载成功

验证NFS挂载

  • 进入/hdfs_nfs_mount目录,列出HDFS根目录下所有的文件
[ec2-user@ip-186-31-21-45 ~]$ cd /hdfs_nfs_mount/
[ec2-user@ip-186-31-21-45 hdfs_nfs_mount]$ ll
  • 使用ec2-user用户向本地文件系统/hdfs_nfs_mount/fayson目录拷贝文件
[ec2-user@ip-186-31-21-45 ~]$ cp fayson.keytab /hdfs_nfs_mount/fayson/
[ec2-user@ip-186-31-21-45 ~]$ ll /hdfs_nfs_mount/fayson/
total 28181
-rw------- 1 ec2-user 2584148964      514 Dec 27 08:39 fayson.keytab
-rw-r--r-- 1 ec2-user 2584148964 28855325 Oct  3 10:28 item.csv
[ec2-user@ip-186-31-21-45 ~]$ 
  • 查看HDFS文件系统的/fayson目录

大数据视频推荐:
腾讯课堂
CSDN
大数据语音推荐:
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通

相关文章

  • 97.HDFS文件系统挂载

    97.1 演示环境介绍 CM和CDH版本:5.11.2 97.2 操作演示 NFS GateWay服务安装管理员账...

  • CentOS7 文件系统自动挂载配置

    什么是文件系统自动挂载? 通常在使用CentOS系统时会通过挂载相应文件系统进行资源访问,例如挂载CDROM,LV...

  • linux(十八)磁盘的挂载/卸载

    挂载磁盘 注意点: 单一文件系统不应该被重复挂载在不同的挂载点 单一目录不应该重复挂载多个文件系统 作为挂载点的目...

  • 挂载和查看用户

    挂载命令 分配盘符 mount [-t 文件系统] [-o 特殊选项] 设备文件名 挂载点-t 文件系统: 加入文...

  • Linux常用命令之--挂载卸载文件系统

    挂载、卸载文件系统 mount命令 用途:挂载文件系统、ISO(ISO9660)镜像到指定文件夹格式:mount ...

  • Shell mount、umount 挂载和卸载存储介质

    mount 命令用于挂载一个文件系统,或是显示已挂载的文件系统的信息。 直接运行 mount 命令,不带任何参数,...

  • 每天一个Linux命令之umount

    umount命令用于卸载已经加载的文件系统。利用设备名或挂载点都能umount文件系统,不过最好还是通过挂载点卸载...

  • linux ext4 /opt分区调整磁盘至/home分区

    1、df -h 查看文件系统 找到需要削减磁盘空间的分区,挂载的文件系统 本文以如下挂载为例: /op...

  • 每天一个Linux命令(1)&环回文件

    使用环回文件 环回文件系统是指那些在文件中而非物理设备中创建的文件系统。我们可将这些文件作为文件系统挂载到挂载点上...

  • CentOS磁盘挂载

    CentOS 磁盘挂载步骤 1. 查看文件系统 命令查看未挂载磁盘的文件系统类型,以及哪些分区尚未被格式化 图片红...

网友评论

    本文标题:97.HDFS文件系统挂载

    本文链接:https://www.haomeiwen.com/subject/nyvwhrtx.html