美文网首页hadoop
HDFS(二):HDFS shell命令

HDFS(二):HDFS shell命令

作者: codeMover | 来源:发表于2021-12-03 18:46 被阅读0次

    基本语法

    hadoop fs 具体命令
    hdfs dfs 具体命令
    hdfs -help rm 查看rm命令

    上传

    • -moveFromLocal 从本地文件移动到hafs,将当前目录下a.txt移动到hadoop文件夹下
      hadoop fs -moveFromLocal ./a.txt /hadoop
    • -copyFromLocal从本地文件拷贝到HDFS,将当前目录下b.txt复制到hadoop文件夹下
      hadoop fs - copyFromLoacl ./b.txts /hadoop
    • put == copyFromLocal
      hadoop fs - put ./d.txt /hadoop
    • -appendToFile追加一个文件到已经存在的文件末尾,将当前c.txt内容追加到/hadoop/a.txt
      hadoop fs -appendToFile ./c.txt /hadoop/a.txt

    下载

    • copyToLocal从HDFS拷贝到本地,将/hadoop/a.txt文件下载到被爱
      hadoop fs -copyToLocal /hadoop/a.txt ./
    • get == copyToLocal下载文件并改名
      hadoop fs -get /hadoop/a.txt ./ccc.txt

    直接操作命令

    • -ls 显示目录信息
    • -cat 显示文件内容
    • -chgrp -chmod -chown 修改文件所属权限
    • -mkdir 创建路径
    • -cp 从hdfs的一个目录拷贝到另一个目录
    • -mv 在hdfs中移动文件
    • -tail 显示一个文件的末尾1kb的数据
      hadoop fs -tail /hadoop/a.txt
    • -rm 删除文件或文件夹
    • -rm -r 递归删除
    • -du 统计文件夹大小信息
      hadoop fs -du -h -s /hadoop :文件夹总大小统计·
      hadoop fs -du -h /hadoop :文件夹下文件统计
    • -setrep 设置hdfs文件的副本数量
      hadoop fs -setrep 10 /hadoop/a.txt
      这里设置的副本数只是记录在NameNode的元数据中,是否真有这么多的副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数量增加到10时,副本数量才能达到10。

    相关文章

      网友评论

        本文标题:HDFS(二):HDFS shell命令

        本文链接:https://www.haomeiwen.com/subject/vprmxrtx.html