美文网首页hadoop
HDFS(二):HDFS shell命令

HDFS(二):HDFS shell命令

作者: codeMover | 来源:发表于2021-12-03 18:46 被阅读0次

基本语法

hadoop fs 具体命令
hdfs dfs 具体命令
hdfs -help rm 查看rm命令

上传

  • -moveFromLocal 从本地文件移动到hafs,将当前目录下a.txt移动到hadoop文件夹下
    hadoop fs -moveFromLocal ./a.txt /hadoop
  • -copyFromLocal从本地文件拷贝到HDFS,将当前目录下b.txt复制到hadoop文件夹下
    hadoop fs - copyFromLoacl ./b.txts /hadoop
  • put == copyFromLocal
    hadoop fs - put ./d.txt /hadoop
  • -appendToFile追加一个文件到已经存在的文件末尾,将当前c.txt内容追加到/hadoop/a.txt
    hadoop fs -appendToFile ./c.txt /hadoop/a.txt

下载

  • copyToLocal从HDFS拷贝到本地,将/hadoop/a.txt文件下载到被爱
    hadoop fs -copyToLocal /hadoop/a.txt ./
  • get == copyToLocal下载文件并改名
    hadoop fs -get /hadoop/a.txt ./ccc.txt

直接操作命令

  • -ls 显示目录信息
  • -cat 显示文件内容
  • -chgrp -chmod -chown 修改文件所属权限
  • -mkdir 创建路径
  • -cp 从hdfs的一个目录拷贝到另一个目录
  • -mv 在hdfs中移动文件
  • -tail 显示一个文件的末尾1kb的数据
    hadoop fs -tail /hadoop/a.txt
  • -rm 删除文件或文件夹
  • -rm -r 递归删除
  • -du 统计文件夹大小信息
    hadoop fs -du -h -s /hadoop :文件夹总大小统计·
    hadoop fs -du -h /hadoop :文件夹下文件统计
  • -setrep 设置hdfs文件的副本数量
    hadoop fs -setrep 10 /hadoop/a.txt
    这里设置的副本数只是记录在NameNode的元数据中,是否真有这么多的副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数量增加到10时,副本数量才能达到10。

相关文章

网友评论

    本文标题:HDFS(二):HDFS shell命令

    本文链接:https://www.haomeiwen.com/subject/vprmxrtx.html