命令du：统计目录/文件夹总大小
-
参数：
- -s：返回目录总大小（全拼：summary，linux和hdfs都有效）
- -b：指定单位为b（只linux有效，因为默认是kb）
- -h：以人类可读的形式（一般常用du -sh *）
-
Hdfs操作：
- 命令：hadoop fs -du -s [hadoopPath]
- 返回：hdfs目录总大小，默认单位：b
- 理解：这个目录下所有文件的大小总和
-
Linux操作
- 命令：du -sb [localPath]
- 返回：本地目录总大小，单位：-b指定字节
- 理解：这个目录的总大小（除了包含里面的所有文件大小，可能还包涵其它的）
-
区别：Linux中的du命令结果要比这个目录中所有文件的大小总和还大一点
-
比较本地和hdfs上的目录大小，hdfs上可以使用hadoop fs -du -s，Linux上可以这样做：
localFileSize = 0
for file in os.listdir(filePath):
localFileSize += os.path.getsize(filePath + file)
网友评论