Hadoop 显示大文件上传进度技巧

作者: 大猪大猪 | 来源:发表于2018-09-06 16:05 被阅读12次

在上传大文件到hdfs中的时候，我们是无法看上传的进度的，我们可以使用pv这个命令来达到我们想要的效果，这是一个野路子，但却可以实现目的，过程不重要。

使用方法

安装pv命令

yum install pv -y

使用pv命令读取文件,通过管道交给hadoop
pv demo.tar.gz | hadoop fs -put - /tmp/

[root@log rsy]# pv demo.tar.gz | hadoop fs -put - /tmp/
17.3GiB 0:03:06 [21.7MiB/s] [================================================>                    ] 72% ETA 0:01:10

网友评论

堂哥000:[root@hadoop01 ~]# yum install pv -y
Loaded plugins: fastestmirror, refresh-packagekit, security
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.aliyun.com
* updates: mirrors.aliyun.com
Setting up Install Process
No package pv available.
Error: Nothing to do
不行啊
大猪大猪:@堂哥000 你的这个阿里云的源里面没有，你可以尝试一下其它的源