Hadoop 显示大文件上传进度技巧

作者: 大猪大猪 | 来源:发表于2018-09-06 16:05 被阅读12次

在上传大文件到hdfs中的时候,我们是无法看上传的进度的,我们可以使用pv这个命令来达到我们想要的效果,这是一个野路子,但却可以实现目的,过程不重要。

使用方法

安装pv命令

yum install pv -y

使用pv命令读取文件,通过管道交给hadoop
pv demo.tar.gz | hadoop fs -put - /tmp/

[root@log rsy]# pv demo.tar.gz | hadoop fs -put - /tmp/
17.3GiB 0:03:06 [21.7MiB/s] [================================================>                    ] 72% ETA 0:01:10

相关文章

网友评论

  • 堂哥000:[root@hadoop01 ~]# yum install pv -y
    Loaded plugins: fastestmirror, refresh-packagekit, security
    Loading mirror speeds from cached hostfile
    * base: mirrors.aliyun.com
    * extras: mirrors.aliyun.com
    * updates: mirrors.aliyun.com
    Setting up Install Process
    No package pv available.
    Error: Nothing to do
    不行啊
    大猪大猪:@堂哥000 你的这个阿里云的源里面没有,你可以尝试一下其它的源

本文标题:Hadoop 显示大文件上传进度技巧

本文链接:https://www.haomeiwen.com/subject/mopxgftx.html