美文网首页
Hadoop二:Hadoop shell命令

Hadoop二:Hadoop shell命令

作者: 如果仲有听日 | 来源:发表于2018-06-07 14:53 被阅读0次

    1. Hadoop HDFS文件目录

    总目录:就是core-site.xml中配置的hadoop.tmp.dir目录,我配的是:/kluter/hdpTmpDir

    文件data目录:/kluter/hdpTmpDir/dfs/data/current/BP-17034281-10.10.77.194-1528264430557/current/finalized/subdir0/subdir0

    2. 文件上传

    hadoop的网页界面:http://10.10.77.194:50070中的文件查看工具界面,只能查看、下载文件,而不能上传文件,所以要使用hadoop命令才能上传

    命令行:#hadoop fs -put test.txt /

    ps:文件超过128MB,hdfs会切分存放,因为配置文件中默认blocksize是128MB,可以在hdfs-site.xml中配置dfs.blocksize参数中修改

    3. 查看文件目录中的文件

    3.1 网页界面查看

    查看上传成功的文件

    3.2 命令行查看

    #hadoop fs -ls /

    命令行查看

    3.3 查看内容

    #hadoop fs -cat /test.txt

    3.4 下载HDFS中的文件

    #hadoop fs -ls /

    #hadoop fs -get /test.txt

    转hadoop常用命令及参数介绍:https://blog.csdn.net/wangxizhen123/article/details/73359157

    相关文章

      网友评论

          本文标题:Hadoop二:Hadoop shell命令

          本文链接:https://www.haomeiwen.com/subject/cxpwsftx.html