hadoop常用命令

1--hadoop dfsadmin -report/-refreshNodes
2--hadoop balancer -threshold 5
3--distcp hdfs-hftp://had-0:8020-50070 url2 -i,-overwrite,-update
4--fsck -blocks -files
5--fs du,cat,text
6--hadoop job -list/-kill jobid/-killtask -taskid
7--编译libfs
fuse -hadoop-fuse-dfs dfs:// <local-dir>
Hadoop对处理单个大文件比处理多个小文件更有效率，另外单个文件也非常占用HDFS的存储空间。所以往往要将其合并起来。
1，getmerge
hadoop有一个命令行工具getmerge，用于将一组HDFS上的文件复制到本地计算机以前进行合并
参考：http://hadoop.apache.org/common/docs/r0.19.2/cn/hdfs_shell.html
使用方法：hadoop fs -getmerge <src> <localdst> [addnl]
接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。
多嘴几句：调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。
--上传文件
nohup ~/line/soft/hadoop/CDH-5.3.2-1.cdh5.3.2.p0.10/bin/hadoop --config ~/line/soft/hadoop/CDH-5.3.2-1.cdh5.3.2.p0.10/bin/hadoop-conf/ fs -put ~/db /user/dub/tmp/ > upload.log.201503261122 &