美文网首页
HDFS操作命令总结

HDFS操作命令总结

作者: 码戈 | 来源:发表于2018-04-27 14:04 被阅读0次

bin/hadoop  fs   ==   sbin/hdfs  dfs  (这两个开头都可以,基本一样)

打开namenode,datanode

$sbin/start-dfs.sh (启动配置好的hdfs所有节点服务)

打开yarn

$sbin/start-yarn.sh   (启动配置好的yarn所有节点服务)

打开日志服务

$sbin/mr-jobhistory-daemon.sh   start  historyserver

在hdfs内创建上传和输出文件(可在50070下查看,忘记截图就算了)

$bin/hdfs dfs -mkdir -p  /user/hadoop/data

$bin/hdfs dfs -mkdir -p  /user/hadoop/output/

上传文件(bin/hdfs dfs -put  文件地址   hdfs地址)

$bin/hdfs dfs -put  /home/data/h.txt   /user/hadoop/data/

运行wordcount(输出目录需新建)

$bin/yarn  jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar    wordcount  /user/hadoop/data/h.txt    /user/hadoop/output/01

查看输出结果(part* ----只有一个开头为part的文件,所以直接显示全部)

$bin/hdfs dfs -text  /user/hadoop/output/01/part*

界面显示的全都忘记截图了,尴尬如你我他(localhost:50070)(localhost:8088)

千万记得关闭!!!

$sbin/stop-yarn.sh 

$sbin/stop-dfs.sh

$sbin/m-jobhistory-daemon.sh start historyserver

$jps (查看hdfs是否全部关闭)


相关文章

网友评论

      本文标题:HDFS操作命令总结

      本文链接:https://www.haomeiwen.com/subject/sdvblftx.html