hadoop 基础笔记
hdfs
| 命令 |
说明 |
| sbin/start-dfs.sh |
开启HDFS：运行 NameNode daemon和 DataNode daemon |
| jps |
查看所有正在运行的节点 |
| sbin/stop-dfs.sh |
停止HDFS |
hadoop shell的基本操作
| 命令 |
说明 |
| hadoop fs -ls / |
查看路径下的内容 |
| hadoop fs -mkdir /test |
新建文件夹test |
| hadoop fs -mkdir -R /test/a/b |
新建嵌套目录 |
| hadoop fs -put hello.txt /test/a/b/newname.txt |
将本地的hello.txt 放在hadoop的/test/a/b/路径下并重命名为newname.txt |
| hadoop fs -cat /test/a/b/newname.txt |
查看文件内容 |
| hadoop fs -get /test/a/b/newname.txt |
从HDFS上下载文件到本地 |
| hadoop fs -rm /hello.txt |
删除HDFS上的文件 |
| hadoop fs -rmdir xx |
删除HDFS上的空文件夹 |
Yarn
hadoopx.xx/share/hadoop/mapreduce
| 命令 |
说明 |
| sbin/start-yarn.sh |
开启YARN：运行ResourceManager daemon和NodeManager daemon |
| hadoop jar jarFile [mainClass] args |
执行jarFile这个jar中的mainClass这个类 |
| hadoop jar …examples…jar wordcount (input file) (output path) |
运行wordcount程序，输入文件为inputfile，输出路径为output path |
| hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount /test/a/b/newname.txt test/a/b/output |
本文标题：hadoop 基础笔记
本文链接：https://www.haomeiwen.com/subject/qhallqtx.html
网友评论