美文网首页大数据学习Hadoop大数据
hadoop学习---运行第一个hadoop实例

hadoop学习---运行第一个hadoop实例

作者: Alukar | 来源:发表于2018-05-08 20:21 被阅读27次

    hadoop环境搭建好后,运行第wordcount示例

    1.首先启动hadoop:sbin/start-dfs.sh,sbin/start-yarn.sh(必须能够正常运行)

    2.进入到hadoop的安装目录下(我的是/usr/hadoop)

    3.新建hadoop hdfs文件系统上的input文件夹(输入文件存放):hadoop fs -mkdir /input

    4.传入测试文件:hadoop fs -put test.txt /input (这里我是在hadoop安转目录建了一个test.txt文件)

    查看刚刚传入的文件:hadoop fs -ls /input

    5.运行wordcount示例:hadoop jar/usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jarwordcount /input /output (下划线具体路径自己调整)。

    运行后的首尾截图:

    6.运行成功后,查看目录:hadoop fs -ls / 多了一个output文件夹

    继续查看 output 文件夹:hadoop fs -ls /output

    有 _SUCCESS 和part-r-00000两个文件夹

    7.查看part-r-00000 文件夹中的运行结果:hadoop fs -cat /output/part-r-00000

    8.访问50070端口也可查看 ,输入master的ip 访问:http://192.168.184.131:50070

    进入input文件夹就可看到上传的test.txt文件

                                                                                 长按识别关注我们,每天都有精彩内容分享哦!~

    相关文章

      网友评论

        本文标题:hadoop学习---运行第一个hadoop实例

        本文链接:https://www.haomeiwen.com/subject/mbowrftx.html