美文网首页大数据Hadoop大数据
利用Hadoop运行第一个程序,计算文章中不同单词数量

利用Hadoop运行第一个程序,计算文章中不同单词数量

作者: 花半唐 | 来源:发表于2018-01-20 12:44 被阅读36次

    今天通过Hadoop来运行第一个程序,来统计一篇文章中不同英文单词的个数。

    1.创建一个 t1.txt 文件夹,并将你要统计的文章粘贴进去。(这里是将txt文件创建在E盘中,跟Hadoop文件同处于一个盘)

    2.在命令提示符下 Hadoop-2.7.3\sbin 中输入 start-all.cmd 开启Hadoop服务

    3.准备输入、输出文件夹,在HDFS文件系统中创建。

    Hadoop中所有的数据都必须放在HDFS文件系统中进行处理。

    命令提示符中 Hadoop-2.7.3\sbin 下输入 hadoop fs -mkdir hdfs://localhost:9000/test/input(创建文件夹,localhost:9000为hdfs的系统目录,test和input是现在要创建的文件名)

    输入 hadoop fs -ls hdfs://localhost:9000/test/ 查看文件是否创建成功

    4.上传需要统计的 t1 文件到 hdfs://localhost:9000/test/input 上

    hadoop fs -put E:\t1.txt hdfs://localhost:9000/test/input

    5.下载https://pan.baidu.com/s/1cmBJ7S中的 wordcount.jar 到E盘中。

    wordcount.jar是Java编写的一个MapReduce计算单词数量的程序

    6. 在jar包所在的路径,执行以下命令 hadoop jar wordcount.jar hdfs://localhost:9000/test/input hdfs://localhost:9000/test/output,运行命令之后,显示如下

    7.hadoop fs -ls hdfs://localhost:9000/test/output查看结果文件

    8.hadoop fs -cat hdfs://localhost:9000/test/output/patr-r-00000查看输出结果

    9.hadoop fs -get hdfs://localhost:9000/test/output/patr-r-00000下载计算结果到本地

    相关文章

      网友评论

        本文标题:利用Hadoop运行第一个程序,计算文章中不同单词数量

        本文链接:https://www.haomeiwen.com/subject/wbftaxtx.html