以wordcount 为例子, 展示在hdp平台上使用mapreduce
1. 上传数据到HDFS
上传一个文本文件到hdfs 的input文件夹下
本文上传了一个http通信过程的文本文件
上传数据2. 终端运行hadoop mapreduce
由于hdp没有mapreduce的命令终端, 所以这是进入终端执行hadoop命令
hadoop jar /usr/hdp/2.6.0.3-8/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount input output
命令解释 jar 后, 指定wordcount的jar包位置, wordcount指定运行函数
网友评论