前言
我们可以执行Hadoop包里自带的jar包, 验证我们Hadoop环境是否真正的安装成功了, wordcount是Hadoop环境一个经典的实例
一. 启动Hadoop服务
在终端执行下面的代码
start-all.sh 或者
start-dfs.sh 和 start-yarn.sh
二. 创建一个测试的文件
�随便创建一个txt文件 如图1
图1
hdfs dfs -mkdir /input
hdfs dfs -put /Users/wjl/Desktop/test.txt /input
hadoop jar /Users/wjl/tools/hadoop-2.7.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /input/test.txt /output
等待一段时间可以看到 如图2 表示执行成功
图2
执行
hdfs dfs -ls /output 可以看到 如图3
图3
执行
hdfs dfs -cat /output/part-r-00000 即可看到wordcount实例的执行结果 如图4
图4
以上就是wordcount的实例的执行过程, 在这个过程中, 我们可以发现每个执行命令后,都会有一个相同的警告如下
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
这是由于系统库和本地库不一致导致的警告, 这个警告可以暂时忽略, 不会影响调试, 等笔者找到消除警告的方法, 会再完善文章的.
网友评论