hadoop集群的基准测试

* 以下命令均是在centos7使用root用户操作，使用的是hadoop官方提供的两个小程序来对前面搭建的hadoop集群进行测试

①：wordcount测试

1. 首先本地编辑一个文件1.txt

vim 1.txt

随便写一些东西，保存

2. 然后在hdfs上建一个input文件夹

hadoop fs -mkdir /input

使用

hadoop fs -ls /

查看是否创建成功

创建目录.png

3. 使用put命令将之前编辑的1.txt上传到hdfs上面

hadoop fs -put 1.txt /input/

4.使用wordcount
hadoop中包含很多小程序都放置在hadoop/share/hadoopmapreduce文件夹下的
hadoop-mapreduce-examples-2.7.2.jar 中，我们使用该文件来测试
执行下面命令

hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /input/1.txt /output/

输入为刚才编辑的1.txt，输出为/output/part-r-00000
运行完成后使用cat命令查看

hadoop fs -cat /output/part-r-00000

_wordcount.png

②：计算圆周率的大小
直接运行测试

 hadoop jar hadoop-mapreduce-examples-2.7.2.jar pi 20 20

5@0U8~)IKPQ7BP16N)5VE9V.png

当输入的数字越大，计算越精确