原本订的最少两天一篇就要坚持，又到半夜12点了，才想起来要写一点东西，在这个时候能体会到阿里为什么要做一个技术公司了，回报社会，每个人都有这么一个阶段。废话少说，开始开车。
今天的东西很简单就是测试之前搭建的hdfs和mr
1,首先保证start-dfs.sh和start-yarn.sh这两个脚本执行成功，这个是前提
2，先从直观上认识一下hdfs，hdfs提供了一个网站可以看http://my01:50070
这个就是
点击上图按钮
点击上图按钮之后，
这里就可以看hdfs上面的东西了，好的，我们上传一个文件到hdfs上去
我将hadoop的安装包上传上去，好，到页面上看一下
刚刚上传的就成功了，这里有几个名词需要说明一下，size这个文件的大小，replication备份数量，之前配置的是1，block size这个块大小，这个版本默认128M,2.0之前默认64M,这样可以看出了一个hadoop-2.4.2.tar.gz被分成了两个块，这里多一句，谁分的呢？先告诉答案：客户端自己分的，不是hdfs分的，为什么，之后会说到
2，测试mr
hadoop安装包中有例子，这个是做程序的一个基本的意识
就在这个目录下面
运行一个pi，就是3.1415926这个东西
hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 6
解释一下上面那就命令 5--5个map
6---取样数量 取样越多执行的越接近
执行结果是3.6明显差距很大，把取样数改大看看
hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 10
明显接近了，好了，今天就到这里了，今天早早睡了
望指正，不吝赐教
网友评论