启动Hadoop
前置准备:
- 安装JDK
『 Hadoop』从零安装第一弹 - 简书
http://www.jianshu.com/p/5b334ecc335c - 安装Hadoop
『 Hadoop』从零安装第二弹 - 简书
http://www.jianshu.com/p/12debc5f1da2
- 进入到 ~/software/hadoop/hadoop-2.6.0/etc/hadoop目录
$ cd ~/software/hadoop/hadoop-2.6.0/etc/hadoop
- 编辑hadoop-env.sh文件,修改参数信息
$ sudo gedit hadoop-env.sh
- 测试Hadoop环境可用性
$ hadoop
使用hadoop的本地单独模式
例子说明:一个计数的例子
使用hadoop自带的hadoop-mapreduce-examples-2.6.0.jar
对某目录下的文档进行单词数的统计
- 执行命令
$ cd ~/software/hadoop
$ mkdir input - 把hadoop目录下的所有尾缀为xml的文件拷贝到input文件夹下
$ cp $HADOOP_HOME/etc/hadoop/.xml input/* -
等待几分钟运行
-
执行的结果
-
查看输出的结果
至此成功启动hadoop!
实力分析下例子
$hadoop jar 执行jar包
然后加上jar包的路径
grep是一个自定义类!!不是原本Linux的命令
传入3个参数到grep类,第一个参数是输入文件夹,第二个是输出的文件夹,第三是正则表达式的查询规则 (此时路径是相对路径)
正则表达式要查找的是以dfs开头的任意长度的字符串
结果是只有一个,即dfsadmin
网友评论