美文网首页我爱编程
在CentOS7上搭建Hadoop开发环境

在CentOS7上搭建Hadoop开发环境

作者: slixiaohui | 来源:发表于2018-05-22 10:19 被阅读84次

欢迎访问我的个人博客:https://xiaohuilee.github.io/

1、下载

镜像站点mirrors:http://mirrors.shu.edu.cn/apache/hadoop/common/

分两个版本,一个是源码src.tar.gz,一个是二进制的tar.gz,我们下载后者

wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz

2、解压

tar zxvf hadoop-2.9.1.tar.gz

3、配置java

java安装文档:https://www.digitalocean.com/community/tutorials/how-to-install-java-on-centos-and-fedora#install-openjdk-8

切换使用的java版本用:

sudo alternatives --config java

java的安装路径需要小心,用whereis java命令得到的是java的可执行文件(bin)存放的位置,不是我们想要的java-openjdk的安装路径。
java-openjdk的安装路径一般是在/usr/lib/jvm/java-1.8.0-openjdk里。

打开/home/user/目录下的.bash_profile文件,将下列行添加其中

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

暂时不要关闭该文件,继续看下一步

4、配置hadoop

hadoop需要配置HADOOP_HOME环境变量,将下列行添加到.bash_profile文件中

export HADOOP_HOME=~/hadoop-2.9.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

PATH=$PATH的操作是将其他的环境变量($PATH)也加入到hadoop的寻址变量中
使环境变量配置生效使用

source .bash_profile

5、检查是否成功

cd ~
hadoop version

终端应当输出hadoop的版本信息如下:

Hadoop 2.9.1
Subversion https://github.com/apache/hadoop.git -r e30710aea4e6e55e69372929106cf119af06fd0e
Compiled by root on 2018-04-16T09:33Z
Compiled with protoc 2.5.0
From source with checksum 7d6d2b655115c6cc336d662cc2b919bd
This command was run using /home/aukuno/hadoop/hadoop-2.9.1/share/hadoop/common/hadoop-common-2.9.1.jar

6、跑个实验样本看看

mkdir input

cp etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.1.jar grep input output 'dfs[a-z.]+'

cat output/*

终端显示:

[aukuno@pythonDev hadoop-2.9.1]$ cat output/*
1       dfsadmin

执行ll output/可以看到

[aukuno@pythonDev hadoop-2.9.1]$ ll output/ 
总用量 4
-rw-r--r--. 1 aukuno aukuno 11 5月  22 10:29 part-r-00000
-rw-r--r--. 1 aukuno aukuno  0 5月  22 10:29 _SUCCESS

说明成功。

相关文章

网友评论

    本文标题:在CentOS7上搭建Hadoop开发环境

    本文链接:https://www.haomeiwen.com/subject/zyqhjftx.html