前言
我们小组的做的内容是在Docker上搭建Hadoop，并统计文件指定字符数量，我在CentOS云服务器上进行这个实验，由于服务器资源有限，最后我在本地Macbook上完成了这个实验
服务器配置：CentOS 7.2 64 位
本地主机：MacBook Pro 13.3 MacOS 10.12
一、搭建Docker环境
1.1 安装Docker
首先安装Docker必要安装包，使用命令：
yum install -y yum-utils device-mapper-persistent-data lvm2
图片.png
由于系统自带的yum没有Docker-CE，所以我们要先增加Docker repo仓库，使用命令：
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
图片.png
使用 yum 安装 Docker：
yum install -y docker-ce
图片.png
安装成功后，查看Docker版本
docker -v
启动Docker
service docker start
设置开机启动
chkconfig docker on
图片.png
1.2 配置Docker
因为国内访问 Docker Hub 较慢, 所以我使用腾讯云提供的国内镜像源, 加速访问 Docker Hub，依次使用命令：
echo "OPTIONS='--registry-mirror=https://mirror.ccs.tencentyun.com'" >> /etc/sysconfig/docker
systemctl daemon-reload
service docker restart
1.3 测试Docker
拉取镜像到服务器本地
docker pull centos
下载好的镜像就会出现在镜像列表里
docker images
图片.png
这时我们可以在刚才下载的 CentOS 镜像生成的容器内操作了。
生成一个 centos 镜像为模板的容器并使用 bash shell
docker run -it centos /bin/bash
这个时候可以看到命令行的前端已经变成了 [root@(一串 hash Id)] 的形式, 这说明我们已经成功进入了 CentOS 容器。
图片.png
在容器内执行任意命令, 不会影响到宿主机, 如下
mkdir -p /data/simple_docker
可以看到 /data 目录下已经创建成功了 simple_docker 文件夹,
ls /data
退出容器
exit
查看宿主机的 /data 目录, 并没有 simple_docker 文件夹, 说明容器内的操作不会影响到宿主机
ls /data
图片.png
以上说明我的Docker可以正常工作；
二、使用Hadoop
2.1.拉取Hadoop集群镜像
镜像是 Docker 的核心，可以通过从远程拉取镜像即可配置好我们所需要的环境，我们这次需要的是 Hadoop 集群的镜像。我直接使用kiwenlau的 Hadoop 集群镜像以及其配置：
sudo docker pull kiwenlau/hadoop:1.0
拉取镜像完成
图片.png
2.2 克隆仓库到当前文件夹
首先安装一下git工具：
yum install git
图片.png
安装完成
图片.png
克隆仓库到当前文件夹：
git clone https://github.com/kiwenlau/hadoop-cluster-docker
克隆仓库完成：
图片.png
2.3 桥接网络
sudo docker network create --driver=bridge hadoop
图片.png
2.4 运行容器
cd hadoop-cluster-docker
./start-container.sh
图片.png
我使用了一个主节点两个从节点
2.5 启动Hadoop
./start-hadoop.sh
图片.png
2.6 测试Word Count
Word Count 是一个测试 Hadoop 的 Shell 脚本，即计算文本中的单词个数;
./run-wordcount.sh
图片.png
由于我的服务器内存资源不足，所以没有测试成功，于是我到本地来进行测试。
三、本地使用Docker
3.1 下载Docker
由于在Linux服务器上测试识别，于是我在我的Macbook Pro上本地测试，在Docker官网下载Mac版Docker安装包；
图片.png
图片.png
3.2 本地运行Docker
下载完成后安装、运行Docker，打开Terminal，输入docker
图片.png
本地Docker安装成功，之后再和Linux服务器一样拉取镜像、克隆仓库、桥接网络、运行容器、启动Hadoop，最后测试Word Count，这次可以运算出结果了：
图片.png
图片.png
四、个人总结
在Docker环境下运行Hadoop，过程虽然有些繁琐，但最终还是解决了，所以经常有人说，开发项目环境配置要花将近一半的时间，果真如此啊，要学习的东西还有很多啊!
网友评论