美文网首页
基于docker搭建大数据hadoop环境

基于docker搭建大数据hadoop环境

作者: 李孝伟 | 来源:发表于2018-11-05 11:55 被阅读15次

基于docker的大数据环境hadoop快速搭建。

1)下载镜像
$ docker pull kiwenlau/hadoop:1.0

2)下载脚本
git clone https://github.com/kiwenlau/hadoop-cluster-docker

3)创建hadoop 特有网络--方便通过域名访问
docker network create --driver=bridge hadoop

4) 启动容器
cd hadoop-cluster-docker
./start-container.sh  //这个脚本里包含了docker启动命令,可做端口映射、路径映射等

5)启动服务
进入master
docker exec -it hadoop-master /bin/bash
./start-hadoop.sh  启动
./run-wordcount.sh 运行案例

6)web查看状态

看下start-container.sh 脚本内容:

#!/bin/bash

# the default node number is 3
N=${1:-3}


# start hadoop master container
sudo docker rm -f hadoop-master &> /dev/null
echo "start hadoop-master container..."
sudo docker run -itd \
                --net=hadoop \
                -p 15070:50070 \
                -p 18088:8088 \
                --name hadoop-master \
                --hostname hadoop-master \
                kiwenlau/hadoop:1.0 &> /dev/null


# start hadoop slave container
i=1
while [ $i -lt $N ]
do
        sudo docker rm -f hadoop-slave$i &> /dev/null
        echo "start hadoop-slave$i container..."
        sudo docker run -itd \
                        --net=hadoop \
                        --name hadoop-slave$i \
                        --hostname hadoop-slave$i \
                        kiwenlau/hadoop:1.0 &> /dev/null
        i=$(( $i + 1 ))
done

# get into hadoop master container
sudo docker exec -it hadoop-master bash
image.png

从脚本可以看出,启动了一个master,N个slave服务器。

运行结果:


image.png
image.png

相关文章

网友评论

      本文标题:基于docker搭建大数据hadoop环境

      本文链接:https://www.haomeiwen.com/subject/hhxsxqtx.html