美文网首页Docker容器HadoopHadoop系
从0开始在 docker 中配置 hadoop 集群

从0开始在 docker 中配置 hadoop 集群

作者: 阿波罗程序猿 | 来源:发表于2019-03-14 16:39 被阅读0次

    我是用 ubuntu 18.x.x 作为基础镜像，日后我会整理出一个Dockerfile

    制作 hadoop 集群的基础镜像

    # 拉取 ubuntu 镜像
docker pull ubuntu

# 生成一个容器
# --name 给容器命名
# -v 挂载宿主机路径
docker run -itd --name hadoop-base -v /Users/zhangbo/Documents/docker_hadoop_data_base:/home/novadeep ubuntu

# 进入该容器
docker exec -it hadoop-base /bin/bash

# 安装所需软件包
apt-get update
apt-get install vim
apt install net-tools
apt-get install iputils-ping
apt-get install openssh-server

    # 解压
tar -zxvf hadoop-3.2.0.tar.gz
tar -zxvf jdk-8u201-linux-x64.tar.gz

# 进入 .bashrc 中配置 java 及 hadoop 环境变量
vim ~/.bashrc

export JAVA_HOME=/home/novadeep/jdk1.8.0_201

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export HADOOP_HOME=/home/novadeep/hadoop-3.2.0

export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

# 退出 .bashrc 文件后，刷新环境变量
source ～/.bashrc
    • 制作 ssh 免密登录
    # 生成密钥
ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 查看本地 host
cat /etc/hosts

ssh your_local_ip

# 退出容器
exit
    • 至此 hadoop 集群容器做作完成
    # 把该容器提交成镜像
docker commit hadoop-base hadoop-base

# 查看刚提交的镜像
...MacBook-Pro:/ zhangbo$ docker images
REPOSITORY                 TAG                 IMAGE ID            CREATED             SIZE
hadoop-base                latest              eb27091630dd        25 hours ago        265MB

    编辑 hadoop 的配置文件

    这里需要编辑7个配置文件
    hadoop-env.sh | yarn-env.sh | core-site.xml | hdfs-site.xml | yarn-site.xml | mapred-site.xml | workers
    注意老版本中workers被叫做slaves 由于某种原因你们懂得，新版本中被改成了 workers

    • hadoop-env.sh 添加以下内容
    export JAVA_HOME=/home/novadeep/jdk1.8.0_201
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"
    • yarn-env.sh 添加以下内容
    export JAVA_HOME=/home/novadeep/jdk1.8.0_201
    • core-site.xml
    <configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/novadeep/tmp</value>
    </property>
</configuration>
    • hdfs-site.xml
    <configuration>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/home/novadeep/hdfs/name</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/home/novadeep/hdfs/data</value>
    </property>
    <property>
            <name>dfs.replication</name>
            <value>2</value> 
    </property>
    <property>
           <name>dfs.webhdfs.enabled</name>
           <value>true</value>
     </property>
    <property>
           <name>dfs.permissions.superusergroup</name>
           <value>staff</value>
    </property>
    <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
    </property>
</configuration>
    • yarn-site.xml
    <configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
        <description>yarn resourcemanager hostname is master</description>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>just mapreduce_shuffle can run MapReduce</description>
    </property>
</configuration>
    • mapred-site.xml
    <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>mapreduce's framework is yarm</description>
    </property>
</configuration>
    • workers 把localhost删掉，添加以下内容。这里面添加的就是worker的host，下面会说到
    node1
node2
node3

    使用 docker 模拟 hadoop 集群

    • 1主3从的配置
    ip host name
    172.17.0.2 master
    172.17.0.3 node1
    172.17.0.4 node2
    172.17.0.5 node3
    • 在 docker 中开启容器，注意与之对应的宿主文件夹。把hadoop-3.2.0、jdk1.8.0_201先复制到node123中
    主节点与从节点文件夹 
    # 启动容器
docker run -itd --name hadoop-master \
-v /Users/zhangbo/Documents/docker_hadoop_data_base:/home/novadeep  \
-p 9870:9870 \
-p 9864:9864 \
-p 9866:9866 \
-p 9867:9867 \
-p 9868:9868 \
-p 8485:8485 \
-p 8480:8480 \
-p 50200:50200 \
-p 10020:10020 \
-p 19888:19888 \
-p 10033:10033 \
-p 8032:8032 \
-p 8030:8030 \
-p 8088:8088 \
-p 8031:8031 \
-p 8033:8033 \
-p 8040:8040 \
-p 8048:8048 \
-p 8042:8042 \
-p 10200:10200 \
-p 8188:8188 \
-p 8047:8047 \
-p 8788:8788 \
-p 8046:8046 \
-p 8045:8045 \
-p 8049:8049 \
-p 8089:8089 \
-p 9871:9871 \
-p 9865:9865 \
-p 8481:8481 \
-p 19890:19890 \
-p 8044:8044 \
-p 8190:8190 \
-p 8091:8091 \
-h master hadoop-base

docker run -itd --name hadoop-node1 \
-v /Users/zhangbo/Documents/docker_hadoop_data_base/node1:/home/novadeep  \
-p 9870 \
-p 9864 \
-p 9866 \
-p 9867 \
-p 9868 \
-p 8485 \
-p 8480 \
-p 50200 \
-p 10020 \
-p 19888 \
-p 10033 \
-p 8032 \
-p 8030 \
-p 8088 \
-p 8031 \
-p 8033 \
-p 8040 \
-p 8048 \
-p 8042 \
-p 10200 \
-p 8188 \
-p 8047 \
-p 8788 \
-p 8046 \
-p 8045 \
-p 8049 \
-p 8089 \
-p 9871 \
-p 9865 \
-p 8481 \
-p 19890 \
-p 8044 \
-p 8190 \
-p 8091 \
-h node1 hadoop-base

docker run -itd --name hadoop-node2 \
-v /Users/zhangbo/Documents/docker_hadoop_data_base/node2:/home/novadeep  \
-p 9870 \
-p 9864 \
-p 9866 \
-p 9867 \
-p 9868 \
-p 8485 \
-p 8480 \
-p 50200 \
-p 10020 \
-p 19888 \
-p 10033 \
-p 8032 \
-p 8030 \
-p 8088 \
-p 8031 \
-p 8033 \
-p 8040 \
-p 8048 \
-p 8042 \
-p 10200 \
-p 8188 \
-p 8047 \
-p 8788 \
-p 8046 \
-p 8045 \
-p 8049 \
-p 8089 \
-p 9871 \
-p 9865 \
-p 8481 \
-p 19890 \
-p 8044 \
-p 8190 \
-p 8091 \
-h node2 hadoop-base

docker run -itd --name hadoop-node3 \
-v /Users/zhangbo/Documents/docker_hadoop_data_base/node3:/home/novadeep  \
-p 9870 \
-p 9864 \
-p 9866 \
-p 9867 \
-p 9868 \
-p 8485 \
-p 8480 \
-p 50200 \
-p 10020 \
-p 19888 \
-p 10033 \
-p 8032 \
-p 8030 \
-p 8088 \
-p 8031 \
-p 8033 \
-p 8040 \
-p 8048 \
-p 8042 \
-p 10200 \
-p 8188 \
-p 8047 \
-p 8788 \
-p 8046 \
-p 8045 \
-p 8049 \
-p 8089 \
-p 9871 \
-p 9865 \
-p 8481 \
-p 19890 \
-p 8044 \
-p 8190 \
-p 8091 \
-h node3 hadoop-base
    • 启动后查看已启动的容器，由于默认的docker ps会有端口列，上面的容器开启的端口太多会妨碍查看。所以我们使用 --format 选项，来重新规定展示内容
    # 使用 --format 来重新规定展示内容
docker ps --format "{{.ID}}  :  {{.Image}}  : {{.Command}}  :  {{.Status}}  :  {{.Names}}  :  {{.Networks}}"

8c62fa26c36b  :  hadoop-base  : "/bin/bash"  :  Up 2 hours  :  hadoop-node3  :  bridge
ebaf47e07b28  :  hadoop-base  : "/bin/bash"  :  Up 2 hours  :  hadoop-node2  :  bridge
10c0f49daa0f  :  hadoop-base  : "/bin/bash"  :  Up 2 hours  :  hadoop-node1  :  bridge
40816b388966  :  hadoop-base  : "/bin/bash"  :  Up 2 hours  :  hadoop-master  :  bridge

# --format 选项可以定义的列描述
Placeholder    Description
.ID    Container ID
.Image    Image ID
.Command    Quoted command
.CreatedAt    Time when the container was created.
.RunningFor    Elapsed time since the container was started.
.Ports    Exposed ports.
.Status    Container status.
.Size    Container disk size.
.Names    Container names.
.Labels    All labels assigned to the container.
.Label    Value of a specific label for this container. For example '{{.Label "com.docker.swarm.cpu"}}'
.Mounts    Names of the volumes mounted in this container.
.Networks    Names of the networks attached to this container.
    • 至此 hadoop 集群的容器启动完成，接下来开始做最后的配置。

    完成最后的集群部署

    • 修改各个容器的hosts和开启ssh服务
    # 依次使用命令进入到容器中
docker exec -it hadoop-master /bin/bash

# 修改 master 的 hosts。加入以下节点的 host
vim /etc/hosts
172.17.0.3 node1
172.17.0.4 node2
172.17.0.5 node3

# 开启 ssh
service ssh start

# 退出 master 容器
exit

# 进入 node1 节点的容器中
docker exec -it hadoop-node1 /bin/bash

# 修改 node1 的 hosts。加入 master 的 host
vim /etc/hosts
172.17.0.2 master

# 开启 ssh
service ssh start

# 退出 master 容器
exit

# 其余节点同 node1
....
....
    • 启动 hadoop 集群
    # 第一次启动前，需要执行 namenode format 
hadoop namenode -format

# 启动 hadoop 集群
start-all.sh

# 查看启动节点
root@master:/# jps -l
609 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
341 org.apache.hadoop.hdfs.server.namenode.NameNode
873 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
1545 sun.tools.jps.Jps

# ssh 到 node1
ssh root@node1

# 查看启动节点
root@node1:~# jps -l
241 org.apache.hadoop.yarn.server.nodemanager.NodeManager
117 org.apache.hadoop.hdfs.server.datanode.DataNode
447 sun.tools.jps.Jps
    • 查看 hadoop web UI

    在浏览器输入 http://localhost:9870

    可以看到 live nodes 有3个 node 三个 node

    可以看到这个页面说明hadoop集群已经配置完毕。并可以使用。

    不足

    每次重新开启容器后，需要再次添加host和开启ssh服务。应该可以通过Dockerfile配置和docker run中的选项来解决这个问题。

    相关文章

      网友评论

        本文标题：从0开始在 docker 中配置 hadoop 集群

        本文链接：https://www.haomeiwen.com/subject/vwaqmqtx.html

        延伸阅读

        深度阅读

        • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

        栏目导航

        热点阅读

        Docker容器

        Hadoop

        Hadoop系

        Spark_Flink_Hadoop

        关于我们|服务条款|联系我们|从0开始在 docker 中配置 hadoop 集群|投稿指南|网站地图|RSS订阅|排版工具|手机版

        提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

        Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

        备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

        本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

        所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！