Docker Swarm搭建Gitlab

作者: zqh_zy | 来源:发表于2017-01-09 12:35 被阅读418次

    在云端搭建自己的代码仓库,本地Push代码,持续集成后自动发布。新版的Gitlab很好地支持这个需求,虽然只是自己使用,但目标还是利用三台云主机搭建一个高可用模式的Gitlab服务。

    active-active-gitlab

    本文首先实现用Swarm管理集群,部署单主机模式的Gitlab。云主机是收集学生优惠卷1元买来的,单核,1G内存。一开始运行起gitlab,整个系统卡顿了,显然的资源不足。到官网上查看gitlab安装需求才知道现在的资源状况只能实现最不值得推荐的配置:

    1 core supports up to 100 users but the application can be a bit slower due to having all workers and background jobs running on the same core
    1GB RAM + 3GB of swap is the absolute minimum but we strongly advise against this amount of memory. See the unicorn worker section below for more advice.

    查看主机交换区大小发现默认交换区大小为0,因此需要手动增加交换区大小。

    增加交换区

    生成4G大小的文件在/home目录下文件为swapflie:

    $ sudo dd if=/dev/zero of=/home/swapflie bs=1M count=4096
    4096+0 records in
    4096+0 records out
    4294967296 bytes (4.3 GB) copied, 36.7799 s, 117 MB/s
    

    把这个文件转换成swap分区

    $ sudo /sbin/mkswap /home/swapflie
    

    使分区生效

    $ sudo /sbin/swapon /home/swapfile
    

    查看分区是否分配成功,(省略了其他指标参数)

    $ free -h
                 total       used       free     
    Swap:         4.0G         0B       4.0G
    

    搭建Gitlab

    准备Swarm集群

    在资源有限的情况下管理容器集群,Swarm是一个比较好的选择,相比于之前生产环境用的Kubernetes,Swarm操作简单,资源开销小,适合内部环境使用。

    如果已经安装了最新版本的docker(目前是1.12.5),docker engine 已经集成了swarm。
    可以用下面的命令安装最新发布版本的docker,安装完需要将当前用户加入docker用户组,并重新登录生效。

    curl -fsSL https://get.docker.com/ | sh
    

    阅读官方文档,理想情况下用Swarm配合Docker Compose以及Docker Machine可以很方便地构建docker集群。但Docker Machine创建docker环境相当于在云主机上创建另外的虚拟机(如virtual box,默认单核,1G内存),所以只能手动在云主机上安装相同docker环境,而不使用 Docker Machine。
    另外Docker Compose配合Swarm,文档中有比较详细的使用方法,一开始根据这个文档部署环境,结果遇到很多坑,查错的过程中才知道目前这种模式仍在试验阶段,需要安装试验版本(docker 1.13)或者启动试验模式。使用Docker Compose + Swarm模式的方式需要其他方法,一种方式是将docker-compose.yml文件转换成swarm服务的启动方式,有个临时的实现方法,可以试用。

    这里没有使用上面的方法,而是全部用命令行方式构建Swarm集群:

    初始化集群

    Swarm的思想主要是将多台主机抽象成一台manager服务器,通过Swarm来启动docker容器(service),像直接运行容器一样,不同的是容器会被负载均衡到不同主机。而对于容器的管理则可只在manager机器上进行。Swarm的架构如图:


    swarm-arch

    这里首先实现两台主机的service部署,managers上运行Swarm集群可视化工具,slave主机上运行gitlab.

    登录manager主机,初始化Swarm manage

    docker swarm init --advertise-addr 192.168.10.11
    

    命令返回slave节点加入集群的命令,如:

    To add a worker to this swarm, run the following command:
     docker swarm join \
     --token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 \
     192.168.10.11:2377
    

    该信息在集群创建成功后也可以在manage主机通过下面命令获得。

    docker swarm join-token worker
    

    登录到slave主机,加入集群

    通过manage返回的token信息,加入集群

     docker swarm join \
     --token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 \
    192.168.10.11:2377
    

    注意我这里的两个主机都是云主机,而且两台主机不在同一个局域网网段,因此需要将manage的内网地址192.168.10.11换成对应的公网IP,才能成功注册。如果两台主机在同一局域网,则可直接添加到集群。

    给slave主机添加标签,使manage可以通过标签限定具体slave node,后面可以看到:

    docker node  update --add-lable type=gitlab-node1
    

    这里给slave机器添加type=gitlab-node1的标签。

    启动Swarm可视化服务

    返回到manage主机,通过docker node ls命令查看集群节点状态,一切正常后,启动Swarm可视化服务。官方并没有提供可视化服务,在这里(docker-swarm-visualizer)有一个很好的开源实现,可以直接使用该镜像构建服务。

    $ docker service create   --name=swarm_visual   --publish=5001:8080/tcp   --constraint=node.role==manager   --mount=type=bind,src=/var/run/docker.sock,dst=/var/run/docker.sock   manomarks/visualizer
    

    服务启动通过 --constraint=node.role==manager 限定该服务在manage主机运行。并通过将web端口映射到云主机的5001端口。可以通过(公网IP:5001)的方式访问。

    创建gitlab数据vloumes

    为了方便容器数据的共享,以及后面数据的迁移,选择创建volumes来在本地持久化gitlab容器数据,而不是映射到本地路径。
    登录到slave主机,为gitlab创建volumes,volumes的使用可以从后面看到:

    $ docker volume create --name gitlab_config
    $ docker volume create --name gitlab_logs
    $ docker volume create --name gitlab_data
    

    这里创建了三个volumes,分别存储gitlab的配置文件、日志和用户数据。

    启动Gitlab服务

    在manage主机上可以直接启动gitlab服务,并限定服务在slave主机运行。系统自动会到gitlub上pull相应镜像,并在本地运行。

    sudo docker service create \
        --name swarm_gitlab\
        --publish 5002:443 --publish 5003:80 --publish 5004:22 \
        --replicas 1 \
        --mount type=volume,source=gitlab_config,destination=/etc/gitlab \
        --mount type=volume,source=gitlab_logs,destination=/var/log/gitlab \
        --mount type=volume,source=gitlab_data,destination=/var/opt/gitlab \
        --constraint 'node.labels.type == gitlab-node1' \
        gitlab/gitlab-ce:latest
    

    命令中指定服务名为swarm_gitlab,以及http服务(443,80)和ssh服务(22)端口,分别映射到宿主机;指定备份服务数为1,映射本地路径到容器相应路径,这里使用volums的方式;限定在标签type= gitlab-node1的主机上启动服务。

    测试

    登录到manage主机,查看节点查看服务状态:

    $ docker service ls
    ID            NAME          REPLICAS  IMAGE                    COMMAND
    79c0rvct38j1  swarm_visual  1/1       manomarks/visualizer
    dbygi9gx1318  swarm_gitlab  1/1       gitlab/gitlab-ce:latest
    
    $ docker service ps swarm_gitlab
    ID                         NAME            IMAGE                    NODE               DESIRED STATE  CURRENT STATE        ERROR
    3haqups6rzf8ugobqzyescl21  swarm_gitlab.1  gitlab/gitlab-ce:latest  VM**  Running        Running 9 hours ago
    

    访问manage主机的5001端口,可以看到Swarm集群的状态:

    docker-swarm-visulizer

    通过docker node的相关命令同样也可以查看集群节点信息。

    访问slave主机的5003端口,看到熟悉的Gitlab登录界面,创建初试用户和密码,创建用户组,和测试Project:


    gitlab

    小结

    本文主要实现在有限云主机资源下搭建gitlab服务,这里并没有涉及gitlab的具体配置。这里只是简单构建一个可用的服务,后面再去看gitlab的管理方法,以及服务的稳定性和数据的备份与恢复。此外,第一次使用Swarm,由于资源限制,并没有采用最佳的方式来部署服务。

    原创文章,转载请注明出处,点击到我的博客

    相关文章

      网友评论

        本文标题:Docker Swarm搭建Gitlab

        本文链接:https://www.haomeiwen.com/subject/xxxhbttx.html