在云端搭建自己的代码仓库,本地Push代码,持续集成后自动发布。新版的Gitlab很好地支持这个需求,虽然只是自己使用,但目标还是利用三台云主机搭建一个高可用模式的Gitlab服务。
active-active-gitlab本文首先实现用Swarm管理集群,部署单主机模式的Gitlab。云主机是收集学生优惠卷1元买来的,单核,1G内存。一开始运行起gitlab,整个系统卡顿了,显然的资源不足。到官网上查看gitlab安装需求才知道现在的资源状况只能实现最不值得推荐的配置:
1 core supports up to 100 users but the application can be a bit slower due to having all workers and background jobs running on the same core
1GB RAM + 3GB of swap is the absolute minimum but we strongly advise against this amount of memory. See the unicorn worker section below for more advice.
查看主机交换区大小发现默认交换区大小为0,因此需要手动增加交换区大小。
增加交换区
生成4G大小的文件在/home目录下文件为swapflie:
$ sudo dd if=/dev/zero of=/home/swapflie bs=1M count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 36.7799 s, 117 MB/s
把这个文件转换成swap分区
$ sudo /sbin/mkswap /home/swapflie
使分区生效
$ sudo /sbin/swapon /home/swapfile
查看分区是否分配成功,(省略了其他指标参数)
$ free -h
total used free
Swap: 4.0G 0B 4.0G
搭建Gitlab
准备Swarm集群
在资源有限的情况下管理容器集群,Swarm是一个比较好的选择,相比于之前生产环境用的Kubernetes,Swarm操作简单,资源开销小,适合内部环境使用。
如果已经安装了最新版本的docker(目前是1.12.5),docker engine 已经集成了swarm。
可以用下面的命令安装最新发布版本的docker,安装完需要将当前用户加入docker用户组,并重新登录生效。
curl -fsSL https://get.docker.com/ | sh
阅读官方文档,理想情况下用Swarm配合Docker Compose以及Docker Machine可以很方便地构建docker集群。但Docker Machine创建docker环境相当于在云主机上创建另外的虚拟机(如virtual box,默认单核,1G内存),所以只能手动在云主机上安装相同docker环境,而不使用 Docker Machine。
另外Docker Compose配合Swarm,文档中有比较详细的使用方法,一开始根据这个文档部署环境,结果遇到很多坑,查错的过程中才知道目前这种模式仍在试验阶段,需要安装试验版本(docker 1.13)或者启动试验模式。使用Docker Compose + Swarm模式的方式需要其他方法,一种方式是将docker-compose.yml文件转换成swarm服务的启动方式,有个临时的实现方法,可以试用。
这里没有使用上面的方法,而是全部用命令行方式构建Swarm集群:
初始化集群
Swarm的思想主要是将多台主机抽象成一台manager服务器,通过Swarm来启动docker容器(service),像直接运行容器一样,不同的是容器会被负载均衡到不同主机。而对于容器的管理则可只在manager机器上进行。Swarm的架构如图:
swarm-arch
这里首先实现两台主机的service部署,managers上运行Swarm集群可视化工具,slave主机上运行gitlab.
登录manager主机,初始化Swarm manage
docker swarm init --advertise-addr 192.168.10.11
命令返回slave节点加入集群的命令,如:
To add a worker to this swarm, run the following command:
docker swarm join \
--token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 \
192.168.10.11:2377
该信息在集群创建成功后也可以在manage主机通过下面命令获得。
docker swarm join-token worker
登录到slave主机,加入集群
通过manage返回的token信息,加入集群
docker swarm join \
--token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 \
192.168.10.11:2377
注意我这里的两个主机都是云主机,而且两台主机不在同一个局域网网段,因此需要将manage的内网地址192.168.10.11换成对应的公网IP,才能成功注册。如果两台主机在同一局域网,则可直接添加到集群。
给slave主机添加标签,使manage可以通过标签限定具体slave node,后面可以看到:
docker node update --add-lable type=gitlab-node1
这里给slave机器添加type=gitlab-node1的标签。
启动Swarm可视化服务
返回到manage主机,通过docker node ls命令查看集群节点状态,一切正常后,启动Swarm可视化服务。官方并没有提供可视化服务,在这里(docker-swarm-visualizer)有一个很好的开源实现,可以直接使用该镜像构建服务。
$ docker service create --name=swarm_visual --publish=5001:8080/tcp --constraint=node.role==manager --mount=type=bind,src=/var/run/docker.sock,dst=/var/run/docker.sock manomarks/visualizer
服务启动通过 --constraint=node.role==manager 限定该服务在manage主机运行。并通过将web端口映射到云主机的5001端口。可以通过(公网IP:5001)的方式访问。
创建gitlab数据vloumes
为了方便容器数据的共享,以及后面数据的迁移,选择创建volumes来在本地持久化gitlab容器数据,而不是映射到本地路径。
登录到slave主机,为gitlab创建volumes,volumes的使用可以从后面看到:
$ docker volume create --name gitlab_config
$ docker volume create --name gitlab_logs
$ docker volume create --name gitlab_data
这里创建了三个volumes,分别存储gitlab的配置文件、日志和用户数据。
启动Gitlab服务
在manage主机上可以直接启动gitlab服务,并限定服务在slave主机运行。系统自动会到gitlub上pull相应镜像,并在本地运行。
sudo docker service create \
--name swarm_gitlab\
--publish 5002:443 --publish 5003:80 --publish 5004:22 \
--replicas 1 \
--mount type=volume,source=gitlab_config,destination=/etc/gitlab \
--mount type=volume,source=gitlab_logs,destination=/var/log/gitlab \
--mount type=volume,source=gitlab_data,destination=/var/opt/gitlab \
--constraint 'node.labels.type == gitlab-node1' \
gitlab/gitlab-ce:latest
命令中指定服务名为swarm_gitlab,以及http服务(443,80)和ssh服务(22)端口,分别映射到宿主机;指定备份服务数为1,映射本地路径到容器相应路径,这里使用volums的方式;限定在标签type= gitlab-node1的主机上启动服务。
测试
登录到manage主机,查看节点查看服务状态:
$ docker service ls
ID NAME REPLICAS IMAGE COMMAND
79c0rvct38j1 swarm_visual 1/1 manomarks/visualizer
dbygi9gx1318 swarm_gitlab 1/1 gitlab/gitlab-ce:latest
$ docker service ps swarm_gitlab
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR
3haqups6rzf8ugobqzyescl21 swarm_gitlab.1 gitlab/gitlab-ce:latest VM** Running Running 9 hours ago
访问manage主机的5001端口,可以看到Swarm集群的状态:
docker-swarm-visulizer通过docker node的相关命令同样也可以查看集群节点信息。
访问slave主机的5003端口,看到熟悉的Gitlab登录界面,创建初试用户和密码,创建用户组,和测试Project:
gitlab
小结
本文主要实现在有限云主机资源下搭建gitlab服务,这里并没有涉及gitlab的具体配置。这里只是简单构建一个可用的服务,后面再去看gitlab的管理方法,以及服务的稳定性和数据的备份与恢复。此外,第一次使用Swarm,由于资源限制,并没有采用最佳的方式来部署服务。
网友评论