原文作者: Cheney Dong
原文链接: http://cheneydc.me/2018/06/25/kolla-for-openstack/
许可协议: 知识共享署名-非商业性使用 4.0 国际许可协议
部署好累
Openstack是一个非常庞大的项目,而且各个组件都是分布式的服务架构,一开始学习发现运行起来都是问题,想着各种办法部署,然而即使部署起来了也不一定配置正确,反复磨炼一阵能跑起来了,就不太关注部署了,研究代码,修改bug,不过等着上生产,发现最大的痛又是部署,代码反而没那么复杂了。
Openstack的组件众多,分布式的架构要求部署多节点,生产环境还要考虑各个服务的高可用,根据各个网络负载情况考虑是否独立各个服务网络,依赖基础服务众多,消息队列、数据库等,其中每一块感觉都是雷区啊,部署结束后升级也是非常大的难题,做足了方案也不一定敢动手啊,哈哈。
不过容器技术出来后解决了很多问题,而Kolla项目正式通过将Openstack中各个服务容器化的方式来进行部署的一个项目,通过容器的方式进行交付,这就大大简化了跨平台的问题,同时也使得升级成为了可能。
Kolla好么?
我认为Kolla是一个非常棒的项目了,不单单是因为它解决了部署的一些痛点,更重要的是Kolla的架构和实现方式,最直观的印象就是,Kolla非常简单,但是实现的很优雅。
Kolla的简洁和优并不是单纯因为用了容器,我认为Kolla使用使用的ansible才更让Kolla称得上是一个好项目
- 第一,ansible是一套自动化运维工具,当然还有很多其他的工具,虽然没有用过,但是从ansible本身来说我觉得ansible够简单,依赖少,没有使用agent的方式,直接使用ssh进行下发
- 第二,ansible的playbook方式以及role的架构,用过几次以后真的是太方便了,能够高度的定制化,而role的架构方式非常灵活,Kolla可以说把ansible的这点用到了极致,换句话说,只要熟悉了ansible的使用,Kolla的项目就等于说一览无遗了,这样简单又好用的才是真正的好项目啊。
Kolla实际上是分为两大块的,一部分,Kolla提供了生产环境级别的镜像,涵盖了Openstack用到的各个服务,另一部分是自动化的部署,也就是上面说的ansible部分。最开始两个部分是在一个项目中的(也就是Kolla),从O版本开始将两个部分独立开来,Kolla项目用来构建所有服务的镜像,Kolla-ansible用来执行自动化部署。除此之外,kolla考虑容器的部署,容器的管理也被纳入项目中,因此有了kolla-kubernetes,通过k8s来管理整个部署的容器集群。
构建镜像
以O版本代码为例,
构建镜像的流程主要在kolla项目中,构建镜像通过kolla-build命令执行,入口在
kolla/kolla/image/build.py 中:
978 def run_build():
979 """Build container images.
980
981 :return: A 3-tuple containing bad, good, and unmatched container image
982 status dicts, or None if no images were built.
983 """
984 conf = cfg.ConfigOpts()
985 common_config.parse(conf, sys.argv[1:], prog='kolla-build')
986
987 if conf.debug:
988 LOG.setLevel(logging.DEBUG)
989
990 kolla = KollaWorker(conf)
991 kolla.setup_working_dir()
992 kolla.find_dockerfiles()
993 kolla.create_dockerfiles()
最终的执行构建代码都是在上面这里,首先kolla = KollaWorker(conf)
构建任务读取配置并初始化,随后设置setup_working_dir()来设置临时的工作目录,因为整个构建过程实际就是将各个服务的Dockerfile构建成相应的docker镜像,但是面对不同的平台和不同的配置,Kolla项目通过jinja2语法将Dockerfile进行了定制化,通过顶层的参数设置来下发到各个Dockerfile中,那么构建的时候生成真正的Dockerfile就在刚刚设置的工作目录中了,随后通过find_dockerfiles()找到临时目录中所有的Dockerfile模板,也就是Dockerfile.j2并通过create_dockerfiles()生成相应的Dockerfile。
主要流程其实就这么多,其他都是额外提供的功能啦,慢慢扩展开就可以了,不过构建镜像提供了非常多的选择,包括:
- 安装各个服务的方式(binary 或 source)
- 平台选择(ubuntu,centos 或 debina等)
- 如果只需要输出Dockerfile不去构建的话
- 可以通过参数
template-only
实现 - 构建成功后推送到本地仓库(--registry --push --tag --namespace 几个组合起来)
功能非常多,具体的选项参数有哪些可以查看kolla/kolla/common/config.py
模块。
镜像结构
那这么多的镜像怎样构成的呢?大体分为四层:
- base
- openstack-base
- <service>-base
- <service>
1. base
所有的Kolla项目基本上使用了同一个base镜像作为基础,所有的dockerfile模板在kolla/docker
中,base镜像中主要定义了镜像中一些基础的内容,如:
- 命令行提示符格式
- 指定软件包源
- 安装基础的软件
所以如果需要定制以上内容就可以去更改base的Dockerfile模板了。
2. openstack-base
如果是Openstack的服务,都会以openstack_base作为基础镜像,当然openstack-base也是在base基础上构建的,内容比较少,主要是安装了openstack比较通用的基础组件以及软件包,比如oslo*和*client等内容。
3. <service>-base
在openstack-base基础上就会构建各个服务组件的镜像了,以nova为例,nova本身有多个服务,如api、conductor、compute等,类似这样的服务,Kolla中又以openstack-base为基础做了一个<service>-base镜像,nova为例也就是nova-base镜像作为其他几个服务的基础镜像,主要处理几个服务通用的内容,安装通用的软件等。
4. <service>
最后是服务镜像本身,以<service>-base为基础镜像,进行服务的部署,配置等,并设定启动入口,以及服务必要的依赖。
容器的启动
虽然Kolla对所有的服务进行了容器化,但是并没有让他们各自放飞,所有的容器内部定义了基本相同的服务启动入口,这样不管什么样的服务,只要按照相同的规则和流程就可以统一的配置启动流程了。
在base镜像中就已经COPY了一个start.sh作为每一个容器的启动入口,并定义为kolla-start,脚本很短:
#!/bin/bash
set -o errexit
# Processing /var/lib/kolla/config_files/config.json as root. This is necessary
# to permit certain files to be controlled by the root user which should
# not be writable by the dropped-privileged user, especially /run_command
sudo -E kolla_set_configs
CMD=$(cat /run_command)
ARGS=""
if [[ ! "${!KOLLA_SKIP_EXTEND_START[@]}" ]]; then
# Run additional commands if present
. kolla_extend_start
fi
echo "Running command: '${CMD}${ARGS:+ $ARGS}'"
exec ${CMD} ${ARGS}
kolla-start作为容器中服务启动的入口,实际执行的内容在run_command
中,这个命令是由base中的set_config.py
脚本根据读取的配置生成的:
332 LOG.info('Writing out command to execute')
333 LOG.debug("Command is: %s", config['command'])
334 # The value from the 'command' key will be written to '/run_command'
335 with open('/run_command', 'w+') as f:
336 f.write(config['command'])
具体的配置则是在使用kolla-ansible部署服务的时候,每一个服务通过一个叫config.json
的文件设置的,部署时,这个文件会挂载到容器中,这样容器会得到真正执行的内容以及相关的配置,以此正确的启动容器中的服务,这样也一定程度提供一种从外部修改或控制容器内部服务的方法,用的时候非常方便。
部署过程
部署的部分是在kolla-ansible项目中,实际整个项目就是基于ansible的role架构展开的,项目封装了kolla-ansible命令行进行了额外功能的扩展,在项目中的kolla-ansible/tools/kolla-ansible
这个地方定义了命令行,从里面可以看到所有参数,大部分内容就是原生的role,很简洁好用,如果看不懂的话就先去补补ansible的内容啦,所以没什么可以多说的了。
不过对于openstack的各个服务的部署,kolla-ansible提供了自动生成密码的脚本,安全性和便捷性得到了提高。
想到再补充吧,酱紫了……
网友评论