高可用rancher集群搭建

参考：
Rancher Server安装https://rancher.com/docs/rancher/v1.6/zh/installing-rancher/installing-server/#single-container-bind-mount
Rancher Server的常见问题https://rancher.com/docs/rancher/v1.6/zh/faqs/server/

我在使用rancher过程中遇到的问题：

一开始是用的单机的环境，没有设置启动内存，而且mysql使用的是内嵌的数据库。Rancher Server在运行了几个月后变的极慢，甚至不能再添加和启动、删除容器，一个操作会卡在那一直不动。

当时的启动命令是

sudo docker run --name rancher-server -d --restart=unless-stopped -p 18180:8080 rancher/server

可以参看我之前写的文章https://www.jianshu.com/p/1a80328ea0a5

问题调研

翻看了rancher社区和官方文档发现:

很可能有一些任务由于某些原因而处于僵死状态，如果你能够用界面查看系统管理 -> 系统进程，你将可以看到Running中的内容，如果这些任务长时间运行（并且失败），则Rancher会最终使用太多的内存来跟踪任务。这使得Rancher Server处于了内存不足的状态。

为了使服务器变为可响应状态，你需要添加更多内存。通常4GB的内存就够了。

你需要再次运行Rancher Server命令并且添加一个额外的选项-e JAVA_OPTS="-Xmx4096m"，但是由于之前用的是内嵌的mysql，一旦重新运行一个容器，所有数据就会丢失，所以强烈建议使用外部mysql

$ docker run -d -p 8080:8080 --restart=unless-stopped -e JAVA_OPTS="-Xmx4096m" rancher/server

根据MySQL数据库的设置方式的不同，你可能需要进行升级才能添加该选项。

如果是由于缺少内存而无法看到系统管理 -> 系统进程的话，那么在重启Rancher Server之后，已经有了更多的内存。你现在应该可以看到这个页面了，并可以开始对运行时间最长的进程进行故障分析。

解决方案

1. 使用外部的msyql数据库

在你的外部数据库中，只需要提前创建数据库名和数据库用户。Rancher会自动创建Rancher所需要的数据库表。

以下是创建数据库和数据库用户的SQL命令例子

 CREATE DATABASE IF NOT EXISTS cattle COLLATE = 'utf8_general_ci' CHARACTER SET = 'utf8';
 GRANT ALL ON cattle.* TO 'cattle'@'%' IDENTIFIED BY 'cattle';
 GRANT ALL ON cattle.* TO 'cattle'@'localhost' IDENTIFIED BY 'cattle';

启动一个Rancher连接一个外部数据库，你需要在启动容器的命令中添加额外参数。

sudo docker run -d --restart=unless-stopped -p 8080:8080 rancher/server \
    --db-host myhost.example.com --db-port 3306 --db-user username --db-pass password --db-name cattle

大部分的输入参数都有默认值并且是可选的，只有MySQL server的地址是必须输入的。

--db-host               IP or hostname of MySQL server
--db-port               port of MySQL server (default: 3306)
--db-user               username for MySQL login (default: cattle)
--db-pass               password for MySQL login (default: cattle)
--db-name               MySQL database name to use (default: cattle)

多节点的HA部署

HA部署需求

• HA 节点:
  • 所有安装有支持的Docker版本的现代Linux发行版 RancherOS, Ubuntu, RHEL/CentOS 7 都是经过严格的测试。
    • 对于 RHEL/CentOS, 默认的 storage driver, 例如 devicemapper using loopback, 并不被Docker推荐。 请参考Docker的文档去修改使用其他的storage driver。
    • 对于 RHEL/CentOS, 如果你想使用 SELinux, 你需要 安装额外的 SELinux 组件.
  • 9345, 8080 端口需要在各个节点之间能够互相访问
  • 1GB内存
• MySQL数据库
  • 至少 1 GB内存
  • 每个Rancher Server节点需要50个连接 (例如：3个节点的Rancher则需要至少150个连接)
  • MYSQL配置要求
    • 选项1: 用默认COMPACT选项运行Antelope
    • 选项2: 运行MySQL 5.7，使用Barracuda。默认选项ROW_FORMAT需设置成Dynamic
• 外部负载均衡服务器
  • 负载均衡服务器需要能访问Rancher Server节点的 8080 端口

大规模部署建议

每一个Rancher Server节点需要有4 GB 或者8 GB的堆空间，意味着需要8 GB或者16 GB内存
MySQL数据库需要有高性能磁盘
对于一个完整的HA，建议使用一个有副本的Mysql数据库。另一种选择则是使用Galera集群并强制写入一个MySQL节点。

在每个需要加入Rancher Server HA集群的节点上，运行以下命令：

docker run -d --restart=unless-stopped -p 8080:8080 -p 9345:9345 -e JAVA_OPTS="-Xmx4096m" rancher/server \
     --db-host myhost.example.com --db-port 3306 --db-user username --db-pass password --db-name cattle \
     --advertise-address <IP_of_the_Node>

在每个节点上，<IP_of_the_Node> 需要在每个节点上唯一，因为这个IP会被添加到HA的设置中。

如果你修改了 -p 8080:8080 并在host上暴露了一个不一样的端口，你需要添加 --advertise-http-port <host_port> 参数到命令中。

注意：
你可以使用 docker run rancher/server --help 获得命令的帮助信息

配置一个外部的负载均衡器，这个负责均衡负责将例如80或443端口的流量，转发到运行Rancher Server的节点的8080端口中。负载均衡器必须支持websockets 以及 forwarded-for 的Http请求头以支持Rancher的功能。参考 使用SSL 这个配置的例子。