虚拟化运维--管理平台--Rancher2.x(十五)

作者: 无剑_君 | 来源:发表于2019-10-27 19:36 被阅读0次

虚拟化运维--管理平台--Rancher2.x(十五)
教你制作最强运维监控大屏
智能化运维管理平台的建设思路（02）
广通软件最佳实践：“互联网+”时代下的石油石化行业运维管理解决方
IT运维的管理现状及解决方案
Python Ansible API 实战
ceph写入时延高导致虚拟机hang死的故障处理
运维自动化平台之路
运维思索：运维规范如何生成？
持续运维与监控

一、节点分配

文档地址：https://www.rancher.cn/docs/rancher/v2.x/cn/overview/architecture/

服务器节点规划

主机名	操作系统	IP地址
master	Centos 7.4-x86_64	192.168.247.130
node1	Centos 7.4-x86_64	192.168.247.131
node2	Centos 7.4-x86_64	192.168.247.132

主机名修改

[root@localhost ~]# vi /etc/hosts

192.168.247.130 master
192.168.247.131 node1
192.168.247.132 node2

Kernel性能调优

[root@master ~]# cat >>/etc/sysctl.conf<<EOF
net.ipv4.ip_forward=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.neigh.default.gc_thresh1=4096
net.ipv4.neigh.default.gc_thresh2=6144
net.ipv4.neigh.default.gc_thresh3=8192
EOF

[root@master ~]# sysctl -p
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.neigh.default.gc_thresh1 = 4096
net.ipv4.neigh.default.gc_thresh2 = 6144
net.ipv4.neigh.default.gc_thresh3 = 8192

关闭防火墙（所有节点）

[root@master ~]# systemctl stop firewalld.service 
[root@master ~]#  systemctl disable firewalld.service

添加镜像

[root@master ~]# vi /etc/docker/daemon.json
# 内容
{
    "registry-mirrors": ["https://7bezldxe.mirror.aliyuncs.com"]
}
# 重载配置，重启docker

安装和配置kubectl
kubectl是一个CLI命令行工具，用于运行Kubernetes集群的命令。Rancher 2.x中的许多维护和管理都需要它。

# 下载base,epel
[root@manager ~]# curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  2523  100  2523    0     0   2773      0 --:--:-- --:--:-- --:--:--  2772

[root@manager ~]#  wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

[root@manager ~]#  cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 安装Kubernetes
[root@master ~]# yum install -y kubectl

# 同步时间
[root@master ~]# yum install ntp ntpdate -y
# 同步阿里云
[root@master ~]# ntpdate ntp1.aliyun.com

[root@master ~]# yum install -y ntp 
[root@master ~]# systemctl enable ntpd && systemctl start ntpd
[root@master ~]# timedatectl set-timezone Asia/Shanghai
[root@master ~]# timedatectl set-ntp yes
[root@master ~]# ntpq -p

二、安装Rancher2.x

安装（请安装稳定版）

# 创建目录
[root@master ~]# mkdir -p /opt/rancher
# 安装最新版
[root@localhost ~]# sudo docker run -d -v /opt/rancher:/var/lib/rancher --restart=unless-stopped -p 80:80 -p 443:443 rancher/rancher:latest

# 安装稳定版
[root@master ~]#  sudo docker run -d --restart=unless-stopped -v /opt/rancher:/var/lib/rancher/ -p 80:80 -p 443:443 rancher/rancher:stable

# 使用默认自签名证书（使用此安装方式）
[root@master ~]# docker run -d --restart=unless-stopped -p 80:80 -p 443:443 -v  /opt/rancher:/var/lib/rancher/ -v /root/var/log/auditlog:/var/log/auditlog -e AUDIT_LEVEL=3 rancher/rancher:stable

#  证书安装(需生成证书)
[root@master ~]# docker run -d --restart=unless-stopped   -p 80:80 -p 443:443   -v /opt/rancher:/var/lib/rancher   -v /var/log/rancher/auditlog:/var/log/auditlog   -v /home/anrj/ssl/cert.pem:/etc/rancher/ssl/cert.pem   -v /home/anrj/ssl/key.pem:/etc/rancher/ssl/key.pem   -e AUDIT_LEVEL=3   --name rancher_stable   rancher/rancher:stable --no-cacerts

安装后下载镜像为：rancher/rancher stable

Web访问
地址：https://192.168.247.130/

登录

保存URL

注：因为Rancher是自动使用的自签名证书，在第一次登录会提示安全授信问题，信任即可然后设置rancher server的url，这里就直接使用了虚拟机的内网ip了。

默认用户为：admin 密码: admin

设置语言（右下角）

设置语言

二、创建集群

创建集群

创建集群
自定义集群

添加名称，其它默认，点击下一步：

添加名称

角色选择(一台主机可以对应多个角色,每个集群至少需要一个Etcd角色、一个Control角色、一个Worker角色)：

角色选择

注意：至少保证主机集群里有一个主机角色有etcd和Control2种。所以最好是一台主机的角色是etcd 和 Control，其他主机是work节点。

添加主机到集群中
注：如果是多台主机，根据角色的不同，需要复制多次命令。

192.168.247.130--etcd
192.168.247.131--Control
192.168.247.132--work

192.168.247.132--work

#  192.168.247.132--work
[root@node2 ~]# sudo docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.2.9 --server https://192.168.247.130 --token f8lvqwhcnzjdm4zrx7xmsw9jqs5zfxz4s46z8l7cghwfvckf9pj6fg --ca-checksum 83926781a69162022869e3b4b80d6b20c905bc2509ea685961bf7604ab6c4220 --worker
Unable to find image 'rancher/rancher-agent:v2.2.9' locally
v2.2.9: Pulling from rancher/rancher-agent
5667fdb72017: Pull complete 
d83811f270d5: Pull complete 
ee671aafb583: Pull complete 
7fc152dfb3a6: Pull complete 
0606171659a5: Pull complete 
91bb3d25889d: Pull complete 
fb492ec03242: Pull complete 
48b877ece6ea: Pull complete 
915307ab9059: Pull complete 
0b10a4dd7756: Pull complete 
Digest: sha256:268f8e30b4d26fc4dbe014ec5ac2c34b80842f8450bdc496ae52757e87c64fce
Status: Downloaded newer image for rancher/rancher-agent:v2.2.9
1365663d6cab948ec9f2962e5caf4ce919fae1fe436f947efceaccc225940641

# 下载镜像为：
[root@node2 ~]# docker images
REPOSITORY              TAG                 IMAGE ID            CREATED             SIZE
rancher/rancher-agent   v2.2.9              a1bf38ea4f5e        10 days ago         289MB

Universal Control Plane (UCP)，基于 Web 的统一集群和应用管理解决方案。

添加Control

# 192.168.247.131--controlplane
[root@node1 ~]# sudo docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.2.9 --server https://192.168.247.130 --token f8lvqwhcnzjdm4zrx7xmsw9jqs5zfxz4s46z8l7cghwfvckf9pj6fg --ca-checksum 83926781a69162022869e3b4b80d6b20c905bc2509ea685961bf7604ab6c4220 --controlplane
Unable to find image 'rancher/rancher-agent:v2.2.9' locally
v2.2.9: Pulling from rancher/rancher-agent
5667fdb72017: Pull complete 
d83811f270d5: Pull complete 
ee671aafb583: Pull complete 
7fc152dfb3a6: Pull complete 
0606171659a5: Pull complete 
91bb3d25889d: Pull complete 
fb492ec03242: Pull complete 
48b877ece6ea: Pull complete 
915307ab9059: Pull complete 
0b10a4dd7756: Pull complete 
Digest: sha256:268f8e30b4d26fc4dbe014ec5ac2c34b80842f8450bdc496ae52757e87c64fce
Status: Downloaded newer image for rancher/rancher-agent:v2.2.9
f331528b9a5d07ec876175776dde397868861fbf8b5b47325af5fae9c508506a
# 下载镜像为
[root@node1 ~]# docker images
REPOSITORY              TAG                 IMAGE ID            CREATED             SIZE
rancher/rancher-agent   v2.2.9              a1bf38ea4f5e        10 days ago         289MB

添加

# 192.168.247.130--Etcd
[root@master ~]# sudo docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.2.9 --server https://192.168.247.130 --token f8lvqwhcnzjdm4zrx7xmsw9jqs5zfxz4s46z8l7cghwfvckf9pj6fg --ca-checksum 83926781a69162022869e3b4b80d6b20c905bc2509ea685961bf7604ab6c4220 --etcd
Unable to find image 'rancher/rancher-agent:v2.2.9' locally
v2.2.9: Pulling from rancher/rancher-agent
5667fdb72017: Already exists 
d83811f270d5: Already exists 
ee671aafb583: Already exists 
7fc152dfb3a6: Already exists 
0606171659a5: Pull complete 
91bb3d25889d: Pull complete 
fb492ec03242: Pull complete 
48b877ece6ea: Pull complete 
915307ab9059: Pull complete 
0b10a4dd7756: Pull complete 
Digest: sha256:268f8e30b4d26fc4dbe014ec5ac2c34b80842f8450bdc496ae52757e87c64fce
Status: Downloaded newer image for rancher/rancher-agent:v2.2.9
57e37fc9e50625f4cd004f7e735ffb1450209e3c0088641082c5777fe07c2774

# 下载镜为
[root@master ~]# docker images
rancher/rke-tools       v0.1.50             87d2dd9a046a        5 weeks ago         132MB
rancher/coreos-etcd     v3.3.10-rancher1    643c21638c1c        12 months ago       39.5MB
rrancher/hyperkube       v1.15.5-rancher1    fc2949858e47        11 days ago         1.15GB

全部注册成功

此时我们的集群处于等待注册的状态，点击主机下的数字可以查看主机信息：

进行注册

等待注册

激活成功

主机信息

主机查看

查看集群信息

# master主机
[root@master ~]# docker ps
CONTAINER ID        IMAGE                          COMMAND                  CREATED             STATUS              PORTS                                      NAMES
2f7c1712081e        rancher/rancher-agent:v2.3.1   "run.sh --server htt…"   3 minutes ago       Up 3 minutes                                                   awesome_dhawan
053a460a80da        rancher/rancher-agent:v2.3.1   "run.sh -- share-roo…"   3 minutes ago       Up 3 minutes                                                   share-mnt
f439c7775b6e        rancher/rancher-agent:v2.3.1   "run.sh --server htt…"   3 minutes ago       Up 3 minutes                                                   hardcore_boyd
c1bbb6072fab        rancher/rancher:latest         "entrypoint.sh"          3 hours ago         Up About a minute   0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp   adoring_yalow

三、Rancher 部署服务

通过 Rancher UI 来一键式部署服务。
Rancher Server 中存在一个项目的概念，默认存在两个项目：default 和 system，类似于 namespaces 但是并不是 namespaces，而且 namespaces 还率属于某项目下，项目可以配置 Pod 安全策略以及资源配额，可以理解为更好的划分各个项目资源隔离。
default 项目可以理解为非系统项目的个人自定义项目;
system 项目可以理解为具有所有 Kubernetes 和 Rancher 系统命名空间的系统项目。

项目

部署一个服务
切换到集群 xtsz-k8s 下 default 命令空间下的工作负荷页面来部署一个服务。

default 命令空间
部署服务

以 nginx 为例，在新的 default 命名空间内，启动一个新的 nginx Pod，并配置容器 80 端口映射到 NodePort 30001 端口来配置 Service，其它配置默认即可。

Nginx服务部署
启动服务
点击启动，稍等片刻，Rancher Server 就自动在default 命令空间系统内创建了 nginx-test Pod 资源。

启动服务
部署成功
查看服务
测试访问
地址：http://192.168.247.132:30001/

访问测试

之前我们是需要使用 kubectl 命令或者手写 yaml 文件来配置，现在只需要在 UI 页面上就可以完成了。当然 Rancher Server 底层还是将配置的参数转换成 yaml 文件方式，通过页面上也可以看到生成的 yaml 文件。

查看yaml

yaml文件

服务发现

服务发现

四、常见问题：

iptables failed: iptables --wait -t nat -A DOCKER -p tcp -d 0/0 --dport 6443 -j DNAT --to-destination 172.17.0.2:1337 ! -i docker0: iptables:
解决:

# 重建docker0网络恢复
# pkill 命令和 killall 命令的用法相同，都是通过进程名杀死一类进程
[root@master ~]# pkill docker 
# 清空规则 
[root@master ~]# iptables -t nat -F 
# 关闭网卡
[root@master ~]# ifconfig docker0 down 
# 关闭网卡
[root@master ~]# yum -y install bridge-utils
[root@master ~]# brctl delbr docker0 
#  重启docker
[root@master ~]# systemctl restart docker

停用并删除容器

[root@node2 ~]# docker stop $(docker ps -q) 
[root@master ~]# docker rm $(docker ps -aq)

[etcd] Failed to bring up Etcd Plane: [etcd] Etcd Cluster is not healthy
由于etcd内存数据库问题：

# 安装etcd
[root@master ~]# yum install etcd
# 切换版本
[root@master ~]# etcdctl -version
etcdctl version: 3.3.11
API version: 2
# 配置
 vi /etc/etcd/etcd.conf
# 修改ETCD_LISTEN_CLIENT_URLS="http://localhost:2379"为
ETCD_LISTEN_CLIENT_URLS="http://192.168.247.130:2379,http://localhost:2379"
# 修改ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379"为
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.247.130:2379,http://localhost:2379"
# 重启系统，请不重启动etcd服务，如果启动请关闭
[root@master ~]# systemctl stop etcd
[root@master ~]# systemctl status etcd
● etcd.service - Etcd Server
   Loaded: loaded (/usr/lib/systemd/system/etcd.service; disabled; vendor preset: disabled)
   Active: inactive (dead)

Runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
原因：
因为kubelet配置了network-plugin=cni，但是还没安装，所以状态会是NotReady,不想看这个报错或者不需要网络，就可以修改kubelet配置文件，去掉network-plugin=cni 就可以了。

[root@node2 ~]# systemctl enable kubelet 
[root@node2 ~]#  systemctl start kubelet

附：
Universal Control Plane（UCP）：
UCP 通过提供集成的应用管理平台来扩展 Docker EE 基础版。它既是用户的主要交互点，也是应用的集成点。UCP 在集群中的所有节点上运行代理程序来监视它们，并且在控制器节点上运行一组服务。这些服务包括用于管理用户的身份服务，用于用户和集群 PKI 的认证中心 (CA)，提供 Web UI 和 API 的主控制器，用于 UCP 状态的数据存储，以及用于向后兼容的经典 Swarm 服务。
UCP是一个基于Docker的集群管理工具，也即集群中每个节点都应该安装Docker Engine。

UCP集群包含两种节点：

Controller: 管理集群，并持久化集群配置
Node：运行容器

虚拟化运维--管理平台--Rancher2.x(十五)
一、节点分配文档地址：https://www.rancher.cn/docs/rancher/v2.x/cn/o...
教你制作最强运维监控大屏
IT新一代运维大屏，数据驱动运维智能化重新定义，运维监控平台运维数据融合集成，构建最强运维平台用户知识图谱化...
智能化运维管理平台的建设思路（02）
根据《关于技术系统运维模式的思考》的设计思路，其他支撑智能化运维管理平台的补充模块，包括设备管理模块、知识管理模块...
广通软件最佳实践：“互联网+”时代下的石油石化行业运维管理解决方
运维管理平台建设方案研究 “工欲善其事，必先利其器”，运维管理体系的落地需要一个强有力的运维管理平台的支撑。运维管...
IT运维的管理现状及解决方案
一：IT运维人员成本偏高，原因是缺乏自动化的IT运维管理平台 IT运维人员的成本可能过高。很多人会感到非常惊讶。 ...
Python Ansible API 实战
Python 调用 Ansible API 实现自动化管理，为后续运维平台自动化管理提供帮助，也是学习Jumpse...
ceph写入时延高导致虚拟机hang死的故障处理
记5.1假期故障处理，苦逼的运维人故障现象虚拟化平台部分虚拟机显示CPU hung死，ssh登录异常，测试环境...
运维自动化平台之路
运维自动化平台之路导读引什么是运维自动化运维体系后记引运维自动化已经不再是新鲜名词,特别是随着D...
运维思索：运维规范如何生成？
运维框架运维思考：运维管理与运维自动化[http://mp.weixin.qq.com/s?__biz=MzA4...
持续运维与监控
运维的趋势，挑战，事件管理，流程管理运维权限管理开源运维平台云上IAM 监控开源监控方案zabbix+短信、邮件...