- 本文使用kubernetes版本较老,初次实验简单部署,不足之处较多,欢迎交流。
一、容器编排软件
1、docker编排三剑客:联合使用
docker-machine 管理主机容器
docker-swarm 跨主机,监控容器
docker-compose 编排主机容器
2、ASF旗下的mesos资源调度框架,依赖于marathon编排容器
3、 Google旗下的kubernetes,核心思想是一切皆容器,容器调度框架是Borg
- Kubernetes是Google开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时,通常要部署该应用的多个实例以便对应用请求进行负载均衡。
- 在Kubernetes中,我们可以创建多个容器,每个容器里面运行一个应用实例,然后通过内置的负载均衡策略,实现对这一组应用实例的管理、发现、访问,而这些细节都不需要运维人员去进行复杂的手工配置和处理。
Kubernetes 特点
-
可移植: 支持公有云,私有云,混合云,多重云(multi-cloud)
-
可扩展: 模块化, 插件化, 可挂载, 可组合
-
自动化: 自动部署,自动重启,自动复制,自动伸缩/扩展
-
kubernetes代码托管站点:https://github.com/kubernetes
官方网站:https://kubernetes.io/
二、Kubernetes组件
物理组件master和node物理组件
1、Master 组件
ETCD
kube-controller-manager
cloud-controller-manager
kube-scheduler
插件 addons
DNS
用户界面
容器资源监测
Cluster-level Logging
- Master组件提供集群的管理控制中心,可以在集群中任何节点上运行,但是为了简单起见,通常在一台机器上启动所有 Master组件,并且不会在此机器上运行用户容器。
(1)、kube-apiserver
- kube-apiserver用于暴露Kubernetes API。任何的资源请求/调用操作都是通过kube-apiserver提供的接口进行。请参阅构建高可用群集。
(2)、 ETCD
- etcd是Kubernetes提供默认的存储系统,保存所有集群数据,使用时需要为etcd数据提供备份计划。
(3)、kube-controller-manager
- kube-controller-manager运行管理控制器,它们是集群中处理常规任务的后台线程。逻辑上,每个控制器是一个单独的进程,但为了降低复杂性,它们都被编译成单个二进制文件,并在单个进程中运行。
这些控制器包括:
-
节点(Node)控制器。
-
副本(Replication)控制器:负责维护系统中每个副本中的pod。
-
端点(Endpoints)控制器:填充Endpoints对象(即连接Services&Pods)。
-
Service Account和Token控制器:为新的Namespace创建默认帐户访问API Token。
(4)、cloud-controller-manager
- 云控制器管理器负责与底层云提供商的平台交互。云控制器管理器是Kubernetes版本1.6中引入的,目前还是Alpha的功能。
- 云控制器管理器仅运行云提供商特定的(controller loops)控制器循环。可以通过将--cloud-providerflag设置为external启动kube-controller-manager ,来禁用控制器循环。
cloud-controller-manager 具体功能:
-
节点(Node)控制器
-
路由(Route)控制器
-
Service控制器
-
卷(Volume)控制器
(5)、kube-scheduler
- kube-scheduler监视新创建没有分配到Node的Pod,为Pod选择一个Node。
(6)插件 addons
- 插件(addon)是实现集群pod和Services功能的。Pod由Deployments,ReplicationController等进行管理。Namespace 插件对象是在kube-system Namespace中创建。
(7)DNS
-
虽然不严格要求使用插件,但Kubernetes集群都应该具有集群 DNS。
-
群集 DNS是一个DNS服务器,能够为 Kubernetes services提供 DNS记录。
-
由Kubernetes启动的容器自动将这个DNS服务器包含在他们的DNS searches中。
(8)用户界面
-
kube-ui提供集群状态基础信息查看和容器资源监测
-
容器资源监控提供一个UI浏览监控数据。
(9)Cluster-level Logging
- Cluster-level logging,负责保存容器日志,搜索/查看日志。
2、节点(Node)组件
kubelet
kube-proxy
docker
RKT
supervisord
fluentd
- 节点组件运行在Node,提供Kubernetes运行时环境,以及维护Pod。
(1)、kubelet
kubelet是主要的节点代理,它会监视已分配给节点的pod,具体功能:
-
安装Pod所需的volume。
-
下载Pod的Secrets。
-
Pod中运行的 docker(或experimentally,rkt)容器。
-
定期执行容器健康检查,报告节点状态。
(2)、kube-proxy
- kube-proxy通过在主机上维护网络规则并执行连接转发来实现Kubernetes服务抽象。
(3)、docker
- docker用于运行容器。
(4)、RKT
- rkt运行容器,作为docker工具的替代方案。
(5)、supervisord
- supervisord是一个轻量级的监控系统,用于保障kubelet和docker运行。
(6)fluentd
- fluentd是一个守护进程,可提供cluster-level logging.。
node节点内部组件
Pod内部的容器
3、Node节点的内部组件
- Pod:一群容器组成
- Labels:标签识别Pod组,每创建一个Pod就会打一个Labels标签
- Service:选择器通过Labels选择出一组功能相同的pod加ip,组成一个service
- Kubelet :容器代理
- kube-proxy :kube代理,负载均衡器
- etcd:数据存储服务
- cAdvisor :统计代理程序,收集容器资源使用性能统计数据
- Replication Controller:管理复制pod组
- Scheduler:在工作节点内调度pod组
- APIServer: Kubernetes API服务器
Pod内部容器通信,存储4、Pod
- 同pod内的容器互相通信使用IPC(节点间通信);
- 容器可以找到对方的本地主机;
- 每个容器名字来自pod组名
- 每个pod都有一个IP地址在一个层面共享网络空间
- 在pod内的容器中共享一个存储卷
Label标签
services实现
5、Services
- Kubernetes的Service定义了这样一种抽象:逻辑上的一组 Pod,一种可以访问它们的策略 —— 通常称为微服务。 这一组 Pod能够被 Service访问到,通常是通过 Label Selector(标签选择器)实现的。
- 对 Kubernetes 集群中的应用,Kubernetes 提供了简单的 Endpoints API,只要Service 中的一组 Pod发生变更,应用程序就会被更新。 对非 Kubernetes 集群中的应用,Kubernetes 提供了基于 VIP 的网桥的方式访问Service,再由 Service 重定向到备用的 Pod。
- Services可以暴露出集群内部或外部,成为一个静态API对象,配静态IP进行使用。
6、Discovering services服务发现
第一种:Environment variables环境变量
第二种:DNS
- DNS插件:1.3版本,dns实现叫做skydns,以后叫kube-dns
- Kubernetes 从 1.3 版本起, DNS 是内置的服务,通过插件管理器 集群插件 自动被启动。
- Kubernetes DNS 在集群中调度 DNS Pod 和 Service ,配置 kubelet 以通知个别容器使用 DNS Service 的 IP 解析 DNS 名字。
7、kubernetes的网络
- kubernetes的集群节点间通信使用overlay network叠加网络实现。
- 叠加网络的实现软件有:flannel、calico、contiv等,其中flannel较为成熟可靠。
三、kubernetes集群快速部署
- 环境:
master, etcd:192.168.1.61
node1:192.168.1.62
node2:192.168.1.63
前提:
1、基于主机名通信:/etc/hosts;
2、时间同步;
3、关闭firewalld和iptables.service;
OS:CentOS 7.3.1611, Extras仓库中;
安装配置步骤:
1、etcd,仅master节点;
2、flannel,集群的所有节点;
3、配置k8s的master:仅master节点;
kubernetes-master
启动的服务:
kube-apiserver, kube-scheduler, kube-controller-manager
4、配置k8s的各Node节点;
kubernetes-node
先设定启动docker服务;
启动的k8s的服务:
kube-proxy, kubelet
1、部署kubernetes的master节点
设置解析hosts文件
[root@node-61 ~]# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.61 master.localhost.localdomain master etcd1 registry
192.168.1.62 node1.localhost.localdomain node1
192.168.1.63 node2.localhost.localdomain node2
为了方便节点间的通信,使用ssh
[root@node-61 ~]# ssh-keygen -t rsa -P ''
[root@node-61 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node1
[root@node-61 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node2
同步hosts文件
[root@node-61 ~]# scp /etc/hosts node1:/etc/
hosts 100% 321 9.8KB/s 00:00
[root@node-61 ~]# scp /etc/hosts node2:/etc/
hosts
查看yum中有无extras仓库
[root@node-61 ~]# yum repolist
...........
!extras/7/x86_64
部署etcd
etcd是开源的分布式键值存储,同时支持服务发现,支持leader选举,由go语言研发,访问接口是HTTP+JSON的API。
开发或实验环境部署etcd,单节点即可
开发或实验环境部署etcd
生产环境部署etcd,多节点集群部署,一般为奇数3、5、7、9个。
生产环境部署etcd
安装etcd
[root@node-61 ~]# yum install etcd -y
监听两个端口2379和2380
编辑etcd配置文件
[root@master ~]# vim /etc/etcd/etcd.conf
#[Member]成员配置
ETCD_DATA_DIR="/var/lib/etcd/default.etcd" #存储目录
ETCD_LISTEN_PEER_URLS="http://192.168.1.61:2380" #监听集群地址端口
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.61:2379" #监听客户端地址端口
ETCD_NAME="default" #名称
#[Clustering]集群配置
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.61:2380" #集群通告地址端口
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.61:2379" #集群客户端口
ETCD_INITIAL_CLUSTER="default=http://192.168.1.61:2380" #集群成员,如果有多个成员在http中间用,隔离,default要保持与name一致。
- name:节点名称
- data-dir:指定节点的数据存储目录
- listen-peer-urls: 监听URL,用于与其他节点通讯
- listen-client-urls :对外提供服务的地址:比如 http://ip:2379,http://127.0.0.1:2379 ,客户端会连接到这里和 etcd 交互
- initial-advertise-peer-urls:该节点同伴监听地址,这个值会告诉集群中其他节点
- initial-cluster :集群中所有节点的信息,格式为 node1=http://ip1:2380,node2=http://ip2:2380,… >。注意:这里的 node1 是节点的 --name 指定的名字;后面的 ip1:2380 是 --initial-advertise-peer-urls 指定的值
- initial-cluster-state:新建集群的时候,这个值为 new ;假如已经存在的集群,这个值为 existing
- initial-cluster-token : 创建集群的 token,这个值每个集群保持唯一。这样的话,如果你要重新创建集群,即使配置和之前一样,也会再次生成新的集群和节点 uuid;否则会导致多个集群之间的冲突,造成未知的错误
- advertise-client-urls: 对外公告的该节点客户端监听地址,这个值会告诉集群中其他节点
启动etcd
[root@master ~]# systemctl start etcd
[root@master ~]# ss -tnl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 192.168.1.61:2379 *:*
LISTEN 0 128 192.168.1.61:2380 *:*
集群检查
#集群信息
[root@master ~]# etcdctl -C http://master:2379 member list
8e9e05c52164694d: name=default peerURLs=http://localhost:2380 clientURLs=http://192.168.1.61:2379 isLeader=true
#集群健康状态
[root@master ~]# etcdctl -C http://master:2379 cluster-health
member 8e9e05c52164694d is healthy: got healthy result from http://192.168.1.61:2379
etcd键值存储使用
#创建目录
[root@master ~]# etcdctl -C http://master:2379 mkdir test
[root@master ~]# etcdctl -C http://master:2379 mkdir ls
#查询目录
[root@master ~]# etcdctl -C http://master:2379 ls
/test
/ls
#删除空目录
[root@master ~]# etcdctl -C http://master:2379 rmdir ls
[root@master ~]# etcdctl -C http://master:2379 ls
/test
#创建键值
[root@master ~]# etcdctl -C http://master:2379 mk /test/newkey hello
hello
#获取键值
[root@master ~]# etcdctl -C http://master:2379 get /test/newkey
hello
#修改键值
[root@master ~]# etcdctl -C http://master:2379 set /test/newkey hello-world
hello-world
#删除非空目录
[root@master ~]# etcdctl -C http://master:2379 rm -r /test
安装kubernetes-master
[root@master ~]# yum install kubernetes-master -y
配置
[root@master ~]# vim /etc/kubernetes/apiserver
#非安全http协议的监听地址
KUBE_API_ADDRESS="--insecure-bind-address=192.168.1.61"
#监听端口
# KUBE_API_PORT="--port=8080"
#kubelet监听端口
# KUBELET_PORT="--kubelet-port=10250"
#集群成员,中间用逗号隔开
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.1.61:2379"
#k8s内部服务的地址网段
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"
#默认的控制:名称空间生命周期、名称空间存在、资源限制、安全上下文限制、资源配额
policiesKUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
#自定义选项
KUBE_API_ARGS=""
[root@master ~]# vim /etc/kubernetes/config
#标准日志输出
KUBE_LOGTOSTDERR="--logtostderr=true"
#日志记录级别
KUBE_LOG_LEVEL="--v=0"
#是否允许某个节点运行特权容器
KUBE_ALLOW_PRIV="--allow-privileged=false"
#master地址
KUBE_MASTER="--master=http://192.168.1.61:8080"
~
启动kubernetes
#启动三个服务
[root@master ~]# systemctl start kube-apiserver.service kube-controller-manager.service kube-scheduler.service
[root@master ~]# ss -tnl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 192.168.1.61:2379 *:*
LISTEN 0 128 192.168.1.61:2380 *:*
LISTEN 0 128 192.168.1.61:8080 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 128 :::6443 :::*
LISTEN 0 128 :::10251 :::*
LISTEN 0 128 :::10252 :::*
建立docker私有镜像仓库
[root@master ~]# yum install docker-distribution -y
[root@master ~]# systemctl start docker-distribution.service
[root@master ~]# ss -tnl
LISTEN 0 128 :::5000 :::*
2、node节点的安装
- 两个node节点操作,同步时间,关闭防火墙,修改hosts文件。
#安装docker
[root@node-62 ~]# yum install docker -y
#配置私有仓库
[root@node-62 ~]# vim /etc/docker/daemon.json
{ "insecure-registries":["192.168.1.61:5000"] }
#启动docker
[root@node-62 ~]# systemctl start docker
下载镜像,并上传到私有仓库
#从公有仓储下载centos
[root@node-62 ~]# docker pull centos:latest
#修改标签
[root@node-62 ~]# docker tag docker.io/centos:latest 192.168.1.61:5000/centos:latest
#上传到私有仓库
[root@node-62 ~]# docker push 192.168.1.61:5000/centos:latest
两个节点安装kubernetes的node
[root@node-63 ~]# yum install kubernetes-node -y
配置文件
[root@node-62 ~]# vim /etc/kubernetes/kubelet
#监听地址
KUBELET_ADDRESS="--address=0.0.0.0"
#监听端口
# KUBELET_PORT="--port=10250"
#使用的主机名称,如果引号内部为空,则使用默认系统主机名
KUBELET_HOSTNAME="--hostname-override=node1"
#指明master主机地址
KUBELET_API_SERVER="--api-servers=http://master:8080"
#基础架构容器地址
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"
#自定义选项
KUBELET_ARGS=""
#全局配置文件
[root@node-62 ~]# vim /etc/kubernetes/config
........
KUBE_MASTER="--master=http://master:8080" #指明master主机地址端口
#node1配置文件同步到node2上
[root@node-62 ~]# scp /etc/kubernetes/* node2:/etc/kubernetes/
启动kubernetes-node
[root@node-62 ~]# systemctl start kubelet.service kube-proxy.service
[root@node-62 ~]# ss -tnl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 127.0.0.1:10248 *:*
LISTEN 0 128 127.0.0.1:10249 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 128 :::10250 :::*
LISTEN 0 128 :::10255 :::*
LISTEN 0 128 :::22 :::*
LISTEN 0 100 ::1:25 :::*
LISTEN 0 128 :::4194 :::*
3、master节点运行容器
kubernetes的状态查询
#查看api版本
[root@master ~]# kubectl -s http://master:8080 api-versions
apps/v1beta1
authentication.k8s.io/v1beta1
authorization.k8s.io/v1beta1
autoscaling/v1
batch/v1
certificates.k8s.io/v1alpha1
extensions/v1beta1
policy/v1beta1
rbac.authorization.k8s.io/v1alpha1
storage.k8s.io/v1beta1
v1
#查看集群相关
[root@master ~]# kubectl -s http://master:8080 cluster-info
Kubernetes master is running at http://master:8080
#获取详细信息
[root@master ~]# kubectl -s http://master:8080 cluster-info dump
#获取节点信息
[root@master ~]# kubectl -s http://master:8080 get no
NAME STATUS AGE
node1 Ready 13h
node2 Ready 13h
#查询运行pod
[root@master ~]# kubectl -s http://master:8080 get po
运行容器
格式:kubectl run NAME --image=image [--env="key=value"] [--port=port]
[--replicas=replicas] [--dry-run=bool] [--overrides=inline-json] [--command] --
[COMMAND] [args...] [options]
name:名字
image:镜像路径
--port:暴露端口
--replicas:启动几个副本
--dry-run:测试运行
--overrides:覆盖
--command:改变启动默认命令
#使用私有仓库创建pod
[root@master ~]# kubectl -s http://master:8080 run centos7base --image=192.168.1.61:5000/centos:latest --replicas=2
deployment "centos7base" created
#查询
[root@master ~]# kubectl -s http://master:8080 get deployments
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
centos7base 2 2 2 0 29s
#删除部署pod
[root@master ~]# kubectl -s http://master:8080 delete deployment centos7base
deployment "centos7base" deleted
创建pod报错
状态始终是 ContainerCreating,各个节点中也无创建容器
[root@master ~]# kubectl -s http://master:8080 get pods
NAME READY STATUS RESTARTS AGE
bbox-3908540199-t7khd 0/1 ContainerCreating 0 4m
#查询日志
[root@master ~]# kubectl -s http://master:8080 describe pod bbox-3908540199-t7khd
.....................
Error syncing pod, skipping: failed to "StartContainer" for "POD" with ErrImagePull: "image pull failed for registry.access.redhat.com/rhel7/pod-infrastructure:latest, this may be because there are no credentials on this request. details: (open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory)"
#解决方法
原因是node节点上:/etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt这个目录中是一个软连接,实际上并没有这个文件。
#在两个node节点上下载
[root@node-62 ~]# wget http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm
#安装
[root@node-62 ~]# rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem
4、配置flannel网络
因为flannel的网络配置要保存在etcd中,所以master和两个node节点也要按装etcd
[root@node-62 ~]# yum install etcd -y
[root@node-62 ~]# yum install flannel -y
修改配置文件
[root@master ~]# vim /etc/sysconfig/flanneld
#etcd地址端口
FLANNEL_ETCD_ENDPOINTS="http://etcd1:2379"
#存储路径
FLANNEL_ETCD_PREFIX="/ilinux.io/network"
#给两个node节点同步配置
[root@master ~]# scp /etc/sysconfig/flanneld node2:/etc/sysconfig/
[root@master ~]# scp /etc/sysconfig/flanneld node1:/etc/sysconfig/
#创建网络
[root@master ~]# etcdctl -C http://etcd1:2379 mk /ilinux.io/network/config '{"Network":"10.7.0.0/16"}'
{"Network":"10.7.0.0/16"}
所有节点启动flanneld服务
[root@master ~]# systemctl start flanneld.service
#flannel自动创建一个隧道网桥
[root@master ~]# ifconfig
................
flannel0: flags=4305<UP,POINTOPOINT,RUNNING,NOARP,MULTICAST> mtu 1472
inet 10.7.54.0 netmask 255.255.0.0 destination 10.7.54.0
inet6 fe80::21d5:9d6a:a31a:d587 prefixlen 64 scopeid 0x20<link>
unspec 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00 txqueuelen 500 (U
两个node节点重新启动docker服务,使docker自动获取flannel的地址
[root@node-62 ~]# systemctl restart docker.service
[root@node-62 ~]# ifconfig
docker0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500
inet 10.7.9.1 netmask 255.255.255.0 broadcast 0.0.0.0
两个node节点容器测试通信
#node1节点容器
#添加防火墙规则
[root@node-62 ~]# iptables -A FORWARD -s 10.7.9.0/16 -j ACCEPT
[root@node-62 ~]# docker run --name bbox1 --rm -it busybox:latest
/ # ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:0A:07:09:02
inet addr:10.7.9.2 Bcast:0.0.0.0 Mask:255.255.255.0
/ # ping 10.7.90.2
#node2节点容器
#添加防火墙规则
[root@node-63 ~]# iptables -A FORWARD -s 10.7.90.0/16 -j ACCEPT
[root@node-63 ~]# docker run --name bbox1 --rm -it busybox:latest
/ # ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:0A:07:5A:02
inet addr:10.7.90.2 Bcast:0.0.0.0 Mask:255.255.255.0
/ # ping 10.7.9.2
四、kubernetes的对象
1、运行容器遇到问题
- (1)、定义在那个节点中运行那个pod,而pod中运行什么容器。
- (2)、运行的容器化的应用程序,可以获得哪些资源。
- (3)、定义运行的容器化的应用程序各种策略,例如重启、升级。
kubernetes集群必须确保对象存在,目标状态,通过kubernetes server交互
kubernetes对象有两种状态:
- spec和status
spec状态:目标期望状态
status状态:当前状态 - 在任何时间,kubernetes control plane要使每个对象处于目标状态,还要定义有几个副本。
- 在集群中要创建对象时候,必须定义对象的目标状态的描述信息,放置在配置文件中,格式为JSON或yaml格式。
2、容器编排配置文件
各种类型对象及其相关属性文档:
https://v1-9.docs.kubernetes.io/docs/reference/generated/kubernetes-api/v1.9
apiversion:api版本
kind:指明当前属于哪一种部署方式
metadata:源数据配置段
name:定义deployment引用名称
spec:目标状态配置段
replicas:启动pod的数量
template:要创建的pod模板
labels:标签
app:nginx:键值对,键app、值nginx
containers:容器,列出pod中的容器,至少应该一个,且不可被更新。
- name:容器的名字,作为DNS_LBAEL使用,使用后被更新到内部DNS。
image:docker镜像
- 对象文件必须定义apiversion、kind、metadata配置
使用
kubectl create -f ./deployment-example.yaml --record
启动pod常用格式
Deployment对象格式DaemonSet对象格式 service对象格式
ports:开放端口
slector:挑选器pod,请求发往那个pod
type :请求转发到pod类型,例如:clusterip、loadbalancer,nodeport,extername
3、示例
master节点启动服务
[root@master ~]# systemctl start etcd.service
[root@master ~]# systemctl start flanneld.service
[root@master ~]# systemctl start docker-distribution.service
[root@master ~]# systemctl start kube-apiserver.service kube-controller-manager.service kube-scheduler.service
[root@master ~]# ss -tnl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 192.168.1.61:2379 *:*
LISTEN 0 128 192.168.1.61:2380 *:*
LISTEN 0 128 192.168.1.61:8080 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 128 :::5000 :::*
LISTEN 0 128 :::6443 :::*
LISTEN 0 128 :::10251 :::*
LISTEN 0 128 :::10252 :::*
LISTEN 0 128 :::22 :::*
LISTEN 0 100 ::1:25
node1和node2节点启动服务
#避免docker下载https报错,添加
[root@master ~]# vim /etc/docker/daemon.json
{ "insecure-registries":["192.168.1.61:5000"] }
#启动服务
[root@node-62 ~]# systemctl start flanneld.service docker.service kube-proxy.service kubelet.service
[root@node-62 ~]# ss -tnl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 127.0.0.1:10248 *:*
LISTEN 0 128 127.0.0.1:10249 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 128 :::10250 :::*
LISTEN 0 128 :::10255 :::*
LISTEN 0 128 :::22 :::*
LISTEN 0 100 ::1:25 :::*
LISTEN 0 128 :::4194 :::*
制作镜像
[root@node-62 ~]# mkdir bbox-httpd
[root@node-62 ~]# cd bbox-httpd/
#测试网页
[root@node-62 bbox-httpd]# vim index.html
<h1>Busybox Test Httpd Server</h1>
<h2>k8s cluster</h2>
#dockerfile
[root@node-62 bbox-httpd]# vim dockerfile
FROM docker.io/busybox:latest
MAINTAINER "hehe@hehe.com"
ADD index.html /appdata/html/
EXPOSE 80/tcp
CMD ["/bin/httpd","-f","-h","/appdata/html/"]
#制作镜像
[root@node-62 bbox-httpd]# docker build ./ -t 192.168.1.61:5000/bbox-httpd:v0.2
#推送到私有仓库
[root@node-62 bbox-httpd]# docker push 192.168.1.61:5000/bbox-httpd:v0.2
#节点2从私有仓库下载镜像
[root@node-63 ~]# docker pull 192.168.1.61:5000/bbox-httpd:v0.2
在master节点制作对象,严格控制缩进
[root@master ~]# vim deploy-bbox.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: deploy-bbox #名称
spec: #定义状态
replicas: 2 #启动2个
template: #模板
metadata:
labels: #标签
# Apply this label to pods and default
# the Deployment label selector to this value
app: bbox #键值
spec:
containers: #容器
- name: bbox-httpd #名称
# Run this image
image: 192.168.1.61:5000/bbox-httpd:v0.2 #使用镜像
使用对象创建服务
[root@master ~]# kubectl -s http://master:8080 create -f ./deploy-bbox.yaml
deployment "deploy-bbox" created
#检查
[root@master ~]# kubectl -s http://master:8080 get pods
NAME READY STATUS RESTARTS AGE
deploy-bbox-2224464794-0qz7g 1/1 Running 0 2m
deploy-bbox-2224464794-prn3r 1/1 Running 0 2m
#在node节点上检查
[root@node-63 ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a62ea351f09a registry:5000/bbox-httpd:v0.2 "/bin/httpd -f -h ..." 27 minutes ago Up 27 minutes k8s_bbox-httpd.80dbe7ba_deploy-bbox-2224464794-prn3r_default_cb54e66f-1e51-11e9-b922-000c294b0a1b_0554d71f
f182922c8df9 registry.access.redhat.com/rhel7/pod-infrastructure:latest "/usr/bin/pod" 28 minutes ago Up 27 minutes k8s_POD.ae8ee9ac_deploy-bbox-2224464794-prn3r_default_cb54e66f-1e51-11e9-b922-000c294b0a1b_f68413f2
#查询pod的ip地址
...............
"IPAddress": "10.7.25.2",
#测试,并显示测试页面
[root@node-63 ~]# curl http://10.7.25.2
<h1>Busybox Test Httpd Server</h1>
<h2>k8s cluster</h2>
#删除服务
[root@master ~]# kubectl -s http://master:8080 delete -f ./deploy-bbox.yaml
deployment "deploy-bbox" deleted
集群内访问service
#编辑service对象
[root@master ~]# vim bbox-httpd-service.yaml
kind: Service #定义类型为服务
apiVersion: v1
metadata:
# Unique key of the Service instance
name: bbox-httpd-service #名称
spec:
ports:
# Accept traffic sent to port 80
- name: http
port: 80 #监听端口
targetPort: 80 #暴露端口
selector:
# Loadbalance traffic across Pods matching
# this label selector
app: bbox
type: LoadBalancer #访问为轮询
#创建服务
[root@master ~]# kubectl -s http://master:8080 create -f ./bbox-httpd-service.yaml
service "bbox-httpd-service" created
#查询服务状态
[root@master ~]# kubectl -s http://master:8080 get service
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE
bbox-httpd-service 10.254.18.11 <pending> 80:31849/TCP 14s
kubernetes 10.254.0.1 <none> 443/TCP 7d
[root@master ~]# kubectl -s http://master:8080 describe service
Name: bbox-httpd-service
Namespace: default
Labels: <none>
Selector: app=bbox
Type: LoadBalancer
IP: 10.254.241.102
Port: http 80/TCP
NodePort: http 32303/TCP
Endpoints: 10.20.52.2:80,10.20.64.2:80
Session Affinity: None
No events.
#node节点上的iptable规则
[root@node-63 ~]# iptables -t nat -vnL | grep 10.254
0 0 KUBE-SVC-PJU34ZRWOF2LNB5M tcp -- * * 0.0.0.0/0 10.254.241.102 /* default/bbox-httpd-service:http cluster IP */ tcp dpt:80
0 0 KUBE-SVC-NPX46M4PTMTKRN6Y tcp -- * * 0.0.0.0/0 10.254.0.1 /* default/kubernetes:https cluster IP */ tcp dpt:443
#集群内部访问测试
[root@node-62 ~]# curl http://10.254.241.102
<h1>Busybox Test Httpd Server</h1>
<h2>k8s cluster</h2>
[root@node-63 ~]# curl http://10.254.241.102
<h1>Busybox Test Httpd Server</h1>
<h2>k8s cluster</h2>
4、Ingress应用
因为k8s内部使用的ip,只能集群内部使用,因此集群外部无法访问内部应用或服务的ip地址,建立Ingress使service的url映射映射到master的url上,用户访问master的url即可访问内部service。
网友评论