docker已老, 函数式运维才是未来-03:KSQL集群搭建

作者: larluo_罗浩 | 来源:发表于2018-08-11 10:35 被阅读841次

docker已老, 函数式运维才是未来-03:KSQL集群搭建
docker已老, 函数式运维才是未来-01:springboo
Centos 7 搭建Docker环境
docker已老, 函数式运维即未来-05:Postgres-X
docker已老, 函数式运维即未来-04:hbase-2.1
docker已老, 函数式运维即未来-02: elk-6.2.4
2019-03-13 初识docker
【Linux】学习环境搭建，ip配置及ssh连接
docker环境下搭建hadoop集群
函数式运维

KSQL是个好东西，了解得人较少，我也不多介绍，愿者上钩。喜欢它的，拿起来就是用。

KSQL集群的组件有点多，这里使用了zookeeper + kafka + ksql + kafka connect + kafka schema registry.

a. zookeeper跟kafka是最基础的消列队列集群组件。
b. ksql是一套流式计算引擎的集群
c. kafka connect是一套管理外部系统输入输出接口的集群
d. kafka schema registry 是一套多模式管理集群。

所以我们主要有以下过程:

创建三台虚拟机及其用户
打包(confluent-oss-5.0.0 & postgres)服务依赖
部署(confluent-oss-5.0.0 & postgres )至远程服务
启动(zookeeper & kafka & schem-registry & ksql & kafka connect & postgres)远程服务
ETL之extract: 使用avro-console-producer 生成输入数据 (后续切换成文件实时读取)
ETL之tranform: 使用ksql对数据进行简单处理
ETL之load: 使用kafka connect输出数据至postgres

第0步-准备工作: 创建三台虚拟机并创建用户op

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/ksql-example/createvm.sh
set -e
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

echo -e "\n==== bash nix.sh create-vm nixos-ksql-001" && bash nix.sh create-vm nixos-ksql-001
echo -e "\n==== bash nix.sh create-vm nixos-ksql-002" && bash nix.sh create-vm nixos-ksql-002
echo -e "\n==== bash nix.sh create-vm nixos-ksql-003" && bash nix.sh create-vm nixos-ksql-003

image.png

第一步. 打包(confluent-oss-5.0.0 & postgres)服务依赖

由于 KSQL目前未集成到nixpkgs中，我们要么采用nix-build构建整合，或者自己打包依赖。这里我们采用后面一种方案，便于没有nix编程基础的朋友使用, 后续提供nix-build整合方案。
gettext依赖为服务启动脚本调用命令envsubst的软件包

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/ksql-example/package.sh
set -e
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

echo -e "\n==== bash nix.sh export tgz.nix-2.0.4" && bash nix.sh export tgz.nix-2.0.4
echo -e "\n==== bash nix.sh export tgz.confluent-oss-5.0.0" && bash nix.sh export tgz.confluent-oss-5.0.0

echo -e "\n==== bash nix.sh export nix.gettext-0.19.8.1" && bash nix.sh export nix.gettext-0.19.8.1
echo -e "\n==== bash nix.sh export nix.openjdk-8u172b11" && bash nix.sh export nix.openjdk-8u172b11
echo -e "\n==== bash nix.sh export nix.postgresql-10.4" && bash nix.sh export nix.postgresql-10.4

image.png

第二步: 部署(confluent-oss-5.0.0 & postgres )至远程服务

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/ksql-example/deploy.sh
set -e
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

export my_rhome=/home/op/my-env
export my_user=op
echo -e "\n==== bash nix.sh create-user 192.168.56.101" && bash nix.sh create-user 192.168.56.101
echo -e "\n==== bash nix.sh create-user 192.168.56.102" && bash nix.sh create-user 192.168.56.102
echo -e "\n==== bash nix.sh create-user 192.168.56.103" && bash nix.sh create-user 192.168.56.103

echo -e "\n==== bash nix.sh install 192.168.56.101 tgz.nix-2.0.4" && bash nix.sh install 192.168.56.101 tgz.nix-2.0.4
echo -e "\n==== bash nix.sh install 192.168.56.102 tgz.nix-2.0.4" && bash nix.sh install 192.168.56.102 tgz.nix-2.0.4
echo -e "\n==== bash nix.sh install 192.168.56.103 tgz.nix-2.0.4" && bash nix.sh install 192.168.56.103 tgz.nix-2.0.4

echo -e "\n==== bash nix.sh import 192.168.56.101 tgz.confluent-oss-5.0.0" && bash nix.sh import 192.168.56.101 tgz.confluent-oss-5.0.0
echo -e "\n==== bash nix.sh import 192.168.56.102 tgz.confluent-oss-5.0.0" && bash nix.sh import 192.168.56.102 tgz.confluent-oss-5.0.0
echo -e "\n==== bash nix.sh import 192.168.56.103 tgz.confluent-oss-5.0.0" && bash nix.sh import 192.168.56.103 tgz.confluent-oss-5.0.0

echo -e "\n==== bash nix.sh install 192.168.56.101 nix.gettext-0.19.8.1" && bash nix.sh install 192.168.56.101 nix.gettext-0.19.8.1
echo -e "\n==== bash nix.sh install 192.168.56.102 nix.gettext-0.19.8.1" && bash nix.sh install 192.168.56.102 nix.gettext-0.19.8.1
echo -e "\n==== bash nix.sh install 192.168.56.103 nix.gettext-0.19.8.1" && bash nix.sh install 192.168.56.103 nix.gettext-0.19.8.1

echo -e "\n==== bash nix.sh install 192.168.56.101 nix.openjdk-8u172b11" && bash nix.sh install 192.168.56.101 nix.openjdk-8u172b11
echo -e "\n==== bash nix.sh install 192.168.56.102 nix.openjdk-8u172b11" && bash nix.sh install 192.168.56.102 nix.openjdk-8u172b11
echo -e "\n==== bash nix.sh install 192.168.56.103 nix.openjdk-8u172b11" && bash nix.sh install 192.168.56.103 nix.openjdk-8u172b11

第三步: 启动(zookeeper & kafka & schem-registry & ksql & kafka connect & postgres)远程服务

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/ksql-example/start.sh 
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

export ZK_ALL="192.168.56.101:2181,192.168.56.102:2181,192.168.56.103:2181"
# start confluent-oss-5.0.0:zookeeper
echo -e "\n==== bash nix.sh start 192.168.56.101:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}" 
                bash nix.sh start 192.168.56.101:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}
echo -e "\n==== bash nix.sh start 192.168.56.102:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}"
                bash nix.sh start 192.168.56.102:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}
echo -e "\n==== bash nix.sh start 192.168.56.103:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}" 
                bash nix.sh start 192.168.56.103:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}

echo -e "\n==== sleep 10 " && sleep 10
# start confluent-oss-5.0.0:kafka
export KAFKA_ALL="192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092"
echo -e "\n==== bash nix.sh start 192.168.56.101:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor"                                                                                          
                bash nix.sh start 192.168.56.101:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor                                                                                           
echo -e "\n==== bash nix.sh start 192.168.56.102:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor"                                                                                          
                bash nix.sh start 192.168.56.102:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor                                                                                           
echo -e "\n==== bash nix.sh start 192.168.56.103:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor"                                                                                          
                bash nix.sh start 192.168.56.103:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor

echo -e "\n==== sleep 10 " && sleep 10
# start confluent-oss-5.0.0:schema-registry
echo -e "\n==== bash nix.sh start 192.168.56.101:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor"
                bash nix.sh start 192.168.56.101:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.102:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor"
                bash nix.sh start 192.168.56.102:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.103:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor"
                bash nix.sh start 192.168.56.103:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor

echo -e "\n==== sleep 10 " && sleep 10
# start confluent-oss-5.0.0:ksql
echo -e "\n==== bash nix.sh start 192.168.56.101:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.101:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.102:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.102:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.103:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.103:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor


# start confluent-oss-5.0.0:kafka-connect
echo -e "\n==== bash nix.sh start 192.168.56.101:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.101:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.102:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.102:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.103:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.103:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor

# start postgresql-10.4
echo -e "\n==== bash nix.sh start 192.168.56.101:5432 postgresql-10.4" && bash nix.sh start 192.168.56.101:5432 postgresql-10.4

docker已老, 函数式运维才是未来-03:KSQL集群搭建
KSQL是个好东西，了解得人较少，我也不多介绍，愿者上钩。喜欢它的，拿起来就是用。 KSQL集群的组件有点多，这...
docker已老, 函数式运维才是未来-01:springboo
经常上线部署代码的人会知道，版本是个很头疼的问题，环境也是很头疼的问题。这些是很简单的问题，但是总避免不了。为啥 ...
Centos 7 搭建Docker环境
Centos 7 搭建Docker环境 Docker简介产生背景开发和运维之间因为环境不同而导致的矛盾集群环...
docker已老, 函数式运维即未来-05:Postgres-X
postgres-xl是个好东西？为什么呢？ postgres-xl基于postgresql数据库, postgr...
docker已老, 函数式运维即未来-04:hbase-2.1
作为一个大数据从业者来说, hadoop, hbase, hive, spark, storm这是都是应用得比较成...
docker已老, 函数式运维即未来-02: elk-6.2.4
自动化运维已经是必不可少的一环，经历过生产上各种版本问题，简单是痛心疾首，忍不住拿此开刀，希望借此帮助提升国人的技...
2019-03-13 初识docker
docker 更为方便的运维方式，创建虚拟机，下载，启动服务，创建集群。极大的简化了运维流程 docker-mac...
【Linux】学习环境搭建，ip配置及ssh连接
参考资料：1.视频课程《Linux运维》2.书籍PDF版《Linux运维 Web集群实战》搭建学习环境VMwar...
docker环境下搭建hadoop集群
博客推荐: docker环境下搭建hadoop集群使用docker搭建hadoop集群，大致分为如下几步：在...
函数式运维
今天偶然在简书上看到一篇函数式运维的文章，概念新颖小众，记录一下，期待函数式运维能发展壮大。自动化运维现状在企...