美文网首页
standalone flink on k8s 教程—— App

standalone flink on k8s 教程—— App

作者: ZYvette | 来源:发表于2020-06-28 16:18 被阅读0次

    生成 docker镜像

    1. 下载链接中的配置文件
      参考:
      https://github.com/apache/flink/tree/release-1.8/flink-container/docker

      image.png
    2. 首先将用户jar包下载下来到本地,如 WorkCount.jar

    3. 将flink 安装包下载下来,或者配置好配置文件后达成tgz文件

    4. 执行如下命令则生成 flink-job:latest的docker镜像

    sh build.sh --job-jar WordCount.jar --from-archive flink-1.8.0-bin-scala_2.11.tgz
    

    创建standalone flink 任务集群

    1.下载链接中的配置文件到本地
    参考:
    https://github.com/apache/flink/tree/release-1.8/flink-container/kubernetes

    image.png

    2.执行下面的命令:

    (1) 创建service

    kubectl create -f job-cluster-service.yaml
    

    (2) 创建jobmanager

    FLINK_IMAGE_NAME=flink-job:latest FLINK_JOB_PARALLELISM=1 envsubst < job-cluster-job.yaml.template | kubectl create -f -
    

    注意: 这里的FLINK_JOB_PARALLELISM 是指flink-job的并行度

    (3)创建taskmanager

    FLINK_IMAGE_NAME=flink-job:latest FLINK_JOB_PARALLELISM=1 envsubst < task-manager-deployment.yaml.template | kubectl create -f -
    

    注意: 这里的FLINK_JOB_PARALLELISM 指的是taskmanager的个数

    执行结果如下:


    flink on k8s执行步骤

    最后:
    登录ip:30081即可查看flink页面

    删除任务

    任务执行结束,jobmanager是completed,而taskmanager因为是deployment,所以还是Running状态。因此需要手动深处任务。

    kubectl delete job flink-job-cluster
    kubectl delete deployment flink-task-manager
    kubectl delete service flink-job-cluster
    

    其他

    1. 相关问题:standalone flink on k8s 部署问题
    2. 不同版本执行的执行的命令略有不同,具体的还是看github链接上的命令,本文中使用的是1.8版本

    相关文章

      网友评论

          本文标题:standalone flink on k8s 教程—— App

          本文链接:https://www.haomeiwen.com/subject/mydwfktx.html