美文网首页
【k8s系列1】spark on k8s 与 spark on

【k8s系列1】spark on k8s 与 spark on

作者: 鸿乃江边鸟 | 来源:发表于2020-10-09 15:23 被阅读0次

对于目前基于k8s的的spark应用,主要采用两种方式运行

前者是spark社区支持k8s这种资源管理框架而引入的k8s client的实现

后者是k8s社区为了支持spark而开发的一种operator

区别 spark on k8s spark on k8s operator
社区支持 spark社区 GoogleCloudPlatform非官方支持
版本要求 spark>=2.3,Kubernetes>=1.6 spark>2.3,Kubernetes>=1.13
安装 按照官网安装,需要k8s pod的create list edit delete权限,且需要自己编译源码进行镜像的构建,构建过程繁琐 需要k8s admin安装incubator/sparkoperator,需要pod create list edit delete的权限
使用 直接spark submit提交,如:下面code 1,支持client和cluster模式,具体参数参考spark on k8s 通过yaml配置文件形式提交,支持client和cluster模式,提交如code2,具体参数参考spark operator configuration
优点 符合sparker的方式进行任务提交,对于习惯了spark的使用者来说,使用起来更顺手 k8s配置文件方式提交任务,复用性强
缺点 运行完后driver的资源不会自动释放 运行完后driver的资源不会自动释放
实现方式 对于spark提交方式来说,无论是client提交还是cluster提交,入口都是继承SparkApplication。以client提交,子类则是JavaMainApplication,该方式以反射运行,对于k8s任务来分析,clusterManager为KubernetesClusterManager,该方式和向yarn提交任务的方式没什么区别;以cluster方式提交,对于k8s任务来说,spark程序的入口为KubernetesClientApplication,client端会建立clusterIp为None的service,executor跟该service进行rpc,如任务的提交的交互,且会建立以driver-conf-map后缀的configMap,该configMap在建立spark driver pod的时候,以volumn挂载的形式被引用,而该文件的内容最终在driver提交任务的时候以--properties-file形式提交给spark driver,从而spark.driver.host等配置项就传输给了driver,与此同时也会建立以-hadoop-config为后缀的configMap,可是 k8s 镜像怎么区分是运行executor还是driver的呢?一切都在dockerfile(具体构建的时候根据hadoop和kerbeors环境的不一样进行区别配置)和entrypoint中,其中shell中是区分driver和executor的; 采用k8s CRD Controller的机制,自定义CRD,根据operator SDK,监听对应的增删改查event,如监听到对应的CRD的创建事件,则根据对应yaml文件配置项,建立pod,进行spark任务的提交,具体的实现,可参考spark on k8s operator design,具体以cluster和client模式提交的原理和spark on k8s一致,因为镜像复用的是spark的官方镜像

code 1

---

bin/spark-submit \

    --master k8s://https://localhost:6443 \

    --deploy-mode cluster \

    --name spark-pi \

    --class org.apache.spark.examples.SparkPi \

    --conf spark.executor.instances=2 \

    --conf "spark.kubernetes.namespace=dev" \

    --conf "spark.kubernetes.authenticate.driver.serviceAccountName=monkeyboy" \

    --conf "spark.kubernetes.container.image=xxx/dev/spark:cdh-2.6.0-5.13.1" \

    --conf "spark.kubernetes.container.image.pullSecrets=monkeyboy" \

    --conf "spark.kubernetes.file.upload.path=hdfs:///tmp" \

    --conf "spark.kubernetes.container.image.pullPolicy=Always" \

    hdfs:///tmp/spark-examples_2.12-3.0.0.jar


code 2

---

apiVersion: "sparkoperator.k8s.io/v1beta2"

kind: SparkApplication

metadata:

  name: spark-pi

  namespace: dev

spec:

  type: Scala

  mode: cluster

  image: "gcr.io/spark-operator/spark:v3.0.0"

  imagePullPolicy: Always

  mainClass: org.apache.spark.examples.SparkPi

  mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.12-3.0.0.jar"

  sparkVersion: "3.0.0"

  restartPolicy:

    type: Never

  volumes:

    - name: "test-volume"

      hostPath:

        path: "/tmp"

        type: Directory

  driver:

    cores: 1

    coreLimit: "1200m"

    memory: "512m"

    labels:

      version: 3.0.0

    serviceAccount: monkeyboy

    volumeMounts:

      - name: "test-volume"

        mountPath: "/tmp"

  executor:

    cores: 1

    instances: 1

    memory: "512m"

    labels:

      version: 3.0.0

    volumeMounts:

      - name: "test-volume"

        mountPath: "/tmp"

相关文章

网友评论

      本文标题:【k8s系列1】spark on k8s 与 spark on

      本文链接:https://www.haomeiwen.com/subject/csmlpktx.html