美文网首页spark on k8s
GoogleCloudPlatform/spark-on-k8s

GoogleCloudPlatform/spark-on-k8s

作者: morphtin | 来源:发表于2019-01-09 11:33 被阅读0次

    官方github地址

    Design and Architecture

    Quick Start Guide

    如何安装helm


    问题1:helm install incubator/sparkoperator --namespace spark-operator  访问不了google

    gcr.io/spark-operator/spark-operator:v2.4.0-v1alpha1-latest 镜像imagepullbackoff下载失败解决方案

    1.注册阿里云进入控制台 搜索容器镜像服务

    2.在容器服务中创建命名空间 创建镜像仓库

    3.github 创建仓库只包含一个Dockerfile

        内容为: FROM gcr.io/spark-operator/spark-operator:v2.4.0-v1alpha1-latest

    4. 绑定github账号选择对应仓库并选择海外机器构建

    创建镜像仓库

    5. 创建后点击管理  然后点构建  添加规则 

    添加规则

    6. 添加后点立即构建 可查看构建日志

    7. 构建成功在基本信息中 docker pull 构建的镜像

    8. docker tag old new即可

    helm list 查看releasename

    helm status releasename 查看状态


    问题2: 运行spark-pi示例

    Failed to run spark-pi example following the guide

    关于创建serviceAccount:

    1.通过apply yaml文件

    2. kubectl create serviceaccount spark

    kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default

    关于examples/spark-pi.yaml 

    查看该yaml文件,k8s各节点docker images须有运行所需的 gcr.io/spark-operator/spark:v2.4.0 镜像  另外imagepullpolicy改为IfNotPresent 

    同时注意serviceAccount: spark



    相关文章

      网友评论

        本文标题:GoogleCloudPlatform/spark-on-k8s

        本文链接:https://www.haomeiwen.com/subject/bppwrqtx.html