美文网首页
spark集群安装

spark集群安装

作者: 博瑜 | 来源:发表于2017-06-12 07:26 被阅读0次

    生成rsa后,用
    ssh-copy-id targetIP

    spark ui访问不了,考虑防火墙是否关闭
      service iptables stop
      chkconfig iptables off
    

    配置免密码登录的目的是 spark通过ssh协议将远端的worker 启动起来,所以得配。如果不想配,就自己在自己机子上起对应的master 或 worker 不要用start-all

    standalone
    total-executor-core 给所有worker分配的总数 尽量打散 (目前这个) 或 尽量集中
    executor-memory 给每一个worker分配的数 memory per node

    相关文章

      网友评论

          本文标题:spark集群安装

          本文链接:https://www.haomeiwen.com/subject/xzgkqxtx.html