美文网首页
ubuntu16做spark集群免密码启动

ubuntu16做spark集群免密码启动

作者: 默默189 | 来源:发表于2017-05-25 18:01 被阅读0次

    学习spark,环境为两台ubuntu16,hostname分别为spark-a,spark-b,做spark集群。两台主机使用相同的用户“lxf”登陆,spark安装路径位于 /home/lxf/spark下。修改a主机spark conf目录下的slaves文件,增加spark-a、spark-b两台主机名。

    设置免密登陆:

    # 在主节点spark-a上:运行ssh-keygen并接受默认选项

    $ ssh-keygen -t dsa

    Enter file in which to save the key (/home/lxf/.ssh/id_dsa): [回车]

    Enter passphrase (empty for no passphrase): [空]

    Enter same passphrase again: [空]

    # 在工作节点上:

    # 把主节点的~/.ssh/id_dsa.pub文件复制到工作节点上,然后使用:

    $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    $ chmod 644 ~/.ssh/authorized_keys

    为了启动spark-a的时候也免密码启动,同样把这个pub文件添加到当前用户的authorized_keys文件里。

    如果不行可以使用rsa,即运行ssh-keygen -t rsa,生成id_rsa.pub文件做同样的处理就应该可以了。

    ubuntu16做spark集群免密码启动

    相关文章

      网友评论

          本文标题:ubuntu16做spark集群免密码启动

          本文链接:https://www.haomeiwen.com/subject/jiuzxxtx.html