学习spark,环境为两台ubuntu16,hostname分别为spark-a,spark-b,做spark集群。两台主机使用相同的用户“lxf”登陆,spark安装路径位于 /home/lxf/spark下。修改a主机spark conf目录下的slaves文件,增加spark-a、spark-b两台主机名。
设置免密登陆:
# 在主节点spark-a上:运行ssh-keygen并接受默认选项
$ ssh-keygen -t dsa
Enter file in which to save the key (/home/lxf/.ssh/id_dsa): [回车]
Enter passphrase (empty for no passphrase): [空]
Enter same passphrase again: [空]
# 在工作节点上:
# 把主节点的~/.ssh/id_dsa.pub文件复制到工作节点上,然后使用:
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod 644 ~/.ssh/authorized_keys
为了启动spark-a的时候也免密码启动,同样把这个pub文件添加到当前用户的authorized_keys文件里。
如果不行可以使用rsa,即运行ssh-keygen -t rsa,生成id_rsa.pub文件做同样的处理就应该可以了。
ubuntu16做spark集群免密码启动
网友评论