spark集群环境搭建（超详细）

精简流程

1.安装vm ubuntu虚拟机

2.新建2台虚拟机  

3.虚拟机之间ssh免密登录

4.在一台虚拟机上搭建java ,scala,spark,hadoop环境

5.成功

详细过程:

2.新建两台虚拟机：（这里我用的是ubuntu 16.04）

3.ssh免密登录:

   1.    sudo apt-get install openssh-server  //安装ssh(在两台机器上都安装)

    2. /etc/init.d/sshstart  // 启动ssh (在slave 上启动:)

    3. sudo vim  /etc/hostname   //两台机器上都操作（一个master ,另一个slave,没有vim  先 sudo apt-get install vim）

   4.  sudo vim /etc/hosts //两台机器都操作 hosts内容如下：

(192.168.195.130  master

192.168.195.131   slave)

5. ssh-keygen -t rsa   //输入之后一直选择enter即可

sudo scp id_rsa.pub spark@slave:~/.ssh //复制到slave机器上

sudo cat id_rsa.pub >> authorized_keys //免密认证

sudo chmod 600 authorized_keys  //加权限

6  在master 上  输入  ssh spark@slave    即可

4.