总目录:https://www.jianshu.com/p/e406a9bc93a9
Hadoop - 子目录：https://www.jianshu.com/p/9428e443b7fd
Spark的部署方式
单机Spark
一般用于测试。
Spark-Mesos
与Spark有血缘关系，性能匹配最好。
Spark-Yarn
基于Hadoop集群，这种实用性最广。
安装Spark
安装前准备：jdk8，hadoop2.7集群，scala2.10以上的软件包，spark2.X软件包。
本次安装基于1.3.3完全分布式搭建。
虽然spark是scala语言编写的，但是因为scala和java的混编特性，只要有java环境就可以安装spark了。
scala软件包解压和spark解压路径一致即可。
首先解压spark软件包：
解压
配置环境变量：
/etc/profile
环境变量
修改配置文件：
之后来到spark目录中的conf目录，这个目录里面放的就是spark所有的配置项。
这个目录中的文件都是以template结尾的模板文件，将slaves和spark-env.sh拷贝出来。
配置项
然后在slaves中添加所有节点。
slaves
然后配置我们的spark-env.sh：
配置
同时修改一下启动关闭项的名称，防止和hadoop的冲突。
修改启动项
传输到其他节点：
传输到slave1
传输到slave2
启动集群：
启动hadoop
启动spark
主节点jps
master是spark主节点标识，worker是任务容器。
从节点jps
从节点jps
网友评论