看了好几天spark源码，今天突然想试一试如何把spark编译出来。
记录一下编译过程。
第一步，下载源码：
下载源码，考虑到墙的存在，没有直接使用spark提供的下载链接，我是从aliyun的镜像网站下载的，http://mirrors.aliyun.com/apache/spark/spark-1.6.1/spark-1.6.1.tgz 。
将下载好的源码解压：
tar -xf spark-1.6.1.tgz
第二步，编译:
使用spark提供的脚本进行编译：
cd spark-1.6.1
./make-distribution.sh --name custom-spark --tgz -Phadoop-2.4 -Pyarn
漫长的等待过程。
编译好了，会在当前目录产生一个文件spark-1.6.1-bin-custom-spark.tgz
屏幕快照 2016-03-27 下午10.47.15.png
第三步，运行：
解压编译出来的spark运行包：
tar -xf spark-1.6.1-bin-custom-spark.tgz运行spark-shell
cd spark-1.6.1-bin-custom-spark
bin/spark-shell
运行效果图：
屏幕快照 2016-03-27 下午10.51.50.png
网友评论