spark2.1源码编译

我的hadoop版本：hadoop-2.6.0-cdh5.7.0
我的scala版本：2.11.8
我的hive版本：hive-1.1.0-cdh5.7.0
hadoop下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
hive下载路径：http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz
spark下载地址:https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0.tgz

1. 进入spark-2.1.0目录的根路径，修改pom.xml

#将以下语句增加到repositorties中，放在第二位
<repository>
  <id>cloudera</id>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>

2. 运行下面的命令：

./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz  \
-Pyarn -Phadoop-2.6 \
-Phive \
-Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0

mac运行了大概30分钟，以前用虚拟机相同的方法也没有成功，配置不够大概是成功不了，网速也很重要。

3. 编译成功后就得到我们的.tgz文件了，解压之后就可以使用了，别忘了在jars文件夹中添加mysql的jar