我的hadoop版本：hadoop-2.6.0-cdh5.7.0
我的scala版本：2.11.8
我的hive版本：hive-1.1.0-cdh5.7.0
hadoop下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
hive下载路径：http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz
spark下载地址:https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0.tgz
- 进入spark-2.1.0目录的根路径，修改pom.xml
#将以下语句增加到repositorties中，放在第二位
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>
- 运行下面的命令：
./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Pyarn -Phadoop-2.6 \
-Phive \
-Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0
mac运行了大概30分钟，以前用虚拟机相同的方法也没有成功，配置不够大概是成功不了，网速也很重要。
- 编译成功后就得到我们的.tgz文件了，解压之后就可以使用了，别忘了在jars文件夹中添加mysql的jar
网友评论