本文基于 CHD 14.2 ,UBUNTU 14.04 进行安装
注意事项： 本文中有chown授权， 千万不要图方便直接 chown -R /opt/cloudera 否则会发生你意想不到的惊喜你懂的
开始：以下操作基于主节点：也就是CHD SERVER节点
1，关闭集群，关闭CMS，关闭CDH AGENT 与SERVER
2，下载文件
下载仓库：
http://archive.cloudera.com/spark2/parcels/
下载包parcel包（依据我系统的版本，请下载自己对应的版本）：
我的spark 版本为2.1
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/manifest.json
3，更名与放置到对应目录
下载完成过后 将 SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1 改名为SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha
这一步比较重要：先将 /opt/cloudera/parcel-repo 下的 mainifest.json 重命名以下 比如 mv manifest.json manifest.json.cdh.bak
继续： 将下载的三个文件放置到 /opt/cloudera/parcel-repo 下面
将 三个文件授权给 cloudera-scm , 比如: chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
最后效果：
PARCEL-REPO 目录效果
4，下载 检测依赖包（我取的名字，后面会介绍为啥）
下载仓库：http://archive.cloudera.com/spark2/csd/
我的地址：http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar
5，放置检测包到指定位置
将 http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar，下载好过后，放置到
/opt/cloudera/csd中，如果没有： mkdir -p /opt/cloudera/csd
接着更改授权，命令参考前面授权 chown -R cloudera-scm:cloudera-scm /opt/cloudera/csd
效果图：
6，依次启动 CM SERVER， AGENT ， 然后 访问 7180，启动CMS，启动集群
7，安装更新
登录CDH，然后依次选中图中勾选处 主机-》PARCEL
检查更新
我这里因为已经安装好所以是已分配已激活，自行分配激活
来吧，开始安装啦
看到了么？高兴么？
问题： 什么 ？ 没看到？
1，按照本教程重新走一次，特别是启动程序与停止程序步骤
2，特别注意 文件的放置目录 ，本文只提到了两个目录 /opt/cloudera/csd ，检测目录与 /opt/cloudera/parcel-repo 仓库目录
好，接着来说说我的问题：
因为 磁盘挂载关系，无法将CDH安装到/opt/下，因为 /opt被挂到了根/ 目录下，磁盘空间有限
总之/opt/cloudera 为 cdh默认指定目录 ，我没有安装过去
而是重置了目录：
例如：
点击配置
这是测试环境，我使用的是默认目录，注意 标记1，如果更改，请重启所有代理，这里的代码是指：cdh的 agent
如果你更改了，OK ，想要升级SPARK的话 ，那么上述所有的/opt/cloudera 都要更改为你配置的指定目录
但是：！！！！！！！！！！！！！问题来了，升级spark2的时候有一个csd目录，是没在这里的，也就是无法配置的。
所以 如果你要升级，csd文件目录/opt/cloudera/csd 你必须手动创建，然后把jar放进去
网友评论