CDH升级spark到2.4.0

下载安装包

我用的是centos7操作系统所以下载这三个文件，你可以从下面的下载地址中选择和自己操作系统匹配的文件。
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel

SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1

manifest.json
注意manifest.json使用右键-->链接另存为下载到本地。

下载地址http://archive.cloudera.com/spark2/parcels/latest/

image.png

下载SPARK2_ON_YARN-2.4.0.cloudera2.jar

下载地址http://archive.cloudera.com/spark2/csd/

image.png

上传包到clouderamanager节点所在服务器

1. 将/opt/cloudera/parcel-repo下面的mainifest.json文件重命名,因为不能存在两个重名文件。

cd /opt/cloudera/parcel-repo
mv mainifest.json mainifest_CDH5.json

2. 上传下面三个文件到cloudera manager服务器/opt/cloudera/parcel-repo下

SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
manifest.json

3. 重命名SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1文件为SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha

mv SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha

4. 上传SPARK2_ON_YARN-2.4.0.cloudera2.jar文件到/opt/cloudera/csd目录下

分配并激活parcel

先重启cloudera-scm-agent 和cloudera-scm-server

service cloudera-scm-agent restart
service cloudera-scm-server restart

重启之后点击“主机” --> Parcel,找到SPARK2并点击“分配” -->“激活”

image.png image.png
image.png
image.png

添加spark2服务到集群

image.png

选择spark2然后“继续”

image.png

选择一组依赖关系

image.png
为角色选择主机，然后一路点击“继续”直到完成
image.png
image.png
image.png
image.png

最后在spark2-shell命令中测试

spark2-shell