美文网首页
安装Scala-2.11.7——集群学习日记

安装Scala-2.11.7——集群学习日记

作者: Kwongtai | 来源:发表于2017-07-26 11:58 被阅读0次

前言

在安装Spark之前,我们需要安装Scala语言的支持。在此我选择的是scala-2.11.7版本。

scala-2.11.7下载

为了方便,我现在我的SparkMaster主机上先安装,把目录打开到/usr目录下,与我的Java目录相一致。

wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

下载之后解压

tar -zxvf scala-2.11.7.tgz

解压之后删除源文件

rm -rf scala-2.11.7.tgz

配置环境

在此需要打开/etc/profile文件进行配置

vi /etc/profile

在文件的最后插入

export SCALA_HOME=/usr/scala-2.11.7

export PATH=$PATH:$SCALA_HOME/bin

插入了之后要使得命令生效,需要的是:

source /etc/profile

检测是否安装成功

scala -version

配置其他Slave主机也安装scala

在此我选择在SparkMaster上使用rsync命令将/usr/scala-2.11.7/目录复制到其他SparkWorker上,另外/etc/profile文件也同样。

rsync -av /usr/scala-2.11.7/ SparkWorker1:/usr/scala-2.11.7/
rsync -av /usr/scala-2.11.7/ SparkWorker2:/usr/scala-2.11.7/

结言

其实复制的时候多种方式,可以使用scp,但是发现rsync这个命令超级好用,故在此使用rsync进行复制。至此,三台的主机的scale文件已经配置好了。已经挺晚的了,明天再进行配置spark环境吧。

文章出自kwongtai'blog,转载请标明出处!

相关文章

  • 安装Scala-2.11.7——集群学习日记

    前言 在安装Spark之前,我们需要安装Scala语言的支持。在此我选择的是scala-2.11.7版本。 sca...

  • spark-2.2.0安装和部署——集群学习日记

    前言 在安装后hadoop之后,接下来需要安装的就是Spark。 scala-2.11.7下载与安装 具体步骤参见...

  • Hadoop安装指南

    hadoop单机/伪分布式安装指导链接: hadoop集群安装 HDFS学习资源: HDFS入门 Hbase学习资...

  • Kafka安装

    集群安装 kafka集依赖于zookeeer,所以安装kafka 集群时,先确保zookeeper集群已经安装启动...

  • mac本地安装minikube

    为了方便快速体验k8s集群,官方提供了minikube单节点集群,便于在本地安装学习使用。因为网络的原因,在安装过...

  • Elasticsearch学习篇第五章(附):使用ELK实现数据

    基本信息介绍 三台es集群: 备注:安装我之前文件安装es并组装成集群,由于es是安装集群name来实现集群的,只...

  • kafka基本操作

    在学习kafka集群之前,先来学习下单节点kafka的一些基本操作,包括安装及一些基本命令,以便后续集群环境的学习...

  • 基于Docker搭建Spark集群

    介绍 在Mac OS下使用Docker搭建Spark集群,进行学习。 准备工作 安装Docker 安装Docker...

  • 一文学会ES集群安装

    概述 本文主要以elasticsearch-7.10.2-linuxx86_64版本为例,学习ES集群安装。 安装...

  • kafka和zk的集群安装和ssl通信

    目录 准备工作 zk的集群安装 kafka的集群安装 kafka的ssl通信 写在前面 zk和kafka的集群安装...

网友评论

      本文标题:安装Scala-2.11.7——集群学习日记

      本文链接:https://www.haomeiwen.com/subject/vsinkxtx.html