本文讲述在一台Centos7笔记本中安装Spark standalone（spark运行需要jdk、scala和spark）和如何提交一个简单的任务到spark上。
一、Spark安装
1，从Oracle下载jdk-8u161-linux-x64.tar.gz到服务器上，由于下载jdk需要登陆Oracle官网，所以不方便用Wget；
下载scala：
wget https://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgz
下载spark：
wget：http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
2，配置环境变量，分别将jdk、scala和Spark解压，对应的解压命令如下，-C为解压到的目录。
tar -zvxf jdk-8u151-linux-x64.tar.gz -C /usr/java
tar -zvxf scala-2.10.6.tgz -C /usr/local/src
tar -zvxf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/src
3，配置jdk、scala和Spark环境变量
vim /etc/profile
添加如下内容：
#set java environment
JAVA_HOME=/usr/java/jdk1.8.0_161
JRE_HOME=/usr/java/jdk1.8.0_161/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
SCALA_HOME=/usr/local/src/scala-2.10.6/
SPARK_HOME=/usr/local/src/spark-2.4.3-bin-hadoop2.7/
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$M2_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/sbin
export JAVA_HOME JRE_HOME CLASS_PATH PATH M2_HOME SCALA_HOME SPARK_HOME
4，在conf文件夹中配置spark-env.sh
cp spark-env.sh.template spark-env.sh
vim spark-env.sh 增加如下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_161
export SCALA_HOME=/usr/local/src/scala-2.10.6/
export SPARK_HOME=/usr/local/src/spark-2.4.3-bin-hadoop2.7/
export SPARK_MASTER_IP=localhost
export SPARK_EXECUTOR_MEMORY=1G
5，启动Spark服务端
./sbin/start-all.sh （启动master和worker，所以是standalone模式）
6，查看spark服务启动情况
jps
结果如下所示，成功启动后可以通过ip：8080访问spark web端，查看提交的任务情况。
[root@192 sbin]# jps
27910 Jps
4301 Master
4382 Worker
7，启动Spark-shell
./bin/spark-shell.sh
二、提交一个简单jar到Spark上。
制作jar包建议创建maven工程然后通过maven插件生成jar包，如果使用Spring boot 虽然生成jar包简单了，但是由于spring boot框架引入了太多jar包，很容易导致同Spark的相关jar冲突，到时候特别折腾。
1，创建maven工程，并指定jar的main函数，pom文件主要内容如下，主要是引入Spark依赖。
<dependencies>
<dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.4.3</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<version>2.4</version>
<configuration>
<archive>
<manifest>
<mainClass>com.sparker.SimpleApp</mainClass>
</manifest>
</archive>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>8</source>
<target>8</target>
</configuration>
</plugin>
</plugins>
</build>
2，java 统计输入文件中单词数量，其中要注意spark默认是从hdfs上读取文件，所以在linux服务器上输入本地文件路径的格式为file:///data/file/inputfile。另外该jar包的打包方式位将其依赖打包到jar中，因为服务器的classpath中有其依赖，所以可以不用打包的应用jar包中。
public class SimpleApp {
public static void main(String[] args) {
String filePath = args[0];
String outPath = args[1];
SparkConf sparkConf = new SparkConf().setAppName("wordcount");
JavaSparkContext sc = new JavaSparkContext(sparkConf);
//以空格切分英文单词
JavaRDD<String> input = sc.textFile(filePath);
JavaRDD<String> words = input.flatMap(x -> Arrays.asList(x.split(" ")).iterator());
//转化为键值对操作/data/sparkdemo
JavaPairRDD<String, Integer> count = words.mapToPair(x -> new Tuple2<>(x, 1)).reduceByKey((x, y) -> x + y);
count.saveAsTextFile(outPath);
sc.close();
}
}
3，提交任务到spark上,注意看执行命令后的输出日志，是否有错误信息等。
./spark-submit --class com.sparker.SimpleApp --master spark://IP:7077 --executor-memory 1G --total-executor-cores 2 /data/sparkdemo/spark-test-1.0-SNAPSHOT.jar file:///data/sparkdemo/1.txt file:///data/sparkdemo/output.txt
相关问题说明：
1，在window上运行程序可能会出现
2019-06-15 17:53:34,094 ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
错误，对于初学者可能会觉得会影响程序的执行，其实不会不用理会。
2，windows上执行找不到输入文件路径
关于在Spark集群中读取本地文件抛出找不到文件异常的问题，一般情况下，我们在本地ide里写好程序，打成jar包上传到集群取运行，有时候需要读取数据文件，这个时候需要注意，如果程序中读取的是本地文件，那么，要在所有的节点都有这个数据文件，只在master中有这个数据文件时，执行程序会一直报找不到文件。
解决方式1：让每个Worker节点的相应位置都有要读取的数据文件。
解决方式2：直接将数据文件上传到hdfs，达到数据共享。
网友评论