Spark三种属性配置方式详细说明

来源：https://www.iteblog.com/archives/1140.html
作者：过往记忆
时间：20140924

Spark的系统配置参数有三种方法：

1. Spark Properties属性配置
2. Environment variables环境变量
3. Logging日志配置

一. Spark Properties属性配置

属性配置有三种配置方式。
<li> 代码配置方式
<code>
val conf = new SparkConf()
.setMaster("local[2]")
.setAppName("CountingSheep")
.set("spark.executor.memory", "1g")
val sc = new SparkContext(conf)
</code>

<li>命令行参数方式
在spark-submit和spark-shell命令的参数中指定。

<code>
./bin/spark-submit --name "My app" --master local[4] --conf spark.shuffle.spill=false
--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar
</code>

spark-shell只支持–master这种形式的参数。spark-submit除了支持这种形式的参数外，还支持–conf标识。
<li>配置文件spark-defaults.conf方式
spark-submit还会读取spark-submit中的配置项

<code>
spark.master spark://5.6.7.8:7077
spark.executor.memory 512m
spark.eventLog.enabled true
spark.serializer org.apache.spark.serializer.KryoSerializer
</code>

如果几种形式的参数有冲突，以第一种方式的优先级最高，第二种方式的优先级次之，第三种方式的优先级最低。

其他