程序提交或者spark-shell 执行后相关配置的加载过程为:
1、首先执行环境配置脚本spark-evn.conf,设置基本环境变量
2、加载默认配置文件spark-defaulsts.conf
3、读取命令行配置参数,覆盖之前的配置
4、使用SparkConf对象中的配置信息,覆盖之前的配置
程序提交或者spark-shell 执行后相关配置的加载过程为:
1、首先执行环境配置脚本spark-evn.conf,设置基本环境变量
2、加载默认配置文件spark-defaulsts.conf
3、读取命令行配置参数,覆盖之前的配置
4、使用SparkConf对象中的配置信息,覆盖之前的配置
本文标题:Spark配置加载过程
本文链接:https://www.haomeiwen.com/subject/spkpaftx.html
网友评论