由于YARN client模式对用户不直接暴露用于提交YARN程序的辅助程序，因此许多参数是通过环境变量来设置的，可以在spark-env.sh中进行如下配置：
spark-env.sh
这是我的spark-env.sh里面进行的相关配置，对于启动Spark最关键的前三项设置。
HADOOP_HOME：设置hadoop的安装目录；
HADOOP_CONF_DIR：设置hadoop配置文件的目录；
YARN_CONF_DIR：设置yarn配置文件的目录，同上；
在我通过bin/spark-submit --master yarn-client.....提交我的应用程序时，出现了如下诊断错误，导致应用程序状态失败，异常退出：
Diagnostics
经过查找资料和配置分析， 找到了问题的根源。从诊断报告可以看出主要是container的虚拟内存的使用量超出的原因，可以通过（1）关闭虚拟内存使用检查（2）增加虚拟内存与物理内存的比例值。具体参数在yarn-site.xml中完成：
spark-defaults.conf
网友评论