需要启动 hadoop
# 进入hadoop安装目录
cd $HADOOP_HOME
#执行命令
./sbin/start-all.sh
可以查看start-all.sh 脚本 启动hadoop yarn 和 hdfs
提交yarn
spark-submit master yarn xxx.jar
如果出现 hdfs没有写入权限 可以设置hadoop 离开安全模式
离开安全模式
bin/hadoop dfsadmin -safemode leave
# 进入hadoop安装目录
cd $HADOOP_HOME
#执行命令
./sbin/start-all.sh
可以查看start-all.sh 脚本 启动hadoop yarn 和 hdfs
spark-submit master yarn xxx.jar
如果出现 hdfs没有写入权限 可以设置hadoop 离开安全模式
bin/hadoop dfsadmin -safemode leave
本文标题:Spark02 yarn运行
本文链接:https://www.haomeiwen.com/subject/spgsohtx.html
网友评论