Byzer on Yarn

Byzer-lang 天然支持 Yarn 运行。

1. 下载 Hadoop 3 个 *-site.xml 文件到 1 个目录
2. 设置环境变量 $HADOOP_CONF_DIR 为 第 1 步目录
3. 修改 Byzer conf/byzer.properties.override 文件

# Yarn 模式运行
spark.master=yarn
spark.executor.instances=2
spark.executor.cores=1
spark.executor.memory=8g
spark.driver.memory=16g
spark.driver.cores=4

4. 执行 byzer.sh start 启动