教材:Spark快速大数据分析
系统:macOS
Spark版本:2.4.5
遇到的问题:
1. 在运行P12的lines.count()时显示IllegalArgumentException: 'Unsupported class file major version 57'。在网上查阅后发现是JDK版本问题。本机使用的是JDK 13.0.2,应选用JDK 1.8.0。
记录:
1. 查看本机JDK版本的命令: /usr/libexec/java_home -V
2. 使用Jupyter Notebook进行Spark编程的命令:
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
3. Python初始化Spark:
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("MyApp")
sc = SparkContext(conf=conf)
网友评论