作者: 陆言欢 | 来源:发表于2020-06-06 18:34 被阅读0次

教材:Spark快速大数据分析

系统:macOS

Spark版本:2.4.5

遇到的问题:

1. 在运行P12的lines.count()时显示IllegalArgumentException: 'Unsupported class file major version 57'。在网上查阅后发现是JDK版本问题。本机使用的是JDK 13.0.2,应选用JDK 1.8.0。

记录:

1. 查看本机JDK版本的命令: /usr/libexec/java_home -V

2. 使用Jupyter Notebook进行Spark编程的命令:

    export PYSPARK_DRIVER_PYTHON=jupyter

    export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

3. Python初始化Spark:

from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("MyApp")

sc = SparkContext(conf=conf)

相关文章

  • 。一一,一,一,一。

    一,、

  • 一 一

    2018年6月22日 星期五 雨 一水一万物 一星一宇宙 一字一文章 一书一世界 一读一微笑 一赞一知音

  • 一 一

    杨德昌《一 一》,早年曾看过一遍。 婷婷短发,白净,蓝色衬衫,学生裙,黑皮鞋,白袜子,学习很好的中学女生。温柔,懂...

  • 一 一

    给自己无处安放的灵魂找到了家!简书,我的新写作时光!继续,在流年里拾荒,禅落一身的光!

  • 一.一

  • 一.一

    一节车厢,一只行囊,肯为当时一念疯狂。 一根点燃,一缕惆怅,不许未来一片迷茫。 一眼远看,一众不详,哪知各位一去何...

  • 一(一)

    我叫一,总有人喜欢在背后说我,因为很多时候我都是自己一个人。很多人都说我很孤单,看起来很可怜,但我觉得很奇怪,他们...

  • (一-一)

    白天不看书晚上开灯照亮全宿舍的sb们该睡了

  • 一梦一寻(一)

    01 你在想什么?宝贝。” 一个磁性而温柔的声音传来。一双温柔的手轻抚我的头,这温暖使我从漫天的思绪中挣脱出来。 ...

  • 一梦一浮生(一)

    我曾做过一个梦。 曾梦见你给我画了很多很多的画,写了一封很长很长的信。 我看信看到很感动很感动但却很悲伤。 但我却...

网友评论

      本文标题:

      本文链接:https://www.haomeiwen.com/subject/ekhftktx.html