美文网首页程序员我爱编程
启动spark-shell出错原因

启动spark-shell出错原因

作者: 学习之术 | 来源:发表于2018-03-10 21:12 被阅读1272次

    安装好spark,scala, java, hadoop并设置好相应环境变量后,在终端输入spark-shell时出现以下错误:

    Failed to initialize compiler: object java.lang.Object in compiler mirror not found.
    ** Note that as of 2.8 scala does not assume use of the java classpath.
    ** For the old behavior pass -usejavacp to scala, or if using a Settings
    ** object programmatically, settings.usejavacp.value = true.
    

    但启动pyspark却可以正常使用。google了好久,尝试了各种可能的修改方法,最终查出是我安装的java9,与spark兼容出现问题,而python不需要jdk,所以启动pyspark就没有问题。

    剩下的就是卸载java9,安装java8了。

    java官方给出的卸载方案是,在“终端”窗口中,复制和粘贴命令:

    sudo rm -fr /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin
    sudo rm -fr /Library/PreferencesPanes/JavaControlPanel.prefPane
    sudo rm -fr ~/Library/Application\ Support/Java
    

    最后删除相应的jdk文件(/Library/Java/JavaVirtualMachines/jdk9.jdk)即可完成java的卸载。

    重新安装好java8后,spark-shell正常启动scala。

    相关文章

      网友评论

        本文标题:启动spark-shell出错原因

        本文链接:https://www.haomeiwen.com/subject/dxibfftx.html