美文网首页
spark基础学习-环境搭建(windows+Java)

spark基础学习-环境搭建(windows+Java)

作者: Legents | 来源:发表于2020-03-03 23:29 被阅读0次

    1、jdk安装

    jdk下载、安装以及环境变量的配置在此不做赘述。

    2、Scala安装

    下载地址:下载Windows对应的.msi文件,完成后双击执行安装。安装成功后会自动将Scala的bin目录添加到系统变量path中,若path中没有则按照JAVA的方法将Scala的bin目录添加到系统变量中

    验证

    win+r-->cmd-->scala,若出现以下信息则说明安装成功:

    3、spark安装

    下载地址:注意选择带有Hadoop的版本。

    将下载好的文件解压至安装路径,注意此路径文件夹名不能含空格,否则后期会报错。

    将bin目录添加到系统变量path中,可以在命令行窗口直接运行spark-shell,此时会有以下错误是因为还没有安装配置Hadoop:

    ERROR Shell:Failed to locate the winutils binary in the hadoop binary path

    接下来我们配置Hadoop。

    4、Hadoop的安装与配置

    在Hadoop的下载页面下载与刚才spark安装版本对应的Hadoop版本。注意下载.tar.gz文件,.src文件为对应的源码。下载完成之后直接解压至安装目录。

    下一步设置HADOOP_HOME的环境变量为安装目录,在系统变量path中添加Hadoop的bin目录

    测试

    win-->cmd-->hadoop

    若出现JAVA_HOME is incorrectly set的错误:

    第一先检查Hadoop安装目录下etc\hadoop\hadoop-env.cmd 文件中JAVA_HOME变量路径是否有空格,如果有则用PROGRA~1代替原路径中的Program Files即可;

    继续上一步测试若还是报相同的错误则检查Hadoop是否与Java安装在同一盘符,此错误可能是由于Windows下Hadoop只能看到自己所在的磁盘;

    继续测试若还是相同错误则将hadoop-env.cmd 文件中JAVA_HOME变量路径直接改为自己机器的安装路径。

    测试成功结果:

    如果不能成功进入环境有可能是因为缺少winutils.exe文件,点击下载 提取码:8n3d

    下载完成后选择对应版本的文件放入Hadoop下的bin目录内。

    出现以下信息则说明成功:

    感谢 https://www.cnblogs.com/xuliangxing/p/7279662.html

    https://blog.csdn.net/qq_24125575/article/details/76186309

    相关文章

      网友评论

          本文标题:spark基础学习-环境搭建(windows+Java)

          本文链接:https://www.haomeiwen.com/subject/yrirlhtx.html