美文网首页
spark基础学习-环境搭建(windows+Java)

spark基础学习-环境搭建(windows+Java)

作者: Legents | 来源:发表于2020-03-03 23:29 被阅读0次

1、jdk安装

jdk下载、安装以及环境变量的配置在此不做赘述。

2、Scala安装

下载地址:下载Windows对应的.msi文件,完成后双击执行安装。安装成功后会自动将Scala的bin目录添加到系统变量path中,若path中没有则按照JAVA的方法将Scala的bin目录添加到系统变量中

验证

win+r-->cmd-->scala,若出现以下信息则说明安装成功:

3、spark安装

下载地址:注意选择带有Hadoop的版本。

将下载好的文件解压至安装路径,注意此路径文件夹名不能含空格,否则后期会报错。

将bin目录添加到系统变量path中,可以在命令行窗口直接运行spark-shell,此时会有以下错误是因为还没有安装配置Hadoop:

ERROR Shell:Failed to locate the winutils binary in the hadoop binary path

接下来我们配置Hadoop。

4、Hadoop的安装与配置

在Hadoop的下载页面下载与刚才spark安装版本对应的Hadoop版本。注意下载.tar.gz文件,.src文件为对应的源码。下载完成之后直接解压至安装目录。

下一步设置HADOOP_HOME的环境变量为安装目录,在系统变量path中添加Hadoop的bin目录

测试

win-->cmd-->hadoop

若出现JAVA_HOME is incorrectly set的错误:

第一先检查Hadoop安装目录下etc\hadoop\hadoop-env.cmd 文件中JAVA_HOME变量路径是否有空格,如果有则用PROGRA~1代替原路径中的Program Files即可;

继续上一步测试若还是报相同的错误则检查Hadoop是否与Java安装在同一盘符,此错误可能是由于Windows下Hadoop只能看到自己所在的磁盘;

继续测试若还是相同错误则将hadoop-env.cmd 文件中JAVA_HOME变量路径直接改为自己机器的安装路径。

测试成功结果:

如果不能成功进入环境有可能是因为缺少winutils.exe文件,点击下载 提取码:8n3d

下载完成后选择对应版本的文件放入Hadoop下的bin目录内。

出现以下信息则说明成功:

感谢 https://www.cnblogs.com/xuliangxing/p/7279662.html

https://blog.csdn.net/qq_24125575/article/details/76186309

相关文章

网友评论

      本文标题:spark基础学习-环境搭建(windows+Java)

      本文链接:https://www.haomeiwen.com/subject/yrirlhtx.html