1、jdk安装
jdk下载、安装以及环境变量的配置在此不做赘述。
2、Scala安装
下载地址:下载Windows对应的.msi文件,完成后双击执行安装。安装成功后会自动将Scala的bin目录添加到系统变量path中,若path中没有则按照JAVA的方法将Scala的bin目录添加到系统变量中
验证
win+r-->cmd-->scala,若出现以下信息则说明安装成功:
3、spark安装
下载地址:注意选择带有Hadoop的版本。
将下载好的文件解压至安装路径,注意此路径文件夹名不能含空格,否则后期会报错。
将bin目录添加到系统变量path中,可以在命令行窗口直接运行spark-shell,此时会有以下错误是因为还没有安装配置Hadoop:
ERROR Shell:Failed to locate the winutils binary in the hadoop binary path
接下来我们配置Hadoop。
4、Hadoop的安装与配置
在Hadoop的下载页面下载与刚才spark安装版本对应的Hadoop版本。注意下载.tar.gz文件,.src文件为对应的源码。下载完成之后直接解压至安装目录。
下一步设置HADOOP_HOME的环境变量为安装目录,在系统变量path中添加Hadoop的bin目录
测试
win-->cmd-->hadoop
若出现JAVA_HOME is incorrectly set的错误:
第一先检查Hadoop安装目录下etc\hadoop\hadoop-env.cmd 文件中JAVA_HOME变量路径是否有空格,如果有则用PROGRA~1代替原路径中的Program Files即可;
继续上一步测试若还是报相同的错误则检查Hadoop是否与Java安装在同一盘符,此错误可能是由于Windows下Hadoop只能看到自己所在的磁盘;
继续测试若还是相同错误则将hadoop-env.cmd 文件中JAVA_HOME变量路径直接改为自己机器的安装路径。
测试成功结果:
如果不能成功进入环境有可能是因为缺少winutils.exe文件,点击下载 提取码:8n3d
下载完成后选择对应版本的文件放入Hadoop下的bin目录内。
出现以下信息则说明成功:
网友评论