版本选择
java1.8
scala2.11.12
spark 2.4.3
hadoop 2.7.3
hadoop在windows下运行插件winutil
scala环境配置
todo
spark环境配置
打开 File -> Project Structure，按下图选择上面下载的sprak下的jar包，一路点击后选择 Apply 后可看到右侧出现了对应的包
image
image
【参考文献】
https://www.jianshu.com/p/ec31dc3b6c0f
hadoop-2.7.3解压失败解决办法：
1、解压文件出错，如下信息：
D:\hadoop-2.7.3.tar.gz: 无法创建符号链接 D:\hadoop-2.7.3\lib\native\libhadoop.so
2、失败原因：
客户端没有所需的特权。
您可能需要以管理员身份运行 WinRAR
3、解决方式如下：
WIN + R快捷的打开命令窗口，输入CMD
输入：cd /d D:\hadoop-2.7.3
这是我的文件夹
然后再输入：start winrar x -y hadoop-2.7.3.tar.gz
也就是调用了winrar 解压了我需要解压的压缩包——“hadoop-2.7.3.tar.gz”
然后就顺利的解压成功了。
【参考文献】
https://blog.csdn.net/ruangaoyan/article/details/100154959
屏蔽spark程序的info日志
【参考文献】
https://blog.csdn.net/qq_21918145/article/details/86545261
网友评论