美文网首页程序员
spark开发环境搭建

spark开发环境搭建

作者: 请叫我刚爷 | 来源:发表于2018-01-15 22:27 被阅读69次

    1、下载工具

    下载开发工具luna eclipse 或者 Intellij IDEA(官网下载的 scala for eclipse如果不能用可以使用 luna)

    2、安装jdk配置环境变量

    建议jdk1.8,jdk版本请确定好,是64位还是32位。

    (1)环境变量添加java_home,变量值写入jdk安装路径;

    (2)环境变量找到path,没有则新建,变量值入%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;如果存在path注意变量值最后是否存在“;”,不存在添加之后再追加。同样注意最后的“;”

    (3)环境变量找到CLASSPATH,没有则新建,变量值写入 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;

    3、安装scala

    安装scala的语言包,下载scala-2.10.4.msi安装并配置环境变量,环境变量与Java配置方法一样。

    (1)在系统变量中添加一行,变量名写入SCALA-HOME,变量值写入Scala的安装位置;如本人配置:D:\ruanjian\sala (安装目录不得存在中文、空格等特殊字符)。
    (2)因配置Java时已经配置了path,所以本次只需找到path选项,选择编译,在变量值后追加%scala_Home%\bin;%scala_Home%\jre\bin;(注意最后的分号,不可少)
    (3)与path同理,所以本次只需找到classpath选项,选择编译,在变量值后追加.;%scala_Home%\bin;%scala_Home%\lib\dt.jar;%scala_Home%\lib\tools.jar.;(请注意前面的逗号和分号)。
    (4)使用doc窗口,写入scala,如出现以下内容证明成功。

    ip_image001.jpeg

    4、下载spark1.6,并且配置spark环境变量

    (1)、将spark解压至某个盘符的根目录。目录不得存在空格等特殊字符、尤其是汉字。

    (2)、配置环境变量,同java配置一样,找到path,追加spark解压路径\bin。

    5、安装hadoop。

    下载路径https://archive.apache.org/dist/hadoop/common/如下请自行选择版本。

    11.jpg

    (1)、将spark解压至某个盘符的根目录。目录不得存在空格等特殊字符、尤其是汉字。

    (2)、与jdk配置一样,创建HADOOP_HOME,变量值写入解压路径。

    (3)、找到path,变量值追加%HADOOP_HOME%\bin;同样注意分号。

    1. 、启动doc窗口,写入spark-shell,出现以下内容就算成功。
    12.jpg

    6、安装maven

    下载maven,下载地址http://maven.apache.org/download.cgi,并解压缩至某个指定目录

    13.jpg
    1. 环境变脸配置

    新建M2_HOME和MAVEN_HOME,变量值全部写入解压路径,如本人配置:D:\apache-maven-3.5.2

    1. 在path后追加:%M2_HOME%\bin;%MAVEN_HOME%\bin;
    2. 进入doc窗口,输入先后echo %M2_HOME%和mvn –v
    14.jpg

    (4)因eclisp已经有maevn,所以需要重新定位maven,点击Window -> Preference -> Maven -> Installation -> Add进行设置,定位至本地maevn目录即可。
    (5)修改中央库位置,即maven下载jar的位置,打开maevn安装目录在conf目录下找到setting文件修改如下菜蔬;

    15.jpg
    1. 修改下载源

    Jar包位置、部分可能在国外,下载耗时,故而更改为阿里云。打开maevn安装目录在conf目录下找到setting文件修改如下菜蔬;

          <mirror>
    
    <id>nexus-aliyun</id>
    
    <mirrorOf>*</mirrorOf>
    
    <name>Nexus aliyun</name>
    
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    
    </mirror>
    

    [图片上传失败...(image-6464f8-1516025563738)]

    7、安装scala

    下载插件http://downloads.typesafe.com/scalaide/sdk/lithium/e47/scala212/stable/update-site.zip

    (1)解压下载文件

    (2)在eclisp目录下找到dropins目录,在其内部创建Scala文件夹,粘贴下载(1)中解压文件内的features和plugins。重启eclisp。

    相关文章

      网友评论

        本文标题:spark开发环境搭建

        本文链接:https://www.haomeiwen.com/subject/gmcjoxtx.html