美文网首页
centos6.3搭建spark-streaming开发环境

centos6.3搭建spark-streaming开发环境

作者: bobozhangshao | 来源:发表于2017-10-17 18:14 被阅读0次

    环境准备

    • JDK > 1.7
    • Maven > 3.3.0
    • Scala > 2.10
    • IDE(IntelliJ IDEA)

    一. java8环境

    http://www.mamicode.com/info-detail-613410.html

    #查看已安装java,将旧的删除
    java -version
    yum remove java-1.7.0-openjdk
    #yum库中有哪些jdk版本
    yum search java|grep jdk
    #安装java1.8,运行环境和开发环境
    yum install java-1.8.0-openjdk
    yum install java-1.8.0-openjdk-devel
    #默认安装在了/usr/lib
    

    二.maven安装

    http://maven.apache.org/install.html

    #下载maven
    wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.0/binaries/apache-maven-3.5.0-bin.tar.gz
    #解压
    tar xzvf apache-maven-3.5.0-bin.tar.gz
    #windows上和Linux安装一样,配置环境变量即可
    
    • 环境变量配置
    # vim /etc/profile 末尾加入
    JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.144-0.b01.el6_9.x86_64
    JRE_HOME=$JAVA_HOME/jre
    CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
    PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
    PATH=/usr/lib/apache-maven-3.5.0/bin:$PATH
    export JAVA_HOME JRE_HOME CLASS_PATH PATH
    
    # 保存profile执行下命令
    source /etc/profile
    

    三.scala安装

    http://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Linux.html

    http://www.scala-sbt.org/0.13/docs/zh-cn/Hello.html

    #红帽企业版Linux和其他基于RPM的发行版使用RPM格式。 从终端运行下面的命令安装sbt
    curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo
    sudo yum install sbt
    
    #使用时直接输入
    sbt
    ...
    run
    ...
    
    

    Intellij IDEA安装scala

    image.png
    2. 下载scala包,配置path环境变量
    这里下载 http://www.scala-lang.org/download/
    
    
    3. 如果intellij报错的话,可以调整本地库
    imageimage imageimage

    相关文章

      网友评论

          本文标题:centos6.3搭建spark-streaming开发环境

          本文链接:https://www.haomeiwen.com/subject/gazduxtx.html