美文网首页
java 1.8 + scala 2.11 + flink 1.

java 1.8 + scala 2.11 + flink 1.

作者: 炸毛萌主 | 来源:发表于2019-05-20 18:36 被阅读0次

    安装JAVA 1.8 

    sudo apt install openjdk-8-jre-headless

    sudo apt install openjdk-8-jdk-headless

    验证是否安装成功

    java -version

    效果如图,证明安装成功

    scala 2.11 安装步骤:

    下载 scala 2.11.7,并且解压

    wgethttps://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

    tar -zxvf scala-2.11.7.tgz -C /usr/

    profile中新增环境变量

    vi /etc/profile

    export SCALA_HOME=/usr/scala-2.11.7

    export PATH=$PATH:$SCALA_HOME/bin

    生效profile

    source /etc/profile

    验证是否成功:

    scala -version

    至此,scala安装完毕,最后一个组件是flink

    flink 1.8安装步骤:

    tar包下载页面:https://flink.apache.org/downloads.html

    我们安装1.8 for scala 2.11的版本

    wget http://mirror.bit.edu.cn/apache/flink/flink-1.8.0/flink-1.8.0-bin-scala_2.11.tgz

    tar zxf flink-1.8.0-bin-scala_2.11.tgz -C /usr

    修改flink配置文件:

    vi /usr/flink-1.8.0/conf/flink-conf.yaml

    jobmanager.rpc.address: localhost1 --jobManager 的IP地址

    jobmanager.rpc.port: 6123  --jobManager 的端口,默认为6123

    jobmanager.heap.mb --jobManager 的JVM heap大小 

    taskmanager.heap.mb  --taskManager的jvm heap大小设置

    taskmanager.numberOfTaskSlots  --taskManager中taskSlots个数,最好设置成work节点的CPU个数相等

    parallelism.default  --并行计算数

    fs.default-scheme --文件系统来源

    fs.hdfs.hadoopconf:  --hdfs置文件路径

    jobmanager.web.port    -- jobmanager的页面监控端口

    根据要求修改对应的参数,即可直接启动

    启动脚本目录:

    /usr/flink-1.8.0/bin

    sudo ./start-cluster.sh

    停止脚本:

    sudo ./stop-cluster.sh

    直接浏览器访问页面+管理web 端口

    localhost:8081

    完成,后面会编辑一下nginx反向代理文档

    相关文章

      网友评论

          本文标题:java 1.8 + scala 2.11 + flink 1.

          本文链接:https://www.haomeiwen.com/subject/ydklzqtx.html