美文网首页
Flink集群部署

Flink集群部署

作者: 眼君 | 来源:发表于2021-07-12 16:39 被阅读0次

基础环境配置

下载安装flink

下载安装flink安装包文件,并解压:

tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz -C ./

JDK安装

下载JDK,解压:

tar -zxvf jdk-8u181-linux-x64.tar.gz -C ./

设置环境变量:

vim ~/.bash_profile
export JAVA_HOME=/home/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
source ~/.bash_profile

验证java是否配置成功:

java -version

安装部署

standalone方式部署

standalone的方式不需要修改配置文件内容,直接执行如下命令启动即可:

flink/bin/start-cluster.sh

打印日志如下:

Starting cluster.
Starting standalonesession daemon on host flinkMaster.
Starting taskexecutor daemon on host flinkMaster.

集群方式部署

填写配置文件

集群方式需要修改配置文件内容,打开flink/conf目录下的flink-conf.yaml配置文件,需要配置以下变量值:

-- 可以理解为spark的driver
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
这个修改为主节点的主机名。

打开flink/conf目录下的masters文件,修改主机名。
打开flink/conf目录下的slaves文件,填写从节点的主机名。
然后将该flink目录分发到从节点后,启动如下命令即可:

flink/bin/start-cluster.sh
查看前端页面

浏览器打开端口8081查看是否有如下页面:


相关文章

  • flink大纲知识

    flink集群部署flink反压flink拓扑架构flink的内存管理

  • Flink第二篇:集群搭建

    Flink集群搭建. Flink可以选择的部署方式有:Local、Standalone(资源利用率低)、Yarn、...

  • Flink JobManager高可用性(HA)

    概述 JobManager 协调每个 Flink 部署。它负责调度和资源管理。 默认情况下,每个 Flink 集群...

  • Flink on K8s 部署

    简介 本篇博客为大家讲解下如何在Kubernetes集群部署Flink standalone集群。 准备材料 Fl...

  • Flink 操作场景

    Apache Flink 可以使用多用方式在不同的环境中部署,相对于部署环境的多样性而言,Flink集群的基本构建...

  • Flink集群部署

    基础环境配置 下载安装flink 下载安装flink安装包文件,并解压: JDK安装 下载JDK,解压: 设置环境...

  • JobManager High Availability (HA

    原文链接 JobManager协调每个Flink部署。它负责调度和资源管理。 默认情况下,每个Flink集群都只有...

  • 集群部署

    可能要重新部署zookeeper、storm、flink、spark、hadoop、redis、kafka等集群模...

  • Flink高可用集群搭建

    部署flink的准备工作 flink版本的选择需要考虑hadoop的版本,本集群hadoop的版本为2.7.4,f...

  • Flink源码剖析:Jar包任务提交流程

    Flink基于用户程序生成JobGraph,提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar...

网友评论

      本文标题:Flink集群部署

      本文链接:https://www.haomeiwen.com/subject/uusczktx.html