美文网首页
flink1.15.0安装及配置的全过程

flink1.15.0安装及配置的全过程

作者: 厦门第一帅哥 | 来源:发表于2022-06-02 17:47 被阅读0次

1.官网下载安装包

前往flink官网下载安装包。我这边下的是1.15。下载后解压。

2.启动并尝试添加任务

解压后文件夹内有个bin文件夹,进入后运行start-cluster.sh脚本,即可启动flink,启动后通过jps命令可以看到flink的两个进程

zhaoliangchen@zhaoliangdeMacBook-Pro bin % jps
23042 
32565 StandaloneSessionClusterEntrypoint
24917 GradleDaemon
32809 TaskManagerRunner
1770 
32907 Jps

默认浏览器打开localhost:8081,可以看到flink的界面

尝试运行下flink提供的example文件夹的命令

/Users/zhaoliangchen/flink-1.15.0/bin/flink run /Users/zhaoliangchen/flink-1.15.0/examples/batch/WordCount.jar --input /Users/zhaoliangchen/Desktop/test.txt  --output /Users/zhaoliangchen/Desktop/out1
Job has been submitted with JobID afbe3465dc9e880ba94e01e5945420a9
Program execution finished
Job with JobID afbe3465dc9e880ba94e01e5945420a9 has finished.
Job Runtime: 1318 ms

注意:test.txt是自己创建的,用于计算test.txt内每个单词出现的次数,并将结果输出在out1文件里

3. flink自带集群的搭建

首先进入flink的conf目录,找到flink-conf.yaml文件,修改部分的配置

jobmanager.rpc.address: 192.168.74.128 # 你作为主机的地址
jobmanager.rpc.port: 6123
taskmanager.numberOfTaskSlots: 2
parallelism.default: 1
rest.port: 8500    # web前端展示的端口,自己设置
web.submit.enable: true

在同目录下的master中。修改你的ip为你刚才配置的,例如我的是 192.168.74.128:8500
在同目录下的worker文件中。配置你的worker节点,例如我的是:

192.168.74.128
192.168.74.129
192.168.74.130

配置后将三个文件拷贝到对应的其他两个节点
在主节点使用bin/start-cluster.sh启动集群

相关文章

网友评论

      本文标题:flink1.15.0安装及配置的全过程

      本文链接:https://www.haomeiwen.com/subject/jfoeprtx.html