1.官网下载安装包
前往flink官网下载安装包。我这边下的是1.15。下载后解压。
2.启动并尝试添加任务
解压后文件夹内有个bin文件夹,进入后运行start-cluster.sh
脚本,即可启动flink,启动后通过jps命令可以看到flink的两个进程
zhaoliangchen@zhaoliangdeMacBook-Pro bin % jps
23042
32565 StandaloneSessionClusterEntrypoint
24917 GradleDaemon
32809 TaskManagerRunner
1770
32907 Jps
默认浏览器打开localhost:8081,可以看到flink的界面
尝试运行下flink提供的example文件夹的命令
/Users/zhaoliangchen/flink-1.15.0/bin/flink run /Users/zhaoliangchen/flink-1.15.0/examples/batch/WordCount.jar --input /Users/zhaoliangchen/Desktop/test.txt --output /Users/zhaoliangchen/Desktop/out1
Job has been submitted with JobID afbe3465dc9e880ba94e01e5945420a9
Program execution finished
Job with JobID afbe3465dc9e880ba94e01e5945420a9 has finished.
Job Runtime: 1318 ms
注意:test.txt是自己创建的,用于计算test.txt内每个单词出现的次数,并将结果输出在out1文件里
3. flink自带集群的搭建
首先进入flink的conf目录,找到flink-conf.yaml文件,修改部分的配置
jobmanager.rpc.address: 192.168.74.128 # 你作为主机的地址
jobmanager.rpc.port: 6123
taskmanager.numberOfTaskSlots: 2
parallelism.default: 1
rest.port: 8500 # web前端展示的端口,自己设置
web.submit.enable: true
在同目录下的master中。修改你的ip为你刚才配置的,例如我的是 192.168.74.128:8500
在同目录下的worker文件中。配置你的worker节点,例如我的是:
192.168.74.128
192.168.74.129
192.168.74.130
配置后将三个文件拷贝到对应的其他两个节点
在主节点使用bin/start-cluster.sh
启动集群
网友评论