Flink(3) 安装和部署

下载

清华镜像 ,下载需要的版本

config/fink-conf.yaml

# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.
# 有几个 slots 能执行几个线程，最大的并行的线程的数量,推荐给cpu核心数

taskmanager.numberOfTaskSlots: 1

# The parallelism used for programs that did not specify and other parallelism.
## task任务并行的线程数量

parallelism.default: 1

standalone 模式启动

#   启动
./bin/start-cluster.sh
# 停止
./bin/stop-cluster.sh

# 检查
jps
#jobManager  进程
#78464 StandaloneSessionClusterEntrypoint
#78739 Jps
#taskManager 进程
#78731 TaskManagerRunner

# 链接 web 界面
localhost:8081

Parallelism 并行度的设置优先级

1.代码中设置的最高，每一步操作都可以设置并行度,如

//基于数据流进行转换计算     // keyBey按照key的hash ，进行重分区
        SingleOutputStreamOperator<Tuple2<String, Integer>> resultStream = inputDataStream.flatMap(new WordCount.MyFlatMapper())
                .keyBy(0)
                .sum(1).setParallelism(2);

        //打印输出
        resultStream.print().setParallelism(1);

2.其次 ，全局环境的配置

env.setParallelism(4);

3.其次 ，提交 job 的时候的 并行度设置参数

4.其次，启动的配置文件 默认是1

命令提交job

./bin/flink run -c  入口类  -p  并行度  jar包位置
# 如
./bin/flink run -c com.test.wc.StreamWordCount -p 3  /path/to/xxx.jar
## 查看 jobID
./bin/flink list 
## 取消job
./bin/flink cancel $jobID

## 查看所有的 job ,包括取消的
./bin/flink list -a

yarn 模式

todo

kubernetes 部署

todo