Flink内存配置

前言

本文介绍的内存配置方法只适用于Flink 1.10及以上版本。

相关配置详细说明: Flink Config

配置 Flink 进程的内存

Flink JVM 进程的进程总内存（Total Process Memory）包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。 Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存（Off-Heap Memory）。 其中堆外内存包括直接内存（Direct Memory）和本地内存（Native Memory）。

image.png

配置 Flink 进程内存最简单的方法是指定以下两个配置项中的任意一个：

配置项	TaskManager 配置参数	JobManager 配置参数
Flink 总内存	taskmanager.memory.flink.size	jobmanager.memory.flink.size
进程总内存	taskmanager.memory.process.size	jobmanager.memory.process.size

配置 TaskManager 内存

Flink 的 TaskManager 负责执行用户代码。 根据实际需求为 TaskManager 配置内存将有助于减少 Flink 的资源占用，增强作业运行的稳定性。

内存模型

image.png

如上图所示，下表中列出了 Flink TaskManager 内存模型的所有组成部分，以及影响其大小的相关配置参数。

组成部分	配置参数	描述
Framework Heap Memory	taskmanager.memory.framework.heap.size	用于 Flink 框架的 JVM 堆内存（进阶配置）。
Task Heap Memory	taskmanager.memory.task.heap.size	用于 Flink 应用的算子及用户代码的 JVM 堆内存。
Managed memory	taskmanager.memory.managed.size<br />taskmanager.memory.managed.fraction	由 Flink 管理的用于排序、哈希表、缓存中间结果及 RocksDB State Backend 的本地内存。
Framework Off-heap Memory	taskmanager.memory.framework.off-heap.size	用于 Flink 框架的堆外内存（直接内存或本地内存）（进阶配置）。
Task Off-heap Memory	taskmanager.memory.task.off-heap.size	用于 Flink 应用的算子及用户代码的堆外内存（直接内存或本地内存）。
Network Memory	taskmanager.memory.network.min<br />taskmanager.memory.network.max <br />taskmanager.memory.network.fraction	用于任务之间数据传输的直接内存（例如网络传输缓冲）。该内存部分为基于 Flink 总内存的受限的等比内存部分。
JVM Metaspace	taskmanager.memory.jvm-metaspace.size	Flink JVM 进程的 Metaspace。
JVM Overhead	taskmanager.memory.jvm-overhead.min<br />taskmanager.memory.jvm-overhead.max<br />taskmanager.memory.jvm-overhead.fraction	用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分。

框架内存

通常情况下，不建议对框架堆内存和框架堆外内存进行调整。 除非你非常肯定 Flink 的内部数据结构及操作需要更多的内存。 这可能与具体的部署环境及作业结构有关，例如非常高的并发度。 此外，Flink 的部分依赖（例如 Hadoop）在某些特定的情况下也可能会需要更多的直接内存或本地内存。

内存计算

假设只配置 Total Process Memory = 2gb

Total Process Memory = Total Flink Memory +JVM Metaspace +JVM Overhead

JVM Metaspace 通过taskmanager.memory.jvm-metaspace.size配置, 默认96mb

JVM Overhead 计算:

配置参数	默认值
taskmanager.memory.jvm-overhead.min	192mb
taskmanager.memory.jvm-overhead.max	1gb
taskmanager.memory.jvm-overhead.fraction	0.1

首先计算 JVM Overhead = Total Process Memory * taskmanager.memory.jvm-overhead.fraction = 2gb*0.1 = 204.8mb

如果计算出来的JVM Overhead < taskmanager.memory.jvm-overhead.min则为taskmanager.memory.jvm-overhead.min;

如果计算出来的JVM Overhead > taskmanager.memory.jvm-overhead.max则为taskmanager.memory.jvm-overhead.max;

如果计算出来的 taskmanager.memory.jvm-overhead.min <= JVM Overhead <= taskmanager.memory.jvm-overhead.max 则为JVM Overhead .

因为 192mb< 204.8mb <1gb, 所以　JVM Overhead=204.8mb

Total Flink Memory = Total Process Memory - JVM Metaspace- JVM Overhead = 2gb - 96mb - 204.8mb = 1747.2mb

Managed memory = Total Flink Memory * taskmanager.memory.managed.fraction = 1747.2mb * 0.4 = 698.88mb

Framework Off-heap Memory通过taskmanager.memory.framework.off-heap.size配置, 默认128mb

Task Off-heap Memory 默认为0byte

Network Memory 计算方式同JVM overhead

配置参数	默认值
taskmanager.memory.network.min	64mb
taskmanager.memory.network.max	1gb
taskmanager.memory.network.fraction	0.1

Total Flink Memory * taskmanager.memory.network.fraction = 1747.2mb * 0.1 = 174.72mb

64mb < 174.72mb < 1gb，所以　Network Memory=174.72mb

Direct Memory = Framework Off-heap Memory + Task Off-heap Memory + Network Memory = 128mb + 0 + 174.72mb = 302.72mb

**Off Heap Memory **= Managed memory + Direct Memory = 698.88mb + 302.72mb = 1001.6mb

JVM Heap = Total Flink Memory - Off Heap Memory = 1747.2mb - 1001.6mb = 745.6mb 　与web-ui显示一致

Framework Heap Memory 通过taskmanager.memory.framework.heap.size配置，　默认128mb

Task Heap　剩下的内存 JVM Heap- Framework Heap Memory = 617.6mb

配置 JobManager 内存

JobManager 是 Flink 集群的控制单元。 它由三种不同的组件组成：ResourceManager、Dispatcher 和每个正在运行作业的 JobMaster。

内存模型

image.png

如上图所示，下表中列出了 Flink JobManager 内存模型的所有组成部分，以及影响其大小的相关配置参数。

组成部分	配置参数	描述
JVM Heap	jobmanager.memory.heap.size	JobManager 的 JVM 堆内存。
Off Heap	jobmanager.memory.off-heap.size	JobManager 的堆外内存（直接内存或本地内存）。
JVM Metaspace	jobmanager.memory.jvm-metaspace.size	Flink JVM 进程的 Metaspace。
JVM Overhead	jobmanager.memory.jvm-overhead.min<br /> jobmanager.memory.jvm-overhead.max<br />jobmanager.memory.jvm-overhead.fraction	用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存