一、生产者原理
在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。
在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator， Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。
生产者原理.png
sender线程拉取数据参数：
- batch.size：数据积累到batch.size之后，sender才会发送数据。默认16k
- linger.ms： 如果数据迟迟未达到batch.size，sender等待linger.ms设置的时间
到了之后就会发送数据。单位ms，默认值是0ms，表示没有延迟。
sender线程发送数据：
以每个broker结点为key，value为要发送的消息请求，放在一个队列中。
selector：
通过selector实现生产者和kafka集群的数据传输。
acks应答机制：
- 0：生产者发送过来的数据，不需要等数据落盘应答。
- 1：生产者发送过来的数据，Leader收到数据后应答。
- -1（all）：生产者发送过来的数据，Leader和ISR队列 里面的所有节点收齐数据后应答。-1和all等价。
消息发送成功：
sender线程中清理掉对应的成功请求，清理掉双端队列中分区的数据。
消息发送失败：
再次发送请求，直到成功为止（默认重试次数为int 最大值）
在内存中，由分区器决定消息发送到哪个分区，一个分区对应一个DQueque；
内存大小默认32M，分区一批次的数据大小为16K；
二、生产者重要参数
| 参数名称 | 描述 |
|---|---|
| bootstrap.servers | 生产者连接集群所需的 broker地址清单。可以设置1个或者多个，中间用逗号隔开。这里并非需要所有的broker地址，因为生产者从给定的broker 里查找到其他 broker 信息。 |
| key.serializer 和 value.serializer | 指定发送消息的 key 和 value 的序列化类型。一定要写全类名。 |
| buffer.memory | RecordAccumulator 缓冲区总大小，默认 32M。 |
| batch.size | 缓冲区一批数据最大值，默认 16k。适当增加该值，可以提高吞吐量，但是如果该值设置太大，会导致数据传输延迟增加。 |
| linger.ms | 如果数据迟迟未达到 batch.size，sender 等待 linger.time之后就会发送数据。单位 ms，默认值是 0ms，表示没有延迟。生产环境建议该值大小为 5-100ms 之间。 |
| acks | 0：生产者发送过来的数据，不需要等数据落盘应答。 1：生产者发送过来的数据，Leader 收到数据后应答。 -1（all）：生产者发送过来的数据，Leader+和 isr 队列 里面的所有节点收齐数据后应答。默认值是-1， -1 和 all 是等价的。 |
| max.in.flight.requests.per.connection | 允许最多没有返回 ack 的次数，默认为 5，开启幂等性要保证该值是 1-5 的数字。 |
| retries | 当消息发送出现错误的时候，系统会重发消息。 retries表示重试次数。默认是 int 最大值，2147483647。 如果设置了重试，还想保证消息的有序性，需要设置 MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION=1 否则在重试此失败消息的时候，其他的消息可能发送成功了。 |
| retry.backoff.ms | 两次重试之间的时间间隔，默认是100ms。 |
| enable.idempotence | 是否开启幂等性，默认 true，开启幂等性。 |
| compression.type | 生产者发送的所有数据的压缩方式。默认是none，也就是不压缩。支持压缩类型：none、gzip、snappy、lz4 和 zstd。 |
三、生产者消息发送
1.异步发送
外部数据发送到队列中，不需要等待上一批处理完可以继续发送。
依赖：
<dependencies>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>3.0.0</version>
</dependency>
</dependencies>
生产者：
package kafka;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
/**
* @Title: MyProducer.java
* @Package kafka
* @Description: 生产者
* @Author: hongcaixia
* @Date: 2023/1/20 21:24
* @Version V1.0
*/
public class MyProducer {
public static void main(String[] args) {
// 1. 创建kafka生产者的配置对象
Properties properties = new Properties();
// 2. 给kafka配置对象添加配置信息：bootstrap.servers
// 连接集群
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.0.1:9092,192.168.0.2:9092");
// 指定序列化类型 key,value 序列化（必须）：key.serializer，value.serializer
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
// 3. 创建kafka生产者对象
KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);
// 4. 调用send方法,发送消息
for (int i = 0; i < 5; i++) {
kafkaProducer.send(new ProducerRecord<>("first", "record" + i));
}
// 5. 关闭资源
kafkaProducer.close();
}
}
2.带回调函数的异步发送
回调函数会在 producer 收到 ack 时调用，为异步调用，该方法有两个参数，分别是：
- 元数据信息（RecordMetadata）（主题，分区等数据）
- 异常信息（Exception）
如果 Exception 为 null，说明消息发送成功，如果 Exception 不为 null，说明消息发送失败。
package kafka;
import org.apache.kafka.clients.producer.*;
import java.util.Properties;
/**
* @Title: MyProducer.java
* @Package kafka
* @Description: 生产者
* @Author: hongcaixia
* @Date: 2023/1/20 21:24
* @Version V1.0
*/
public class MyCallBackProducer {
public static void main(String[] args) {
// 1. 创建kafka生产者的配置对象
Properties properties = new Properties();
// 2. 给kafka配置对象添加配置信息：bootstrap.servers
// 连接集群
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.0.1:9092,192.168.0.2:9092");
// 指定序列化类型 key,value 序列化（必须）：key.serializer，value.serializer
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
// 3. 创建kafka生产者对象
KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);
// 4. 调用send方法,发送消息
for (int i = 0; i < 5; i++) {
kafkaProducer.send(new ProducerRecord<>("first", "record" + i), (recordMetadata, exception) -> {
if (exception == null) {
System.out.println("主题：" + recordMetadata.topic() + ";分区：" + recordMetadata.partition());
}
});
}
// 5. 关闭资源
kafkaProducer.close();
}
}
3.同步发送
队列中必须上一批数据发送完毕，才可以进行下一批数据处理，继续发送。
package kafka;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
import java.util.concurrent.ExecutionException;
/**
* @Title: MyProducer.java
* @Package kafka
* @Description: 生产者
* @Author: hongcaixia
* @Date: 2023/1/20 21:24
* @Version V1.0
*/
public class MySyncProducer {
public static void main(String[] args) throws ExecutionException, InterruptedException {
// 1. 创建kafka生产者的配置对象
Properties properties = new Properties();
// 2. 给kafka配置对象添加配置信息：bootstrap.servers
// 连接集群
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.0.1:9092,192.168.0.2:9092");
// 指定序列化类型 key,value 序列化（必须）：key.serializer，value.serializer
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
// 3. 创建kafka生产者对象
KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);
// 4. 调用send方法,发送消息
for (int i = 0; i < 5; i++) {
kafkaProducer.send(new ProducerRecord<>("first", "record" + i)).get();
}
// 5. 关闭资源
kafkaProducer.close();
}
}
极客时间《Kafka 核心技术与实战》学习笔记Day5 - http://gk.link/a/11UOV
网友评论