tech| 华为云: kafka 实战训练营

作者: daydaygo | 来源:发表于2019-08-16 12:31 被阅读0次

tech| 华为云: kafka 实战训练营
（转）带你7天晋升DevOps大师！
kafka生产环境规划-kafka商业环境实战
在华为云上创建虚拟机
Kafka 源码解析：Server 端的运行过程
项目实战-大数据Kafka原理剖析及（实战）演练视频教程网盘下载
Flink Kafka Doris实战demo
【华为云社区18年 12月刊】本期推荐：年度精品专题展播，21
kafka1：分布式部署
2 Kafka 基本结构(Kafka 0.11.0.2)

date: 2019-08-12 13:07:29
title: tech| 华为云: kafka 实战训练营

实战课的好处就在这, 一直有「实操」来不断的激励, 而且贴近工作中的使用场景, 学了就可以用上.

课程地址: https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXP017+Self-paced/about?isAuth=0&cfrom=hwc
打卡地址: https://w.url.cn/s/AqQf9K3
kafka 加速下载: https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

day 1: basic

消息服务: 系统解耦削峰填谷数据交换异步通知日志通道
业界分布式 MQ 横向对比
基本概念
- Broker: 集群中的服务实例
- Topic: 消息类别
- Partition: 分区, 物理上的概念, topic:partition = 1:n
  - offset: 只能通过追加增加消息; consumer 通过 offset 定位消息/记录消费位置
  - topic 根据分区个数分配给 consumer group 下的 consumer, 最多只能 partition:consumer = 1:1
  - 分区副本: 高可用; 分配到不同节点上; leader(一个)+ISR(其他副本通过 pull 模式同步 leader 消息)
- producer
  - 批量生产: batch.size linger.ms
- consumer
- consumer group

# producer
bin/kafka-console-producer.sh --broker-list 192.168.0.180:9092 --topic test
# consumer
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.180:9092 --topic test --group testgroup --consumer-property enable.auto.commit=true --from-beginning

day 2: producer demo

生产模型: BatchSize 打包大小; Linger.ms 发送等待时延; buffer.memory 内存缓存
参数调优:
- tcp: receive.buffer.byte send.buffer.byte
- acks: 0-不等待 1-等待leader all
建议规范:
- 同步复制客户端配合使用 acks=all
- 发送失败重试: retries = 3
- 发送优化: linger.ms = 0
配置场景:
- FIFO 消息保序: 生产消息指定 partiton + retries=0/max.flight.requests.per.connection=1
- 高吞吐: topic 3分区2副本, acks=0/1
- 相对可靠: topic 3分区3副本, min.insync.replicas=2, acks=-1
- 高可靠: topic 3分区3副本, min.insync.replicas=2, flush.messages=1, acks=-1

# day 2
# producer
java -cp .:./libs/* dms.kafka.demo.KafkaProducerDemo 192.168.0.180:9092 test01
# consumer 同 day 1

package dms.kafka.demo;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Properties;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.Future;

public class KafkaProducerDemo {
    public static void main(String[] args) throws InterruptedException, ExecutionException {
        if (args.length != 2) {
            throw new IllegalArgumentException("usage: dms.kafka.demo.KafkaProducerDemo bootstrap-servers topic-name.");
        }
        Properties props = new Properties();
        props.put("bootstrap.servers", args[0]);
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        Producer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 100; i++) { 
            Future<RecordMetadata> result = producer.send(new ProducerRecord<String, String>(args[1], Integer.toString(i), Integer.toString(i)));
            RecordMetadata rm = result.get();
            System.out.println("topic: " + rm.topic() + ", partition: " + rm.partition() + ", offset: " + rm.offset());
        }
        producer.close();
    }
};

day3: consumer demo

consumer: 拉取消息(pull) 确认消息(ack)
- 消费模型: pull 模式, offset 记录在客户端, 服务端无状态
consumer group: 实现 Topic 广播+单播
Rebalance: group 内 consumer 以 topic 的分区个数进行均衡分配
- 触发条件: consumer 变化; topic 分区数变化
assign 模式: 手动分配分区
subscribe 模式: 自动分配分区

# day3 consumer
java -cp .:./libs/* dms.kafka.demo.KafkaConsumerDemo 192.168.0.18:9092,192.168.0.121:9092,192.168.0.206:9092 topic-1642673577 test-group

package dms.kafka.demo;

import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class KafkaConsumerDemo {
    public static void main(String[] args) {
        if (args.length != 3) {
            throw new IllegalArgumentException("usage: dms.kafka.demo.KafkaProducerDemo bootstrap-servers topic-name group-name.");
        }
        Properties props = new Properties();
        props.put("bootstrap.servers", args[0]);
        props.put("group.id", args[2]);
        props.put("enable.auto.commit", "true");
        props.put("auto.offset.reset", "earliest");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList(args[1]));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(200);
            for (ConsumerRecord<String, String> record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
        }
    }
};

day 4: kafka 架构与机制

总体架构:
- zookeeper: 存储 kafka 元数据
- broker 互为主备
- topic 按分区存储
- 副本分布在不同节点
节点角色
- controller: partition 管理和副本管理; broker 节点状态管理; topic 分区状态管理
- leader + follower
- coordinator: consumer group 管理
核心流程
- topic 新建/删除
- leader 选举 / 副本迁移
- 分区扩容
- 生产请求流程
data flow
- producer
- kafka -> broker -> topic -> partition
- consumer group -> consumer

day 5: kafka 工具

topic 管理 kafka-topics.sh
- bootstrap-server
- zookeeper
- create / delete / list / describe / topic(名称)
- partitions: 指定分区数
- replication-factor: 副本数
- config
producer 测试 kafka-console-producer.sh
- broker-list
- message-send-max-retries
- producer.config: 客户端配置文件
- propety: 客户端自定义配置
- topic
consumer 测试 kafka-console-consumer.sh
- bootstrap-server
- consumer-property
- consumer.config
- from-beginning: 若不存在消费进度, 从头开始消费
- group
- partition
- topic
- whitelist: 消费 topic 的正则表达式
消费组管理 kafka-consumer-groups.sh
- bootstrap-server
- comand-config: 自定义客户端配置
- describe
- group
- list

root@ecs-s3-small-1-linux-20190812201034 /d/k/bin# pwd
/data/kafka_2.12-2.3.0/bin

# topic 管理
./kafka-topics.sh --help

# producer 测试
./kafka-console-producer.sh --help

# consumer 测试
./kafka-console-consumer.sh --help

# day 5
bin/kafka-console-producer.sh --broker-list 192.168.0.180:9092 --topic day5
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.180:9092 --topic day5 --group testgroup --consumer-property enable.auto.commit=true --from-beginning

tech| 华为云: kafka 实战训练营
date: 2019-08-12 13:07:29title: tech| 华为云: kafka 实战训练营实战...
（转）带你7天晋升DevOps大师！
实战营简介：华为云DevCloud重磅出品——7天玩转DevOps实战营！本期课程依托华为云DevCloud，...
kafka生产环境规划-kafka商业环境实战
kafka线上真实环境实战及调优进阶系列 kafka 商业环境实战-kafka生产环境规划 kafka 商业环境实...
在华为云上创建虚拟机
搭建一套spark+kafka的测试环境我们在华为云上申请一台机器，我们采用学生套餐即可，申请非常简单，注册华为云...
Kafka 源码解析：Server 端的运行过程
本文分享自华为云社区《Kafka网络模块-Server端[https://www.oschina.net/acti...
项目实战-大数据Kafka原理剖析及（实战）演练视频教程网盘下载
项目实战-大数据Kafka原理剖析及（实战）演练视频教程网盘下载 38套大数据，云计算，架构，数据分析师，Hado...
Flink Kafka Doris实战demo
Flink Kafka Doris实战demo 环境： Flink 1.12 Doris 0.12 Kafka 1...
【华为云社区18年 12月刊】本期推荐：年度精品专题展播，21
华为云社区月刊，每月更新一刊，欢迎大家品读。本期推荐2018年度华为云社区十大精品专题、21天晋级大数据实战营小结...
kafka1：分布式部署
1.参考 kafka 集群--3个broker 3个zookeeper创建实战细细品味Kafka_Kafka简...
2 Kafka 基本结构(Kafka 0.11.0.2)
此处内容来自书籍Apache Kafka 实战一书(作者胡夕) 1Kafka Zookeeper路径 Kafka中...