一、Kafka命令

1.1 启动命令

启动和关闭节点上的kafka服务，-daemon表示在后台启动

bin/kafka-server-start.sh -daemon config/server.properties

bin/kafka-server-stop.sh

指定zookeeper，因为需要先在zk上创建节点，kafka controller监控目录下有新文件，会创建新的topic，进行分区和副本均衡，选举leader然后将信息发送到zk中，同时每个broker都会缓存在metadatacache文件中，即zk和每台服务器上都有topic元数据。

1.2 常用命令

• 查看所有的topic

  bin/kafka-topics.sh  --zookeeper bigdata1:2181  --list   
  

• 创建一个名为first，分区数为3，副本数为2的topic

  bin/kafka-topics.sh  --zookeeper bigdata1:2181  --create --topic first  --partitions 3  --replication-factor 2 
  

• 查看名为first的topic的具体参数

  bin/kafka-topics.sh  --zookeeper bigdata1:2181  --describe  --topic first 
  

  分别表示topic名、分区号、该分区leader所在的brokerid、副本号、副本所在brokerid、可以同步的副本所在的brokerid

  
  image.png

• 修改分区数或副本数（分区数只能增不能减，副本数可增可减）

  bin/kafka-topics.sh  --zookeeper bigdata1:2181  --alter  --topic first  --partitions 5
  

  在bigdata1的logs文件夹中可以查看该节点存储的副本文件first-n（n表示分区号）。分区0存储在broker0、1上，分区2存储在broker2、0上，分区3存储在broker0、2上、分区4存储在broker1、0上。综上，bigdata1存储了分区0、2、3、4的副本，与logs中的first副本文件对应。

  image.png image.png

• 删除topic

  bin/kafka-topics.sh  --zookeeper bigdata1:2181  --delete  --topic first
  

  如果在server.properties中将 delete.topic.enable=true，那么删除时就会将原数据删除。否则只会删除zk上的节点，原数据不会删除。

• 清除topic中的数据
  kafka中并没有清除topic数据的命令，但是可以通过设置数据过期时间为1s来清除数据；

  bin/kafka-topics.sh  --zookeeper bigdata1:2181 --alter --topic test --config retention.ms=1000
  

  之后记得将该配置项置为默认

  bin/kafka-topics.sh  --zookeeper bigdata1:2181 --alter --topic test --delete-config retention.ms
  

• 生产数据到topic中

  bin/kafka-console-producer.sh --broker-list bigdata2:9092,bigdata3:9092  --topic first
  

• 从topic中读取数据

  bin/kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --topic first [from-beginning]
  

  可以指定消费组的offset，默认是latest

• 指定分区读取

  bin/kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --topic first [from-beginning] --partitiion 0
  

• 指定消费者配置文件

  bin/kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --topic first [from-beginning] --consumer.config config/consumer.properties
  

• 从指定分区的指定offset未知开始读取数据

  bin/kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --topic compass-edb-sales-test --offset 3677600 --partition 0
  

• 展示当前正在消费的消费者组的信息

  bin/kafka-consumer-groups.sh  --bootstrap-server  bigdata1:9092   --list
  

  查询消费情况

  bin/kafka-consumer-groups.sh --describe  --bootstrap-server  bigdata1:9092  --group groupname
  

  image.png

• 监控某一消费者消费了哪些topic（一个消费者组可以消费多个topic）

  bin/kafka-consumer-groups.sh  --bootstrap-server hadoop102:9092  --describe  --group id
  

  image.png

  这两个脚本直接从服务器上获取元数据，得到leader的信息；底层也是调用生产者和消费者的api。

• 指定消费者组和消费者
  ①通过在命令中配置参数

  bin/kafka-console-consumer.sh --bootstrap-server 192.168.101.179:9092 --consumer-property group.id=custom_items_model_185 --consumer-property num.consumer.fetchers=5 --topic items-model
  

  ②通过在命令中指定配置文件

  bin/kafka-console-consumer.sh --bootstrap-server 192.168.101.179:9092 --consumer-property consumer.config=[consumerConfigPath] --topic items-model
  

具体配置可以参考官网Apache Kafka

• 重置消费者组的offset
  ①重置到最早

  bin/kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --group groupname --reset-offsets --all-topics --to-earliest --execute
  

  ②重置到最晚

  bin/kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --group groupname --reset-offsets --all-topics --to-earliest --execute
  

  ③重置到指定位置

  bin/kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --group groupname --reset-offsets --to-offset 2000 --execute
  

  ④重置到某个时间之后的最小的offset

  bin/kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --group groupname --reset-offsets --to-datetime 2019-09-15T00:00:00.000 --execute
  

• 手动设置offset
  停止consumer后，设置group=3，topic=test的offset为1524510

bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092 --group 3 --topic  test --execute --reset-offsets --to-offset 1524510

1.3 不常用命令

• 如新增了节点，需要重新分配分区，将数据均衡。资源消耗很大。
  编辑需要重新分配的topic

  {
    "topics": [{
      "topic":"dwd_device_feiyan_log_event"
    }],
    "version": 1
  }
  

  然后执行命令

  bin/kafka-reassign-partitions.sh --zookeeper 192.168.101.193:2181 --topics-to-move-json-file /tmp/topic-generate.json --broker-list "0,1,2" --generate
  

  生成执行计划，保存为kafka-repartition.json文件

  {"version":1,"partitions":[{"topic":"dwd_device_feiyan_log_event","partition":0,"replicas":[1],"log_dirs":["any"]},{"topic":"dwd_device_feiyan_log_event","partition":2,"replicas":[0],"log_dirs":["any"]},{"topic":"dwd_device_feiyan_log_event","partition":1,"replicas":[2],"log_dirs":["any"]}]}
  

  执行该计划

  bin/kafka-reassign-partitions.sh --zookeeper 192.168.101.193:2181 --reassignment-json-file /tmp/kafka-repartition.json --execute
  

  查看执行进度

  [root@cos-bigdata-test-flink-01 kafka_2.12-2.4.1]# bin/kafka-reassign-partitions.sh --zookeeper 192.168.101.193:2181 --reassignment-json-file /tmp/kafka-repartition.json --verify
  Status of partition reassignment: 
  Reassignment of partition dwd_device_feiyan_log_event-0 completed successfully
  Reassignment of partition dwd_device_feiyan_log_event-2 completed successfully
  Reassignment of partition dwd_device_feiyan_log_event-1 completed successfully
  

• 修改副本数和副本位置
  只需要修改上面生成的计划，在replicas中添加或修改brokerId，在log_dirs中添加对应数量的配置，即可以修改副本数量和位置

   {"version":1,"partitions":[{"topic":"dwd_device_feiyan_log_event","partition":0,"replicas":[1,2],"log_dirs":["any","any"]},{"topic":"dwd_device_feiyan_log_event","partition":2,"replicas":[0,1],"log_dirs":["any","any"]},{"topic":"dwd_device_feiyan_log_event","partition":1,"replicas":[2,0],"log_dirs":["any","any"]}]}
  

• 每一个partition的leader的重新选举。

  preferred-replica-election.sh
  

  将leader分布在不同节点上，缓解压力。一台leader挂了，其他副本会成为leader，可能会在同一个broker有多个leader，原leader上线后变成follower，需要重新选举，将leader的分别变为均匀状态（这两个指令需要json格式的文件指定分配计划）。

• 查看Kafka集群中节点是否正常

  # 进入zookeeper客户端
  bin/zkCli.sh
  # 查询Kafka注册的节点
  ls /brokers/ids
  

• 切换leader

  bin/kafka-preferred-replica-election.sh --bootstrap-server bigdata1:9092
  

1.4 压测

压测写入

./kafka-producer-perf-test.sh --topic test --num-records 1000000 --record-size 1000 --throughput -1 --producer-props bootstrap.servers=bigdata1:9092

--num-records 总共需要发送的消息数，本例为1000000
--record-size 每个记录的字节数，本例为1000
--throughput 每秒钟发送的记录数，如果为-1，表示不限流。

压测消费

./kafka-consumer-perf-test.sh --zookeeper bigdata1:2181 --topic test --fetch-size 1048576 --messages 1000000 --threads 1

--fetch-size 指定每次fetch的数据的大小，本例为1048576，也就是1M
--messages 总共要消费的消息个数，本例为1000000，100w

1.5 数据查询

1、存储位置
kafka数据的存储位置，在config/server.properties中的log.dirs中配置；
2、分区与存储方式的关系
partition是以文件的形式存储在文件系统中，比如，创建了一个名为kafkaData的topic，有4个partition，那么在Kafka的数据目录中(由配置文件中的log.dirs指定的)中就有这样4个目录: kafkaData-0， kafkaData-1，kafkaData-2，kafkaData-3，其命名规则为<topic_name>-<partition_id>，里面存储的分别就是这4个partition的数据。
3、每个数据目录的子目录都有xx.index ，xx.log ，xx.timeindex三个文件组成

4、数据消费查询原理

image.png

注意：Messagexxxx抽象表示某条消息具体内容；.log的第二列和.index的第一列表示数据文件中的绝对位置，也就是打开文件并移动文件指针需要指定的地方；

如果我们想要读取offset=368776的message（如图），步骤如下：

(1)查找segment file
00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1.同样，第三个文件00000000000000737337.index的起始偏移量为737338=737337 + 1，其他后续文件依次类推，以起始偏移量命名并排序这些文件，只要根据offset 二分查找文件列表，就可以快速定位到具体文件。
当offset=368776时定位到00000000000000368769.index|log

(2)通过segment file查找message
通过第一步定位到segment file，当offset=368776时，依次定位到00000000000000368769.index的元数据物理位置和00000000000000368769.log的物理偏移地址，然后再通过00000000000000368769.log顺序查找直到offset=368776为止。

5、segment file中索引文件与数据文件的对应关系
segment的索引文件中存储着大量的元数据，数据文件中存储着大量消息，索引文件中的元数据指向对应数据文件中的message的物理偏移地址。以索引文件中的6，1407为例，在数据文件中表示第6个message（在全局partition表示第368775个message），以及该消息的物理偏移地址为1407。

6、Kafka高效文件存储设计特点
(1)Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。
(2)通过索引信息可以快速定位message和确定response的最大大小。
(3)通过index元数据全部映射到memory，可以避免segment file的IO磁盘操作。
(4)通过索引文件稀疏存储，可以大幅降低index文件元数据占用空间大小