ClickHouse Kafka引擎表问题排查（二）

背景

Kafka引擎表不能正常工作，物化视图未触发，不会将数据抽取到ods表中。查看clickhouse日志，发现此kafka引擎表，出现poll失败退出的情况。clickhouse错误日志如下：

2021.08.14 15:19:03.457035 [ 408619 ] {} <Warning> StorageKafka (sync_kafka_trip_code_api_log): [rdk:MAXPOLL] [thrd:main]: Application maximum poll interval (300000ms) exceeded by 426ms (adjust max.poll.interval.ms for long-running message processing): leaving group

2021.08.14 15:35:20.216442 [ 408619 ] {} <Warning> StorageKafka (sync_kafka_trip_code_api_log): [rdk:MAXPOLL] [thrd:main]: Application maximum poll interval (300000ms) exceeded by 16ms (adjust max.poll.interval.ms for long-running message processing): leaving group

2021.08.14 15:50:09.933876 [ 408619 ] {} <Warning> StorageKafka (sync_kafka_trip_code_api_log): [rdk:MAXPOLL] [thrd:main]: Application maximum poll interval (300000ms) exceeded by 461ms (adjust max.poll.interval.ms for long-running message processing): leaving group

2021.08.14 18:20:20.720765 [ 299786 ] {} <Error> StorageKafka (sync_kafka_trip_code_api_log): Error during draining: Local: Maximum application poll interval (max.poll.interval.ms) exceeded

引擎表在poll数据的时候超时，直接离开消费组。但是我们其他的引擎表正常工作，排除网络问题。

查看kafka服务情况

#查看kafka状态：

服务正常

#查看消费组情况

bin/kafka-consumer-groups.sh --bootstrap-server 172.xxxx.52:9092 --group saas.trip.code.log --describe

模拟发送消息都正常发送，且会有LAG信息。

bin/kafka-console-producer.sh --bootstrap-server 172.xxx:9092 --topic ck.saas.trip.code.log

一切正常，就是kafka引擎表不能正常运行。

如何破

随后删除kafka引擎表重建，问题还是一样。最终重启了下clickhouse问题恢复。出现久违的信息：

查询相关的官方资料，初步分析是由于后台任务线程满导致的。

系统配置值：

select * FROM system.settings WHERE name = 'background_schedule_pool_size';

当前值：

SELECT * FROM system.metric WHERE metric = 'BackgroundSchedulePoolTask';

当前值已经达到配置的最大值，需要适当增加。

相关配置如下：

users.xml (select * from system.settings)

<?xml version="1.0"?>

<yandex>

    <profiles>

        <default>

                  <background_schedule_pool_size>25</background_schedule_pool_size>

also users

                <max_insert_block_size>10485760</max_insert_block_size>

                <max_threads>20</max_threads>

                  <max_block_size>65536</max_block_size>

                <kafka_max_wait_ms>20000</kafka_max_wait_ms>

confix.xml

<stream_flush_interval_ms>60000</stream_flush_interval_ms>

<fsync_metadata>0</fsync_metadata>

<stream_poll_timeout_ms>30000</stream_poll_timeout_ms>