一 环境准备

下文以常见ClickHouse集群部署架构中方案四的部署架构为例。

节点名称	主机IP	分片与副本	服务
node21	192.168.167.21	R0、R2	ZooKeeper、ClickHouse
node22	192.168.167.22	R1、R0	ZooKeeper、ClickHouse
node23	192.168.167.23	R2、R1	ZooKeeper、ClickHouse

准备Docker环境：

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum update -y && sudo yum install -y containerd.io-1.2.13 docker-ce-19.03.11 docker-ce-cli-19.03.11
 
mkdir /etc/docker
cat <<EOF | tee /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
 
systemctl daemon-reload
systemctl restart docker
systemctl enable docker

二 ZK部署

docker run -d --name=zk21 --hostname=node21 --network=host --volume=/etc/localtime:/etc/localtime --volume=/data/zk/conf:/conf --volume=/data/zk/data:/data zookeeper
docker run -d --name=zk22 --hostname=node22 --network=host --volume=/etc/localtime:/etc/localtime --volume=/data/zk/conf:/conf --volume=/data/zk/data:/data zookeeper
docker run -d --name=zk23 --hostname=node23 --network=host --volume=/etc/localtime:/etc/localtime --volume=/data/zk/conf:/conf --volume=/data/zk/data:/data zookeeper

其中，主配置文件 conf/zoo.cfg的关键配置项：

4lw.commands.whitelist=*
server.1=node21:2888:3888;2181
server.2=node22:2888:3888;2181
server.3=node23:2888:3888;2181

注意：

• 记得配置 data/myid
• 映射到宿主机的文件权限（ID为1000的zookeeper用户）

三 CH部署

docker run -d --name=ch21 --hostname=node21 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/log:/var/log yandex/clickhouse-server
docker run -d --name=ch22 --hostname=node22 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/log:/var/log yandex/clickhouse-server
docker run -d --name=ch23 --hostname=node23 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/log:/var/log yandex/clickhouse-server

注意：映射到宿主机的文件权限（ID为999的clickhouse用户）

四 CH配置

ClickHouse最重要的配置有clickhouse_remote_servers、zookeeper和macros。

config.xml（在每个节点中的配置都相同）

<yandex>
    <include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>
    <include_from>/etc/clickhouse-server/config.d/macros.xml</include_from>
    <listen_host>0.0.0.0</listen_host>
</yandex>

主配置文件，设置成可加载其他相关配置文件。

conf.d/metrika.xml（在每个节点中的配置都相同）

<?xml version="1.0"?>
<yandex>
    <clickhouse_remote_servers>
        <cluster_1>
            <shard>
                <internal_replication>true</internal_replication>
                <weight>1</weight>
                <replica>
                    <host>node21</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <weight>1</weight>
                <replica>
                    <host>node22</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <weight>1</weight>
                <replica>
                    <host>node23</host>
                    <port>9000</port>
                </replica>
            </shard>
        </cluster_1>
    </clickhouse_remote_servers>
 
    <zookeeper-servers>
        <node index="1">
            <host>node21</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>node22</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>node23</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
 
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>

用于配置集群、数据副本、Zookeeper等。如果使用方案一，此处配置需修改。

config.d/macros.xml（在每个节点中的配置不同）

<yandex>
    <macros>
        <cluster>cluster_1</cluster>
        <shard1>01</shard1>
        <shard2>02</shard2>
        <replica>node21</replica>
    </macros>
</yandex>

宏定义，后面创建本地表时会引用到。比如：

• cluster 用于定义集群标识，一类数据表定义为一个集群
• shard1 用于定义分片标识
• shard2 用于定义分片标识，与shard1交叉开
• replica 用于定义副本标识，建议使用节点名称

五 创建本地Replicated表

创建主副本的本地复制表

CREATE TABLE warehouse_local ON CLUSTER cluster_1
(
    warehouse_id Int64,
    product_id Int64,
    product_name String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard1}/warehouse_local', '{replica}')
PARTITION BY warehouse_id
ORDER BY product_id

创建副副本的本地复制表

CREATE TABLE warehouse_local_rep ON CLUSTER cluster_1
(
    warehouse_id Int64,
    product_id Int64,
    product_name String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard2}/warehouse_local', '{replica}')
PARTITION BY warehouse_id
ORDER BY product_id

六 创建Distributed表

创建主副本的分布表

CREATE TABLE warehouse_dist ON CLUSTER cluster_1
(
    warehouse_id Int64,
    product_id Int64,
    product_name String
)
ENGINE = Distributed(cluster_1, default, warehouse_local, warehouse_id)

创建副副本的分布表

CREATE TABLE warehouse_dist_rep  ON CLUSTER cluster_1
(
    warehouse_id Int64,
    product_id  Int64,
    product_name String
)
ENGINE = Distributed(cluster_1, default, warehouse_local_rep, warehouse_id)

七 测试验证

准备测试数据集 warehouse_dataset.csv

1,30007,apple
2,41392,banana
3,96324,cherry
4,33309,coconut
5,28871,dates
6,10240,durian
7,53712,grape
8,11596,lemon

导入测试数据

clickhouse-client --host=192.168.167.21 --query "INSERT INTO warehouse_dist FORMAT CSV" < warehouse_dataset.csv

查看数据写入情况

查看数据表：

查看数据表

主副本的分布表：

主副本的分布表

副副本的分布表：

副副本的分布表

node21节点主副本的本地表：

node21节点主副本的本地表

node23节点副副本的本地表：

node23节点副副本的本地表