ClickHouse docker 集群搭建学习(小白向)

作者: 甯缺毋滥 | 来源:发表于2022-04-20 08:48 被阅读0次

1.环境准备

1.1.SSE4.2验证

验证是否支持SSE 4.2指令集,因为向量化执行需要用到这项特性

# grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported" 
> SSE 4.2 supported

如果不支持SSE指令集，则不能直接使用先前下载的预编译安装包，需要通过源
码编译特定的版本进行安装

ps:如果宿主机支持,那么看这篇文章关于虚拟化中cpu的指令集SSE 4.2的不支持,实在不行,那么换机器吧

1.2.docker安装

https://hub.docker.com/搜索clickhouse
拉取镜像 docker pull clickhouse/clickhouse-server
启动容器 docker run -d -v /etc/hosts:/etc/hosts:ro -v /etc/localtime:/etc/localtime:ro -v $(realpath ./ch_data):/var/lib/clickhouse/ -v $(realpath ./ch_logs):/var/log/clickhouse-server/ -p 18123:8123 -p19000:9000 --name some-clickhouse-server --ulimit nofile=262144:262144 clickhouse/clickhouse-server

-v /etc/localtime:/etc/localtime:ro 挂载宿主机时区,ro为只读,防止容器更改
-v /etc/hosts:/etc/hosts:ro挂载宿主机的路由表,方便后续配置集群使用
ClickHouse存储数据的主文件夹 $(realpath ./ch_data) 当前文件夹下的ch_data文件夹
日志$(realpath ./ch_logs)当前文件下的ch_log文件夹
clickhouse-client 端口映射外部19000
http端口映射外部18123
容器名称 some-clickhouse-server

1.3.配置修改

复制容器中的配置users.xml config.xml
容器查看命令 docker ps -a
sudo docker cp [容器id] /etc/clickhouse-server/users.xml /存放目录/users.xml
sudo docker cp [容器id] /etc/clickhouse-server/config.xml.xml /存放目录/config.xml

1.3.1.users.xml配置修改默认密码

生成sha256_hex方式echo -n root,.123 | openssl dgst -sha256

    <users>
       <!-- 默认账号 ,账号名-->
       <default> 
           <!--密码-->
           <!--
           <password>root,.123</password>
           -->
           <!--加密密码-->
           <password_sha256_hex>a14c4c9d228e0cc32814050fea0f1df49dad0e1857615f5c7900bcb8d33b55a1</password_sha256_hex>
           <!--用户可以从中连接到ClickHouse服务器的网络列表-->
           <networks>
               <ip>::/0</ip>
           </networks>
           <!--可以配读写,只读,写等 不一一列举,自行查阅-->
           <profile>default</profile>
           <!--限制用户使用资源,自行查阅-->
           <quota>default</quota>
           <!--(超级权限)用户可以创建其他用户，并赋予其他用户权限 ,0关闭,1开启-->
           <access_management>1</access_management>
       </default>
   </users>

1.3.2. 挂载users.xml

加入挂载文件-v [修改过后的users.xml路径]:/etc/clickhouse-server/users.xml

1.3.3. config.xml配置集群(3分片1副本)

新建一个文件 vi metrika.xml,内容如下,这里replica中的host也就是我们/etc/hosts表中的信息,已经挂载到容器内了

zookeeper使用的是现成的

我这里拉下来的clickhouse镜像版本为21.12.3.32,其中config.xml文件中有测试分片的配置,找到<remote_servers>标签,删掉标签以及子标签信息,或者注释掉,又或者备份一个作为单机配置使用
4.这里clickhouse的port为19000,由docker容器化映射的外部端口
5.注意replica中的password不能使用加密密码,只能使用明文,原网站部署Smartbi MPP分布式集群

metrika.xml中密码的注意事项

 <yandex>
    <clickhouse_remote_servers>
        <!-- 自定义的集群名称 -->
        <ck_cluster>
            <!-- 分片信息 -->
            <shard>
                <weight>1</weight>
                <!-- 分布式表写入数据是否只写入到一个副本，配合复制表引擎使用，默认false -->
                <internal_replication>true</internal_replication>
                <!-- 分片副本信息，这里指定的用户名密码只能是明文，如果需要密文密码需要将配置指向users.xml中的profile中 -->
                <replica>
                    <host>node95</host>
                    <port>19000</port>
                    <user>default</user>
                    <!--不能使用加密密码-->
                    <password>root,.123</password>
                </replica>
            </shard>
            <shard>
                <weight>1</weight>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>node94</host>
                    <port>19000</port>
                    <user>default</user>
                    <password>root,.123</password>
                </replica>
            </shard>
            <shard>
                <weight>1</weight>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>node93</host>
                    <port>19000</port>
                    <user>default</user>
                    <password>root,.123</password>
                </replica>
            </shard>
        </ck_cluster>
    </clickhouse_remote_servers>

    <!-- Replicated*MergeTree会用到zk -->
    <zookeeper-servers>
        <node index="1">
            <host>node95</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>node94</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>node93</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

    <!-- Replicated*MergeTree建表语句的参数，指定zk的存储目录用 -->
    <macros>
      <!--集群名称-->
      <layer>ck_cluster</layer>
      <!--分片-->
      <shard>shard01</shard>
      <!--副本-->
      <replica>replica01</replica>
    </macros>

    <!-- 监听网络-->
    <networks>
        <ip>::/0</ip>
    </networks>
    
    <!-- 数据压缩算法  -->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>

config.xml文件需要修改,添加如下信息

1.1. 添加信息
<include_from>/etc/clickhouse-server/metrika.xml</include_from>指定我们刚才新建metrika.xml文件路径,这个路径是容器内的路径,到时候需要挂载到容器中
<remote_servers incl="clickhouse_remote_servers" optional="true" />
<zookeeper incl="zookeeper-servers" optional="true" />
1.2.网络
查找到<listen_host>标签（注释里）
如果集群ipv4和ipv6地址都支持，将：
<listen_host>::</listen_host> 取消注释
如果集群支持ipv4和不支持ipv6，将：
<listen_host>0.0.0.0</listen_host> 取消注释
下面这种方式我没有成功，应该是我的服务器没有设置支持ipv6
<listen_host>::1</listen_host>
<listen_host>127.0.0.1</listen_host>
1.3.遗漏点
之前没有配置clickhouse中的时区,文件中的<timezone>内容修改为<timezone>Asia/Shanghai</timezone>

1.3.4.重构容器

先停止之前的容器docker stop [容器id]
再删除容器 docker rm [容器id]
启动容器,命令如下:
docker run -d -v /etc/hosts:/etc/hosts:ro -v /etc/localtime:/etc/localtime:ro -v /home/bigdata/clickhouse_docker/metrika.xml:/etc/clickhouse-server/metrika.xml -v /home/bigdata/clickhouse_docker/users.xml:/etc/clickhouse-server/users.xml -v /home/bigdata/clickhouse_docker/config.xml:/etc/clickhouse-server/config.xml -v /home/bigdata/clickhouse_docker/ch_data:/var/lib/clickhouse/ -v /home/bigdata/clickhouse_docker/ch_log:/var/log/clickhouse-server/ -p 18123:8123 -p19000:9000 --name some-clickhouse-server --ulimit nofile=262144:262144 clickhouse/clickhouse-server
1.额外挂载了metrika.xml config.xml user.xml
2.其他的2个节点分别按照以上1.3.3~1.3.4的方式操作
3.补充一个传输的命令 scp -r /home/bigdata/clickhouse_docker 用户名@主机:/home/bigdata/clickhouse_docker
4.docker镜像操作 保存镜像到本地 docker save -o 保存的名字.tar 镜像REPOSITORY 镜像TAG
如 docker save -o clickhouse.tar clickhouse/clickhouse-server latest
加载本地tar到镜像 docker load -i tar包名
如docker load -i clickhouse.tar

1.4集群验证

登录clickhouse,执行sqlSELECT * FROM system.clusters会看到以下信息

集群情况查看

1.5分片测试

在3个节点都执行以下sql,其中ck_cluster为我们的集群名称,这点注意

--本地表
create table person_local (ID Int8, Name String, BirthDate Date) ENGINE = MergeTree(BirthDate, (Name, BirthDate), 8192);
--分布表（Distributed）本身不存储数据，相当于路由，需要指定集群名、数据库名、数据表名、分片KEY.
这里分片用rand()函数，表示随机分片。
create table person_all as person_local ENGINE = Distributed(ck_cluster, default, person_local, rand());

补充:
查询分布表，会根据集群配置信息，路由到具体的数据表，再把结果进行合并。
person_local 为本地表，数据只是在本地
person_all 为分布式表，查询这个表，引擎自动把整个集群数据计算后返回

执行完毕,结构是这样的

分片测试表
数据插入sql

insert into person_all (*) values ('1','a','2021-10-01');
insert into person_all (*) values ('2','b','2021-10-01');
insert into person_all (*) values ('3','c','2021-10-01');
insert into person_all (*) values ('4','d','2021-10-01');
insert into person_all (*) values ('5','e','2021-10-01');
insert into person_all (*) values ('6','f','2021-10-01');
insert into person_all (*) values ('7','g','2021-10-01');
insert into person_all (*) values ('8','h','2021-10-01');
insert into person_all (*) values ('9','i','2021-10-01');
insert into person_all (*) values ('10','j','2021-10-01');
insert into person_all (*) values ('11','k','2021-10-01');
insert into person_all (*) values ('12','l','2021-10-01');

数据查询验证,结果如下

select * from person_all;
select * from person_local;

95节点上的person_local数据

94节点上的person_local数据

93节点上的person_local数据

可以发现数据分片到了三台机器的本地表。

感谢

Clickhouse分布式集群搭建
 ClickHouse集群安装部署流程（踩坑解决）
clickhouse分布式三分片一副本部署

ClickHouse docker 集群搭建学习(小白向)

1.环境准备

1.1.SSE4.2验证

1.2.docker安装

1.3.配置修改

1.3.1.users.xml配置修改默认密码

1.3.2. 挂载users.xml

1.3.3. config.xml配置集群(3分片1副本)

1.3.4.重构容器

1.4集群验证

1.5分片测试

感谢

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

大数据