美文网首页ClickHouse
ClickHouse集群(Centos7)

ClickHouse集群(Centos7)

作者: ming416 | 来源:发表于2018-09-29 11:55 被阅读0次

ClickHouse 有人比喻超跑,当你没有用过的时候体会不到,一用上你会非常认同这个观点。

1:安装

   1.1 首选准备3台机器,系统都是centos7 最新
            ck01.ming.cn 10.0.100.111
            ck02.ming.cn 10.0.100.112
            ck03.ming.cn 10.0.100.113

   1.2 安装rpm(所有机器)
            由于clickhouse官网并没有提供centos的安装,所以得自己编译rpm。但Altinity提供了而且都是实时更新的。
             https://packagecloud.io/altinity/clickhouse
             1.2.1  把所有rpm包都下到本地。
      
             1.2.2  执行安装server
     
                    yum localinstall -y clickhouse-server-18.12.17-1.el7.x86_64.rpm
      
             1.2.3  执行安装client
               
                    yum localinstall -y clickhouse-client-18.12.17-1.el7.x86_64.rpm

            另一种直接生产本地repo源来安装  https://www.jianshu.com/p/9f697c68daee

2:集群配置(所有机器)

      2.2 修改config.xml
            注意几处修改
             2.2.1 修改listen
                     <listen_host>0.0.0.0</listen_host>
                     集群间可以互通
                  
             2.2.2  添加集群配置文件配置
                      <include_from>/etc/metrika.xml</include_from>
              
             2.2.3   修改存储路径
                        大部分都是新挂磁盘,肯定不会是默认
                         <path>/mnt/data/clickhouse/</path>
                         <tmp_path>/mnt/data/clickhouse/tmp/</tmp_path>
                   
               host节点配置完成

         2.3  修改集群配置
                2.3.1  配置路径/etc/metrika.xml
                2.3.2  详细配置

                    <clickhouse_remote_servers>
                        <!-- cluster name -->
                        <ming_cluster>
                            <!-- 数据分片1  -->
                            <shard>
                                <internal_replication>false</internal_replication>
                                <replica>
                                    <host>ck01.ming.cn</host>
                                    <port>9000</port>
                                    <user>default</user>
                                    <password>I2345H</password>
                                </replica>
                            </shard>
                    
                            <!-- 数据分片2  -->
                            <shard>
                                <internal_replication>false</internal_replication>
                                <replica>
                                    <host>ck02.ming.cn</host>
                                    <port>9000</port>
                                    <user>default</user>
                                    <password>I2345H</password>
                                </replica>
                            </shard>
                    
                            <!-- 数据分片3  -->
                            <shard>
                                <internal_replication>false</internal_replication>
                                <replica>
                                    <host>ck03.ming.cn</host>
                                    <port>9000</port>
                                    <user>default</user>
                                    <password>I2345H</password>
                                </replica>
                            </shard>
                    
                        </ming_cluster>
                    </clickhouse_remote_servers> 


                2.4  修改用户配置
                         2.4.1  配置路径/etc/metrika.xml
                                   /etc/clickhouse-server/users.xml

                         2.4.2  其实只是在读写跟只读里加上之前的密码加密串        
                                    
                                   生产指令  echo -n "I2345H" | sha256sum | tr -d '-'

                                    配置 <password_sha256_hex>cab20b1e0210d928e0b7639c1a57065b288c05613109d7b8554782b478e0842d</password_sha256_hex>



              到此集群配置完成,这次并没有配置副本,副本等测试后再发上来。这次只是 把数据分成3个片区。

3 启动并测试集群

                3.1 启动
                       sh start_clickhouse.sh
                
                3.2 连接测试 
                        用idea的DataGrip
                        显示集群                            
xxx1.png

到此集群配置完成,测试速度,那叫一个快,mysql hive 基本无法比拟。占用磁盘空间那叫一个省。后续还会做性能分析及多副本集群配置更新

相关文章

网友评论

    本文标题:ClickHouse集群(Centos7)

    本文链接:https://www.haomeiwen.com/subject/mnevoftx.html