美文网首页数据库Linux系统运维
【实战演练】Linux操作系统20-MyCat实现Mysql数据

【实战演练】Linux操作系统20-MyCat实现Mysql数据

作者: 工程师Waiting | 来源:发表于2020-05-24 18:47 被阅读0次

    本文欢迎转载,转载请注明出处和作者。

    理论部分,详见《【理论研究】业务系统高可用及负载均衡》。

    本篇主要实现“8、Mysql读写分离”,需要在上一篇主主复制建立完成的基础上。

    1、安装JDK7

    解压jdk7(自行下载,并且上传)

    tar -zxvf jdk-7u80-linux-x64.tar.gz
    mkdir /usr/java
    mv jdk1.7.0_80/ /usr/java/jdk17
    

    由于centos一般安装完会自带java,所以直接修改环境变量还是没有办法更新版本,因此需要进行多版本选择。

    alternatives --install /usr/bin/java java /usr/java/jdk17/bin/java 3
    

    将java7加入系统,如果复制粘贴不行,请先复制进文本文档再尝试

    alternatives --config java
    

    选择主用java,然后输入3,按回车。

    修改环境变量,编辑环境变量文件

    vi /etc/profile
    

    在文本内容的最后面,添加如下内容:

    export JAVA_7_HOME=/usr/java/jdk17 
    export JAVA_HOME=$JAVA_7_HOME 
    export JRE_HOME=$JAVA_HOME/jre 
    export PATH=$JAVA_HOME/bin:$PATH 
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    

    按wq保存退出。

    source /etc/profile
    

    重新加载环境变量

    java -version
    javac -version
    

    分别测试,如果两个都显示现在版本是java1.7.0_80,则证明安装成功。如果其中1个,例如javac -version显示出错,那就证明未安装好。

    2、安装Mycat

    实际生产中,应该考虑采用单独的1台机器,安装MyCat,然后配置读写分离将访问数据库的流量分发到Mysql01、02。WEB服务器的配置文件指向MyCat服务器。

    但是MyCat服务器会单点故障,所以可以配置2台MyCat,然后再配置Keepalived做高可用/负载均衡,将WEB服务器的配置文件指向MyCat的高可用/负载均衡集群VIP。

    实际生产的Mysql可能不止2台,为了后面可以横向扩容Mysql服务器增加读的性能,所以可能会有多台数据库服务器,而如果Mycat安装在了其中2台数据库服务器上,一旦这2台数据库服务器崩溃,整个数据库集群就崩溃,是不妥当的,所以应该单独部署服务器来安装MyCat。

    实验中,为了节省机器,直接将MyCat部署在2台Mysql数据库服务器中,并且之前对2台Mysql服务器已经通过keepalived做过高可用VIP设置,通过VIP对外提供Mycat的访问。

    按照之前的grant授权,只有dqzqcw这个库可以远程登录,可以在mysql01、或者mysql02上面远程登录数据库进行测试VIP是否可以正常登录。

    mysql -u dqzqcw -h 10.1.30.30 -p
    

    下载Mycat(http://www.mycat.io/),并且上传到服务器。

    tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
    mv mycat /usr/local/
    

    增加环境变量

    cat >>/etc/profile<<EOF
    export MYCAT_HOME=/usr/local/mycat
    export PATH=$PATH:$MYCAT_HOME/bin
    EOF
    

    重新加载环境变量

    source /etc/profile
    

    3、修改MyCat配置

    在Mycat/conf/下面有3个文件需要配置,server.xml,schema.xml,rule.xml。

    3.1修改Server.xml

    cd /usr/local/mycat/conf
    

    修改配置文件,主要配置server.xml与schema.xml,里面有大量注释,会影响判断,可以去除。

    vi server.xml
    

    这个配置文件,主要是用于修改Mycat的用户名密码的,最下面的

    注意,默认root密码为123456,必须要改到和实际数据库的root密码一致,否则老是访问不成功,排错排了很久。)*

     <user name="root">
                    <property name="password">1qaz!QAZ</property>
                    <property name="schemas">TESTDB</property>
    
                    <!-- 表级 DML 权限设置 -->
                    <!--
                    <privileges check="false">
                            <schema name="TESTDB" dml="0110" >
                                    <table name="tb01" dml="0000"></table>
                                    <table name="tb02" dml="1111"></table>
                            </schema>
                    </privileges>
                     -->
            </user>
    
            <user name="user">
                    <property name="password">user</property>
                    <property name="schemas">TESTDB</property>
                    <property name="readOnly">true</property>
            </user>
    

    此处的数据库名,是用于WEB服务器访问Mycat的数据库名,而不是后端实际数据库的数据库名,可以任意修改。

    3.2修改Schema.xml配置

    3.2.1配置读写分离

    备份原有配置

    mv schema.xml schema.xml.bak
    

    新建配置文件

    vi schema.xml
    

    内容如下

    <?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://io.mycat/">
    
            <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="MysqlDataNode">
            </schema>
    
    <dataNode name="MysqlDataNode" dataHost="Mycat-node" database="dqzqcw" />
    
        <dataHost name="Mycat-node" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
            <heartbeat>show slave status</heartbeat>
            <writeHost host="Mysql-node1" url="10.1.30.28:3306" user="root" password="1qaz!QAZ">
                 <readHost host="Mysql-node2" url="10.1.30.29:3306" user="root" password="1qaz!QAZ">
                 </readHost>
            </writeHost>
        </dataHost>
    
    </mycat:schema>
    

    *dataNode、dataHost那里上下文一致即可,不一定叫MysqlDataNode。Schema name的TESTDB要与server.xml里面的数据库名保持一致。database="dqzqcw"填写真实数据库的名称。

    其中,balance指的负载均衡类型,目前的取值有4种:

    1. balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的writeHost上。

    2. balance="1",全部的readHost与stand by writeHost参与select语句的负载均衡,简单的说,当双主双从模式(M1->S1,M2->S2,并且M1与 M2互为主备),正常情况下,M2,S1,S2都参与select语句的负载均衡。

    3. balance="2",所有读操作都随机的在writeHost、readhost上分发。

    4. balance="3",所有读请求随机的分发到wiriterHost对应的readhost执行,writerHost不负担读压力

    switchType指的是切换的模式,目前的取值也有4种:

    1. switchType='-1' 表示不自动切换

    2. switchType='1' 默认值,表示自动切换

    3. switchType='2' 基于MySQL主从同步的状态决定是否切换,心跳语句为 show slave status

    4. switchType='3'基于MySQL galary cluster的切换机制(适合集群)(1.4.1),心跳语句为 show status like 'wsrep%'。

    配置完成后,/usr/local/mycat/bin/下面执行./mycat start可以开启。./mycat stop可以停止。

    上述配置完成,仅有读写分离的功能。

    3.2.2测试验证读写分离

    编辑mycat/conf/下面的log4j2.xml文件,改日志模式为debug。

    重启mycat服务,然后通过mycat地址链接数据库。

    mysql -u root -h 10.1.30.30 -P 8066 -p,注意8066是mycat的默认服务端口,登陆后能看到Mycat标识。(注意10.1.30.30是VIP,如果无法访问请检查keepalived配置)

    能够明显看到登录后提示Mycat字样,与普通登录有明显区别。

    再开一个终端窗口,打开mycat日志。tail -f /usr/local/mycat/logs/mycat.log

    然后在通过mycat访问数据库的终端窗口里面,进行show databases;use XXdatabase;

    select * from XXX;之类的查询操作。

    注意:当前配置下执行SQL,应该到use database就很卡,甚至show tables后会报错

    ERROR 3009 (HY000): java.lang.IllegalArgumentException: Invalid DataSource:0
    

    那是因为mycat配置的使用root账号连接数据库,但是之前root仅能localhost登录有权限对数据库进行操作,所以现在mycat远程登录mysql01、02没有权限执行命令,因此报错,解决方案是登录mysql01、02的数据库,并且将root设置为%任意终端登录。

    mysql -u root -p
    grant all on *.* to 'root'@'%' identified by '1qaz!QAZ';
    flush privileges;
    

    然后重新测试,运行show database;select XXX等SQL命令。

    然后再执行创建表格

    create table test (
     test_id int auto_increment,
     test_username varchar(20) not null,
     test_number varchar(10) not null,
     primary key (test_id)
    );
    

    插入数据

    insert into test (test_id,test_username,test_number)
    values
    (1,'tommy','3');
    

    然后exit退出,然后到一直生成日志的窗口退出日志,将日志复制下来到word,方便查看。

    日志处,搜索attachment字段,会看到有很多attachment=null(证明该时间戳没有SQL命令),attachment={select * from xxx};attachment={insert into XXX}之类的标记。

    可以看到所有的读操作都分配到了10.1.30.29,而insert等写操作都是分配到了30.28,证明读写分离配置生效。

    4、故障自动切换

    4.1修改mycat配置文件

    上面的配置仅是做了读写分离,当写入节点故障(Mysql01),那么只能提供只读服务,系统将无法进行任何写入操作。

    如果需要配置写入节点自动故障切换,需要修改mycat的schema.xml配置文件。

    vi schema.xml
    
    <?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://io.mycat/">
    
            <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="MysqlDataNode">
            </schema>
    
    <dataNode name="MysqlDataNode" dataHost="Mycat-node" database="dqzqcw" />
    
        <dataHost name="Mycat-node" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
            <heartbeat>show slave status</heartbeat>
            <writeHost host="Mysql-node1" url="10.1.30.28:3306" user="root" password="1qaz!QAZ">
                 <readHost host="Mysql-node2" url="10.1.30.29:3306" user="root" password="1qaz!QAZ">
                 </readHost>
            </writeHost>
            <writeHost host="Mysql-node1" url="10.1.30.29:3306" user="root" password="1qaz!QAZ">
            </writeHost>
        </dataHost>
    
    </mycat:schema>
    

    比读写分离多增加了备用机的wirteHost配置。

    主从自动切换配置后,第一个writeHost故障后,会自动切换到第二个,第二个故障后自动切换到第三个;

    如果当是1主3从模式,可以把第1个从节点配置为writeHost,第2个和第3个从节点则配置为writeHost和1的readHost;

    (*注意:如果30.28与30.29只是配置了主从单向复制,然后mycat配置了读写分离+主从自动切换,那么30.28宕机后,mycat自动切换到30.29进行写入,但是当30.28恢复后,mycat会自动切换回30.28为主。由于28到29是单向主从复制,那么中间一段时间往29写入的数据,是不会反向同步到28的,那么28宕机到恢复中间的写入数据就会丢失。所以2台mysql服务器应该做主主复制,当29作为写入,28恢复后,可以将新写入29的数据回写到28.

    4.2测试

    登录10.1.30.28,然后手动停止mysql服务,service mysqld stop,然后通过mycat访问数据库,查看是否依然能够读写,如读写正常,表明切换生效。

    mysql -u root -h 10.1.30.44 -P 8066 –p
    insert into test (test_id,test_username,test_number)
    values
    (2,'candy','4');
    

    4.3修改WEB服务器配置

    修改Apache服务器连接数据库的配置文件

    vi /var/www/html/config.php
    $db_config['DB_HOST'] = '10.1.30.30:8066'; //数据库地址
    $db_config['DB_USER'] = 'root'; //mysql帐号
    $db_config['DB_PASS'] = '1qaz!QAZ'; //mysql密码
    $db_config['DB_NAME'] = 'TESTDB'; //数据库名称
    

    然后重新访问业务,业务正常显示,那么证明Apache通过Mycat访问数据库正常。

    相关文章

      网友评论

        本文标题:【实战演练】Linux操作系统20-MyCat实现Mysql数据

        本文链接:https://www.haomeiwen.com/subject/fcrnohtx.html