数据库中间 MyCAT 读写分离实现
参考资料： https://segmentfault.com/a/1190000008942618
Mycat 是一个开源的分布式数据库系统，但是由于真正的数据库需要存储引擎，而 Mycat 并没有存 储引擎，所以并不是完全意义的分布式数据库系统。 那么 Mycat 是什么？Mycat 是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服 务。
image.png
MyCAT 是使用 JAVA 语言进行编写开发，使用前需要先安装 JAVA 运行环境(JRE),由于 MyCAT 中使用了 JDK7 中的一些特性，所以要求必须在 JDK7 以上的版本上运行。
部署环境
-
下载 jdk
image.png
shell> wget --no-cookies \
--no-check-certificate \
--header \
"Cookie: oraclelicense=accept-securebackup-cookie" \
http://download.oracle.com/otn-pub/java/jdk/8u181-\
b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-\
x64.tar.gz
// --no-check-certificate 表示不校验SSL证书，因为中间的两个302会访问https，会涉及到证书的问题，不校验能快一点，影响不大.
- 解压文件
shell> tar -xf -C jdk-8u181-linux-x64.tar.gz /usr/local/
shell> ln -s /usr/local/jdk1.8.0_181/ /usr/local/java
- 配置环境变量
shell> vi /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
注意 CLASSPATH 中有个点 . 不要省略
- 使环境变量生效
// 立刻在当前的 shell 会话中生效
shell> source /etc/profile
全部生效需要重启机器
部署 MyCat
下载
image.png
根据浏览下下方的提示，下载对应的版本
image.png
shell> wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
解压
shell> tar -xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C /usr/local/
shell> ls /usr/local/mycat/
bin catlet conf lib logs version.txt
认识MyCat 中的概念
逻辑架构图
DBA 或者运维人员对数据进行分片处理之后，从原有的一个库，被切分为多个分片数据库，所有的分片数据库集 群构成了整个完整的数据库存储。
image.png
如上图所表示，数据被分到多个分片数据库后，应用如果需要读取数据，就要需要处理多个数据源的数据。 如果没有数据库中间件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处 理，原本该是专注于业务的应用，将会花大量的工作来处理分片后的问题，最重要的是每个应用处理将是完全的 重复造轮子。 所以有了数据库中间件，应用只需要集中与业务处理，大量的通用的数据聚合，事务，数据源切换都由中间 件来处理，中间件的性能与处理能力将直接决定应用的读写性能，所以一款好的数据库中间件至关重要。
逻辑库(schema)
通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道 数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。
在云计算时代，数据库中间件可以以多租户的形式给一个或多个应用提供服务，每个应用访问的可能是一个 独立或者是共享的物理库，常见的如阿里云数据库服务器 RDS。
image.png
逻辑表（table）
既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可 以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。
分片规则(rule)
数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到 某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。
配置 MyCat
认识配置文件
MyCAT 目前主要通过配置文件的方式来定义逻辑库和相关配置:
-
/usr/local/mycat/conf/server.xml定义用户以及系统相关变量，如端口等。其中用户信息是前端应用程序连接 mycat 的用户信息。
-
/usr/local/mycat/conf/schema.xml定义逻辑库，表、分片节点等内容。
-
/usr/local/mycat/conf/rule.xml中定义分片规则。
配置 server.xml
以下为代码片段
下面的用户和密码是应用程序连接到 MyCat 使用的，可以自定义配置
而其中的schemas 配置项所对应的值是逻辑数据库的名字，也可以自定义，但是这个名字需要和后面 schema.xml 文件中配置的一致。
shell> vim server.xml
<user name="mycatdb">
<property name="password">123456</property>
<property name="schemas">schema_shark_db</property>
<!-- 表级 DML 权限设置 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
<!--下面是另一个用户，并且设置的访问 TESTED 逻辑数据库的权限是 只读
<user name="user">
<property name="password">user</property>
<property name="schemas">TESTDB</property>
<property name="readOnly">true</property>
</user>
-->
==上面的配置中，假如配置了用户访问的逻辑库，那么必须在 schema.xml 文件中也配置这个逻辑库，否则报错，启动 mycat 失败==
配置 schema.xml
以下是配置文件中的每个部分的配置块儿
逻辑库和分表设置
<schema name="schema_shark_db" // 逻辑库名称
checkSQLschema="false" // 不检查
sqlMaxLimit="100" // 最大连接数
dataNode='dn1'> // 数据节点名称
<!--这里定义的是分表的信息-->
</schema>
数据节点
<dataNode name="dn1" // 此数据节点的名称
dataHost="localhost1" // 主机组
database="shark_db"> // 真实的数据库名称
</dataNode>
主机组
<dataHost name="localhost1"
maxCon="1000" minCon="10" // 连接
balance="0" // 负载均衡
writeType="0" // 写模式配置
dbType="mysql" dbDriver="native" // 数据库配置
switchType="1" slaveThreshold="100">
<!--这里可以配置关于这个主机组的成员信息，和针对这些主机的健康检查语句-->
</dataHost>
image.png
健康检查
<heartbeat>select user()</heartbeat>
读写配置
<writeHost host="hostM1" url="172.16.153.10:3306"
user="root" password="123">
<!-- can have multi read hosts -->
<readHost host="hostS2" url="172.16.153.11:3306"
user="root" password="123" /></writeHost>
以下是组合为完整的配置文件，适用于一主一从的架构
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="schema_shark_db"
checkSQLschema="false"
sqlMaxLimit="100"
dataNode='dn1'>
<!--这里定义的是分库分表的信息-->
</schema>
<!--下面是配置读写分离的信息-->
<dataNode name="dn1"
dataHost="localhost1" database="shark_db">
</dataNode>
<dataHost name="localhost1"
maxCon="1000" minCon="10"
balance="0" writeType="0"
dbType="mysql" dbDriver="native"
switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="172.16.153.10:3306"
user="root" password="123">
<!-- can have multi read hosts -->
<readHost host="hostS2" url="172.16.153.11:3306"
user="root" password="123" />
</writeHost>
</dataHost>
</mycat:schema>
配置 log4j2.xml
<!--设置日志级别为 debug , 默认是 info-->
<asyncRoot level="debug" includeLocation="true">
启动 mycat
shell> /usr/local/mycat/bin/mycat start
支持一下参数
start | restart |stop | status
在真实的 master 数据库上给用户授权
mysql> grant all on shark_db.* to root@'%' identified by '123';
mysql> flush privileges;
假如你通过远程连接登录到 mysql 后，给用户进行授权操作，提示
mysql> grant all on *.* to root@'172.16.153.%' identified by '123';
ERROR 1045 (28000): Access denied for user ...略...
请检查Grant_priv 的值是否是 N
mysql> select * from mysql.user where user='root' \G
... 略 ...
Host: mysql-master1
User: root
Grant_priv: N
... 略 ...
解决办法
尝试通过本地等录到 mysql 后，再进行授权操作
shell> mysql -uroot -p'123' -hlocalhost
mysql> grant all on *.* to root@'172.16.153.%' identified by '123';
Query OK, 0 rows affected, 1 warning (0.01 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)
测试
在 mycat 的机器上测试用户权限有效性
测试是否能正常登录上 主服务器
shell> mysql -uroot -p'123' -h172.16.153.10
继续测试是否能登录上从服务器
shell> mysql -uroot -p'123' -h172.16.153.11
通过客户端进行测试是否能登录到 mycat 上
172.16.153.162 是 mycat 的主机地址
注意端口号是 8066
shell> mysql -umycatdb -p123456 -P8066 -h172.16.153.162
mysql> show databases;
+-----------------+
| DATABASE |
+-----------------+
| schema_shark_db |
+-----------------+
1 row in set (0.00 sec)
继续测试读写分离策略
使用 mysql 客户端工具使用 mycat 的账户和密码登录 mycat ,
之后执行 select 语句。
之后查询 mycat 主机上 mycat 安装目录下的 logs/mycat.log 日志。
在日志重搜索查询的语句或者查询 从库的 ip 地址，应该能搜索到
网友评论