前言
系统的数据承载量还是挺大的，所以需要对存储进行分库分表，数据库使用mysql，分库分表中间件使用mycat(服务代理模式)
1.准备
1.需要安装jdk1.7以上版本，本文使用的是jdk1.8 centos7安装jdk1.8
2.mycat安装包 http://www.mycat.org.cn
2.安装
将tar.gz文件上传到服务器
tar -xvaf Mycat-server-1.6.7.1-release-20190627191042-linux.tar.gz
编辑profile
vi /etc/profile
###将以下内容添加到文件末尾
export PATH="/usr/local/mycat/bin:$PATH"
###生效配置文件
source /etc/profile
###启动mycat
mycat start
###查看状态
mycat status
mycat的默认端口为 8066 ，监控端口为9066
3.配置mycat
常用指令
启动 mycat start
停止 mycat stop
重启 mycat restart
查看状态 mycat status
dump运行 mycat dump
行显 mycat console
登录mycat mysql -u账户名 -hmycatid -P端口 -p密码
如以root登录10.0.0.1端口为8066密码为123456：
mysql -uroot -h10.0.0.1 -P8066 -p123456
4.mycat配置
mycat的配置文件在 /usr/local/mycat/conf 目录下，主要的配置文件有
log4j2.xml 日志配置
server.xml mycat服务配置
schema.xml mycat逻辑库、分库分表配置
rule.xml 分块规则配置
wrapper.conf mycat jvm配置 这个配置不多做介绍，按照自己机器配置做修改即可
下面对配置文件进行介绍
4.1日志配置
和我们开发中常用的logback日志配置方式一样，这里需要修改的只是文件的存储路径，其他没必要修改。
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN">
<Appenders>
<Console name="Console" target="SYSTEM_OUT">
<PatternLayout pattern="%d [%-5p][%t] %m %throwable{full} (%C:%F:%L) %n"/>
</Console>
<!--## 只需修改此处的文件路径，当然不修改也可以-->
<RollingFile name="RollingFile" fileName="/opt/logs/mycat.log"
filePattern="/opt/ylbzj/logs/$${date:yyyy-MM}/mycat-%d{MM-dd}-%i.log.gz">
<PatternLayout>
<Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %5p [%t] (%l) - %m%n</Pattern>
</PatternLayout>
<Policies>
<OnStartupTriggeringPolicy/>
<SizeBasedTriggeringPolicy size="2048 MB"/>
<TimeBasedTriggeringPolicy/>
</Policies>
</RollingFile>
</Appenders>
<Loggers>
<!--<AsyncLogger name="io.mycat" level="info" includeLocation="true" additivity="false">-->
<!--<AppenderRef ref="Console"/>-->
<!--<AppenderRef ref="RollingFile"/>-->
<!--</AsyncLogger>-->
<asyncRoot level="info" includeLocation="true">
<!--<AppenderRef ref="Console" />-->
<AppenderRef ref="RollingFile"/>
</asyncRoot>
</Loggers>
</Configuration>
4.2mycat服务配置
服务主要是配置代理库名、账号、密码，里面有好多配置，我直接采用的默认配置后期再做详细调研
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
<system>
<property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
<property name="useHandshakeV10">1</property>
<property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 -->
<property name="useGlobleTableCheck">0</property> <!-- 1为开启全加班一致性检测、0为关闭 -->
<property name="sequnceHandlerType">2</property>
<!--<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>-->
<!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况-->
<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
<property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
<!-- <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
<!-- <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
<!-- <property name="processorBufferChunk">40960</property> -->
<!--
<property name="processors">1</property>
<property name="processorExecutor">32</property>
-->
<!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
<property name="processorBufferPoolType">0</property>
<!--默认是65535 64K 用于sql解析时最大文本长度 -->
<!--<property name="maxStringLiteralLength">65535</property>-->
<!--<property name="sequnceHandlerType">0</property>-->
<!--<property name="backSocketNoDelay">1</property>-->
<!--<property name="frontSocketNoDelay">1</property>-->
<!--<property name="processorExecutor">16</property>-->
<!--
<property name="serverPort">8066</property> <property name="managerPort">9066</property>
<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
<!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
<property name="handleDistributedTransactions">0</property>
<!--
off heap for merge/order/group/limit 1开启 0关闭
-->
<property name="useOffHeapForMerge">0</property>
<!--
单位为m
-->
<property name="memoryPageSize">64k</property>
<!--
单位为k
-->
<property name="spillsFileBufferSize">1k</property>
<property name="useStreamOutput">0</property>
<!--
单位为m
-->
<property name="systemReserveMemorySize">384m</property>
<!--是否采用zookeeper协调切换 -->
<property name="useZKSwitch">false</property>
<!-- XA Recovery Log日志路径 -->
<!--<property name="XARecoveryLogBaseDir">./</property>-->
<!-- XA Recovery Log日志名称 -->
<!--<property name="XARecoveryLogBaseName">tmlog</property>-->
<!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
<property name="strictTxIsolation">false</property>
<property name="useZKSwitch">true</property>
</system>
<!-- 全局SQL防火墙设置 -->
<!--白名单可以使用通配符%或着*-->
<!--例如<host host="127.0.0.*" user="root"/>-->
<!--例如<host host="127.0.*" user="root"/>-->
<!--例如<host host="127.*" user="root"/>-->
<!--例如<host host="1*7.*" user="root"/>-->
<!--这些配置情况下对于127.0.0.1都能以root账户登录-->
<!--
<firewall>
<whitehost>
<host host="1*7.0.0.*" user="root"/>
</whitehost>
<blacklist check="false">
</blacklist>
</firewall>
-->
<!-- ##只修改此处的逻辑库名账号密码 root是账号 password是密码登录mycat的密码和数据库密码没有关系 schemas 是schema.xml 配置的属性-->
<user name="root">
<property name="password">123456</property>
<property name="schemas">bis_cat</property>
</user>
</mycat:server>
4.3逻辑库配置
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- 此处既是server.xml中 schema的名称，dataNode默认节点，即不分库分表的表使用节点3-->
<schema name="bis_cat" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn3">
<!--## name 逻辑表名 subTables 表示分块与逻辑表名的组合方式 这里是 name + _ + 分块 注意此处 $0-99 需要与分表规则计算的结果范围保持一致否则mycat会启动失败，dataNode使用的节点是 dn1-->
<table name="table_a" primaryKey="id" autoIncrement="false" dataNode="dn1" subTables="table_a_$0-99"
rule="psn-no-partation" />
<!--## name 逻辑表名 subTables 表示分块与逻辑表名的组合方式 这里是 name + _ + 分块 ，dataNode使用的节点是 dn2-->
<table name="table_b_mapper" primaryKey="id" autoIncrement="false" dataNode="dn2" subTables="table_b_mapper_$0-99"
rule="cert-no-partation" />
</schema>
<!--此处是数据节点的配置,name 逻辑节点名，database数据库物理名称 dataHost dataHost标签的name属性-->
<dataNode name="dn1" dataHost="jdbchost" database="bis-a" />
<dataNode name="dn2" dataHost="jdbchost2" database="bis-b" />
<dataNode name="dn3" dataHost="jdbchost3" database="bis-base" />
<!--各个数据库实例的配置，此处此处采用jdbc的连接方式，只需要配置实例的地址账号密码即可 需要用dataNode节点的dataHost属性保持一致-->
<dataHost name="jdbchost" maxCon="1000" minCon="10" balance="0" dbType="mysql"
dbDriver="jdbc">
<heartbeat>select 1</heartbeat>
<writeHost host="hostM1"
url="jdbc:mysql://10.0.0.1:3306" user="root" password="123456"> </writeHost>
</dataHost>
<dataHost name="jdbchost2" maxCon="1000" minCon="10" balance="0" dbType="mysql"
dbDriver="jdbc">
<heartbeat>select 1</heartbeat>
<writeHost host="hostM1"
url="jdbc:mysql://10.0.0.2:3306" user="root" password="123456"> </writeHost>
</dataHost>
<dataHost name="jdbchost3" maxCon="1000" minCon="10" balance="0" dbType="mysql"
dbDriver="jdbc">
<heartbeat>select 1</heartbeat>
<writeHost host="hostM1"
url="jdbc:mysql://10.0.0.3:3306" user="root" password="123456"> </writeHost>
</dataHost>
</mycat:schema>
4.4分表规则配置
分表配置以下三种基本可满足生成需求，如果需要根据时间进行分表，建议将时间转化为整型，然后使用直接取模的方式来处理。
- 对列进行hash而后取模
- 直接对列进行取模
- 对列进行枚举
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
<tableRule name="psn-no-partation">
<rule>
<!--columns 列名，algorithm计算方式-->
<columns>PSN_NO</columns>
<algorithm>shard-string-hash</algorithm>
</rule>
</tableRule>
<tableRule name="cert-no-partation">
<rule>
<columns>CERT_NO</columns>
<algorithm>shard-string-hash</algorithm>
</rule>
</tableRule>
<!--对属性进行hash然后取模-->
<function name="shard-string-hash" class="io.mycat.route.function.PartitionByHashMod">
<!--取模的模数，需要与subTables范围匹配 -->
<property name="count">100</property>
</function>
<!--对属性取模，将属性转化为BigInteger 然后取模-->
<function name="shard-hash" class="io.mycat.route.function.PartitionByMod">
<!--取模的模数，需要与subTables范围匹配 -->
<property name="count">100</property>
</function>
<!--枚举分片-->
<function name="shard-enum" class="io.mycat.route.function.PartitionByFileMap">
<!--取模的模数，需要与subTables范围匹配 -->
<!--默认值为0，0表示计算列为Integer，非零表示计算列为String-->
<property name="type">1</property>
<!--枚举文件名称，将此文件放在conf目录下即可，格式为 Object(字符串或数字)=Integer 如：hebei=0-->
<property name="mapFile">sharding-by-enum.txt</property>
<!--mapFile 默认节点，即通过计算未匹配到路由则使用默认配置，当值为负数时表示不使用默认节点，遇到无法识别的枚举插入和查询将报错，建议配置默认节点-->
<property name="DEFAULT_NODE">0</property>
</function>
</mycat:rule>
sharding-by-enum.txt文件示例:
default=0
hebei=1
shandong=2
beijing=3
单张表在多个实例上，且每个实例上也进行分表，从目前的资料来看，mycat是不支持这种模式的，如果有哪位大神知道如何配置，可以告知一下。
网友评论