美文网首页
基于GTID复制的原理

基于GTID复制的原理

作者: 爱钓鱼的码农 | 来源:发表于2020-08-27 17:49 被阅读0次

    前言

    GTID (Global Transaction IDentifier) 是全局事务标识。它具有全局唯一性,一个事务对应一个GTID。唯一性不仅限于主服务器,GTID在所有的从服务器上也是唯一的。一个GTID在一个服务器上只执行一次,从而避免重复执行导致数据混乱或主从不一致。
    在传统的复制里面,当发生故障需要主从切换时,服务器需要找到binlog和pos点,然后将其设定为新的主节点开启复制。相对来说比较麻烦,也容易出错。在MySQL 5.6里面,MySQL会通过内部机制自动匹配GTID断点,不再寻找binlog和pos点。我们只需要知道主节点的ip,端口,以及账号密码就可以自动复制。

    GTID的组成部分:

    GDIT由两部分组成:GTID = source_id:transaction_id。 
    其中source_id是产生GTID的服务器,即是server_uuid,在第一次启动时生成(sql/mysqld.cc: generate_server_uuid()),并保存到DATADIR/auto.cnf文件里。
    transaction_id是序列号(sequence number),在每台MySQL服务器上都是从1开始自增长的顺序号,是事务的唯一标识。
    例如:3E11FA47-71CA-11E1-9E33-C80AA9429562:23 GTID 的集合是一组GTIDs,可以用source_id+transaction_id范围表示,例如:3E11FA47-71CA-11E1-9E33-C80AA9429562:1-5 复杂一点的:如果这组 GTIDs 来自不同的 source_id,各组 source_id 之间用逗号分隔;
    如果事务序号有多个范围区间,各组范围之间用冒号分隔,例如:3E11FA47-71CA-11E1-9E33-C80AA9429562:23,3E11FA47-71CA-11E1-9E33-C80AA9429562:1-5
    

    GTID如何产生

    GTID的生成受GTID_NEXT控制。
    在主服务器上,GTID_NEXT默认值是AUTOMATIC,即在每次事务提交时自动生成GTID。它从当前已执行的GTID集合(即gtid_executed)中,找一个大于0的未使用的最小值作为下个事务GTID。
    同时在实际的更新事务记录之前,将GTID写入到binlog(set GTID_NEXT记录)。 
    在Slave上,从binlog先读取到主库的GTID(即get GTID_NEXT记录),而后执行的事务采用该GTID。
    

    GTID的工作原理

    GTID在所有主从服务器上都是不重复的。
    所以所有在从服务器上执行的事务都可以在binlog找到。
    一旦一个事务提交了,与拥有相同GTID的后续事务都会被忽略。
    这样可以保证从服务器不会重复执行同一件事务。
    
    当使用GTID时,从服务器不需要保留任何非本地数据。
    使用数据都可以从replicate data stream,从DBA和开发者的角度看,从服务器无保留file-offset pairs以决定如何处理主从服务器间的数据流。
    

    GTID的生成和使用由以下几步组成

    主服务器更新数据时,会在事务前产生GTID,一同记录到binlog日志中。
    binlog传送到从服务器后,被写入到本地的relay log中。
    从服务器读取GTID,并将其设定为自己的GTID(GTID_NEXT系统)。
    sql线程从relay log中获取GTID,然后对比从服务器端的binlog是否有记录。
    如果有记录,说明该GTID的事务已经执行,从服务器会忽略。
    如果没有记录,从服务器就会从relay log中执行该GTID的事务,并记录到binlog。
    

    GTID相关的变量

    GTID_NEXT

    SESSION级别变量,表示下一个将被使用的GTID。
    Scope : Session
    Dynamic : Yes
    Type : Enumeration
    Default Value : AUTOMATIC
    Valid Values :
    -- AUTOMATIC: 使用自动产生的下一个GTID。
    -- ANONYMOUS: 事务没有GTID, 只使用 file and position 作为标识。
    -- UUID:NUMBER:GTID in UUID:NUMBER format.
    
    

    GTID_MODE:

    Log 是否使用GTID或使用anonymous。
    anonymous transaction用binlog file 和position来标识事务。
    Scope : Global
    Dynamic : Yes
    Type : Enumeration
    Default Value : OFF
    Valid Values
    -- OFF:新的和复制事务都使用anonymous。
    -- OFF_PERMISSIVE:新的事务都使用anonymous,而复制事务可以使用GTID或anonymous。
    -- ON_PERMISSIVE:复制事务都使用anonymous,而新事务可以使用GTID或anonymous。
    -- ON: 新的和复制事务都使用GTID
    

    GTID_EXECUTED:

    包含已经在该实例上执行过的事务; 执行RESET MASTER 会将该变量置空; 我们还可以通过设置GTID_NEXT在执行一个空事务,来影响GTID_EXECUTED。使用 SHOW MASTER STATUS and SHOW SLAVE STATUS,其中Executed_Gtid_Set会显示GTID_EXECUTED里的GTIDs。5.7.7之前,GTID_EXECUTED可以是seesion变量。它包含当前session写入缓存的一组事务。
    
    Scope : Global, Session
    Dynamic : No
    Type : String
    

    GTID_PURGED:

    已经被删除了binlog的事务,它是GTID_EXECUTED的子集,只有在GTID_EXECUTED为空时才能设置该变量,修改GTID_PURGED会同时更新GTID_EXECUTED和GTID_PURGED的值。
    
    Scope : Global
    Dynamic : Yes
    Type : String
    

    GTID_OWNED:

    表示正在执行的事务的GTID以及其对应的线程ID。
    Scope : Global, Session
    Dynamic : No
    Type : String
    如果GDIT_OWNED是全局变量,它包含所有当前服务器上正在使用的GTIDs和使用它们的线程IDs。这个变量主要用于多线程从服务器复制,从而可以查看一个事务是否已经被另一个线程处理。这个线程会拥有所处理事务的ownership。@@global.grid_owned会显示出GTID和它的owner。当事务处理完成,线程会释放ownership. 如果GDIT_OWNED是session变量,它包含一个seesion正在使用的GTID。这个变量对测试和debug会很有帮助。
    

    相关文章

      网友评论

          本文标题:基于GTID复制的原理

          本文链接:https://www.haomeiwen.com/subject/ijchsktx.html