美文网首页
Redis4.0 PSYNC2介绍

Redis4.0 PSYNC2介绍

作者: 白馨_1114 | 来源:发表于2020-04-26 17:07 被阅读0次

PSYNC

PSYNC是Redis 4.0版本之前的主从同步协议。

PSYNC协议中,主库维护一个同步bufferrepl_backlog(积压缓冲区),用以保存已经发送给从库的Redis命令;从库保存了主库的runid以及与主库同步的偏移量repl_offset。如果主从之间的网络断开再恢复(主从库均未重启),从库同步偏移量repl_offset在主库的repl_backlog之内,那么主从之间不需要全同步,只需要做增量复制。

PSYNC协议主要是为了解决网络抖动问题带来的主从全同步。在日常运维redis过程中,只要合理设置repl_backlog_size就可以利用PSYNC协议解决网络抖动带来的全量同步。

但是PSYNC也有一些缺陷。比如发生故障转移时,PSYNC处理的不够好。
用一主两从故障转移举例说明。拓扑结构如下:S1 --> M <-- S2。当M宕机时,将S1提升为新主库。此时无论S2或者M想成为新主库的从库,都必须做全量同步。这导致一发生故障转移,就必须做全量同步,这是不合理的。而且也对运维和集群性能产生非常大的影响。
同样的其他拓扑结构也会导致一样的问题,总结一下:

  1. 在链式一主两从结构中,M <-- S1 <-- S2,当S1不可用,S2直连M时,S2和M需要做全同步;
  2. 在树状一主两从结构中,S1 --> M <-- S2,当M不可用,S2做S1的从库时,S2和S1需要做全同步;
  3. 在一主一从的结构中,M <-- S,当主从角色互换时,需要做全同步。

其次PSYNC对重启的支持也不好。一旦发生重启,即使不变更主从关系,也会发生全量同步。

在以上情况中,如果所有实例保存的数据都相同,完全可以不需要进行全同步。所以Redis 4.0版本改进了复制协议PSYNC2,尽量使得全同步不要出现。

PSYNC2

PSYNC2解决了上面的问题(图片来源于网上)。

image.png
  1. 在建立主从复制关系时,master会将自己的replid传递给slaveslave会把自己的replid更新为master的,这样逐级传递下去。最终masterslave1slave2server.replid全部一样,都是masterreplid
  2. 主从复制建立完成之后,这条复制链上所有的数据都由master产生,也就是说masterslave1slave2offset也全都匹配得上。

那么在具体看一下pysnc2如何解决之前的问题。

  1. 在链式一主两从结构中,M <-- S1 <-- S2,当S1不可用,S2直连M时,S2和M需要做全同步;
    通过前面1,2项可以看出,MS2具有相同的replid,并且offset也可以匹配得上,此时就可以直接进行增量同步,避免了全量同步的开销。

  2. 在树状一主两从结构中,S1 --> M <-- S2,当M不可用,S2做S1的从库时,S2和S1需要做全同步;
    S1变更为主时,原来masterreplidoffset不会丢弃,而是会保存在replid2second_repl_offset中,参与匹配。那么S2replidoffset都能从新主中找到replid2,并且和新主的second_repl_offset也匹配的上,就可以直接进行增量同步,避免全量同步的开销。

  3. 在一主一从的结构中,M <-- S,当主从角色互换时,需要做全同步。
    S变更为主时,原来masterreplidoffset不会丢弃,而是会保存在replid2second_repl_offset中,参与匹配。那么Mreplidoffset都能从新主中找到replid2,并且和新主的second_repl_offset也匹配的上,就可以直接进行增量同步,避免全量同步的开销。

其次、实例的repl-idrepl-offset保存到RDB文件中,保证从库重启之后,依然可以进行半同步。

PSYNC2只是一定程度上弥补psync的缺陷,当超过second_repl_offset,依然会进行全量同步。
所以在引进新功能的同时,也要注意合理设置repl-backlog-buffer大小。

实现细节:

相关文章

  • Redis4.0新特性(二)-PSYNC2

    Redis4.0新特性psync2(partial resynchronization version2)部分重新...

  • Redis4.0 PSYNC2介绍

    PSYNC PSYNC是Redis 4.0版本之前的主从同步协议。 在PSYNC协议中,主库维护一个同步buffe...

  • 修改Redis4.0 psync2链式复制

    1.psync2解释 以A ---> B ---> C ---> D为例说明一下psync2 B,C,D都是只读从...

  • Centos7 编译安装 Redis 4.0.6

    下载Redis 4.0 编译安装 Redis4.0 启动 Redis4.0

  • Redis模块使用和开发

    一、介绍:Redis4.0之后的版本便支持模块扩展功能,开发人员可以通过模块开发来增强Redis的功能、自定义类型...

  • 仲肥:何为Redis 4.0 ?

    摘要:在2018数据库直播大讲堂峰会-Redis专场上,阿里云的仲肥对Redis4.0介绍。仲肥从何为Redis4...

  • redis4.0 内存优化

    redis4.0 release https://github.com/antirez/redis/blob/4....

  • Redis4.0新增特性

    一,Memory 二,Lazy Free 三,Psync2 升级psync1 解决副本集重启 全量同步问题 减少同...

  • 2019-11-29

    大key如何发现及治理? 发现 redis4.0之前 redis-cli --bigkeys命令。可以找到某个实例...

  • redis自动清理设置

    Redis4.0版本之后支持在运行期进行自动内存碎片清理通过设置config set activedefrag y...

网友评论

      本文标题:Redis4.0 PSYNC2介绍

      本文链接:https://www.haomeiwen.com/subject/tpjjwhtx.html