美文网首页
【redis】分片集群:数据增多了,是该加内存还是加实例?

【redis】分片集群:数据增多了,是该加内存还是加实例?

作者: Bogon | 来源:发表于2024-04-21 07:12 被阅读0次

Redis Cluster方案通过哈希槽的方式把键值对分配到不同的实例上,这个过程需要对键值对的key做CRC计算,然后再和哈希槽做映射,这样做有什么好处吗?
如果用一个表直接把键值对和实例的对应关系记录下来(例如键值对1在实例2上,键值对2在实例1上),这样就不用计算key和哈希槽的对应关系了,只用查表就行了,Redis为什么不这么做呢?

503cccb29f7d0a6adaf00f64a4c8418c_793251ca784yyf6ac37fe46389094b26.jpg 4a21ab73f359dbb206963576152b26d9_7a512fec7eba789c6d098b834929701a.jpg 15300cc5952232076840dfe3fd027c8e_7d070c8b19730b308bfaabbe82c2f1ab.jpg e8a9915a19201226cddc4b5bbc656139_350abedefcdbc39d6a8a8f1874eb0809.jpg fcfcdbb32b372cf588c23ea728144cbd_e93ae7f4edf30724d58bf68yy714eeb0.jpg

Redis Cluster不采用把key直接映射到实例的方式,而采用哈希槽的方式原因:

1、整个集群存储key的数量是无法预估的,key的数量非常多时,直接记录每个key对应的实例映射关系,这个映射表会非常庞大,这个映射表无论是存储在服务端还是客户端都占用了非常大的内存空间。

2、Redis Cluster采用无中心化的模式(无proxy,客户端与服务端直连),客户端在某个节点访问一个key,如果这个key不在这个节点上,这个节点需要有纠正客户端路由到正确节点的能力(MOVED响应),这就需要节点之间互相交换路由表,每个节点拥有整个集群完整的路由关系。如果存储的都是key与实例的对应关系,节点之间交换信息也会变得非常庞大,消耗过多的网络资源,而且就算交换完成,相当于每个节点都需要额外存储其他节点的路由表,内存占用过大造成资源浪费。

3、当集群在扩容、缩容、数据均衡时,节点之间会发生数据迁移,迁移时需要修改每个key的映射关系,维护成本高。

4、在中间增加一层哈希槽,可以把数据和节点解耦,key通过Hash计算,只需要关心映射到了哪个哈希槽,然后再通过哈希槽和节点的映射表找到节点,相当于消耗了很少的CPU资源,不但让数据分布更均匀,还可以让这个映射表变得很小,利于客户端和服务端保存,节点之间交换信息时也变得轻量。

5、当集群在扩容、缩容、数据均衡时,节点之间的操作例如数据迁移,都以哈希槽为基本单位进行操作,简化了节点扩容、缩容的难度,便于集群的维护和管理。

另外,我想补充一下Redis集群相关的知识,以及我的理解:

Redis使用集群方案就是为了解决单个节点数据量大、写入量大产生的性能瓶颈的问题。
多个节点组成一个集群,可以提高集群的性能和可靠性,但随之而来的就是集群的管理问题,最核心问题有2个:请求路由、数据迁移(扩容/缩容/数据平衡)。

1、请求路由:一般都是采用哈希槽的映射关系表找到指定节点,然后在这个节点上操作的方案。

Redis Cluster在每个节点记录完整的映射关系(便于纠正客户端的错误路由请求),同时也发给客户端让客户端缓存一份,便于客户端直接找到指定节点,客户端与服务端配合完成数据的路由,这需要业务在使用Redis Cluster时,必须升级为集群版的SDK才支持客户端和服务端的协议交互。

其他Redis集群化方案例如Twemproxy、Codis都是中心化模式(增加Proxy层),客户端通过Proxy对整个集群进行操作,Proxy后面可以挂N多个Redis实例,Proxy层维护了路由的转发逻辑。操作Proxy就像是操作一个普通Redis一样,客户端也不需要更换SDK,而Redis Cluster是把这些路由逻辑做在了SDK中。当然,增加一层Proxy也会带来一定的性能损耗。

2、数据迁移:当集群节点不足以支撑业务需求时,就需要扩容节点,扩容就意味着节点之间的数据需要做迁移,而迁移过程中是否会影响到业务,这也是判定一个集群方案是否成熟的标准。

Twemproxy不支持在线扩容,它只解决了请求路由的问题,扩容时需要停机做数据重新分配。而Redis Cluster和Codis都做到了在线扩容(不影响业务或对业务的影响非常小),重点就是在数据迁移过程中,客户端对于正在迁移的key进行操作时,集群如何处理?还要保证响应正确的结果?

Redis Cluster和Codis都需要服务端和客户端/Proxy层互相配合,迁移过程中,服务端针对正在迁移的key,需要让客户端或Proxy去新节点访问(重定向),这个过程就是为了保证业务在访问这些key时依旧不受影响,而且可以得到正确的结果。由于重定向的存在,所以这个期间的访问延迟会变大。等迁移完成之后,Redis Cluster每个节点会更新路由映射表,同时也会让客户端感知到,更新客户端缓存。Codis会在Proxy层更新路由表,客户端在整个过程中无感知。

除了访问正确的节点之外,数据迁移过程中还需要解决异常情况(迁移超时、迁移失败)、性能问题(如何让数据迁移更快、bigkey如何处理),这个过程中的细节也很多。

Redis Cluster的数据迁移是同步的,迁移一个key会同时阻塞源节点和目标节点,迁移过程中会有性能问题。而Codis提供了异步迁移数据的方案,迁移速度更快,对性能影响最小,当然,实现方案也比较复杂。

参考

哨兵机制:主库挂了,如何不间断服务?
https://time.geekbang.org/column/article/274483

Redis哨兵模式(sentinel)学习
https://www.cnblogs.com/kevingrace/p/9004460.html

相关文章

  • Redis数据增多了,是该加内存还是加实例?

    我曾遇到过这么一个需求:要用 Redis 保存 5000 万个键值对,每个键值对大约是 512B,为了能快速部署并...

  • redis集群

    无论是单机还是主从结构,都无法解决数据量过大导致内存/虚拟内存无法村下所有数据的问题。redis集群通过分片根据k...

  • NoSql_Redis问题解决方案

    Redis是一个基于内存的键值类型的nosql数据库在大数据领域,主要使用 单机结构和 分片集群但是单点Redis...

  • Redis集群(一)安装配置和简便槽分配

    为什么要用Redis集群 Redis集群是Redis提供的分布式数据库方案,集群通过分片(sharding)来进行...

  • Mac多端口搭建redis集群

    集群(Redis Cluster)作用: 1.数据分区: 数据分区(或称数据分片)是集群最核心的功能,集群将数据分...

  • Jedis路由key的算法剥离

    在Redis集群中,会有很多个分片,如果此时利用Jedis来操作此Redis集群,那么他会把数据路由到不到的分片上...

  • Redis集群分片原理

    Redis集群分片原理 集群的目的: 横向伸缩。实现扩展数据库大小、带宽、计算能力。 分片理解: 类似数据库分库分...

  • 08-redis集群

    redis集群是redis提供分布式数据库方案,集群通过分片来进行数据共享,并提供复制和故障转移功能 节点 集群有...

  • Redis 集群

    1. 集群概述 Redis集群是Redis提供的分布式数据库方案,集群通过分片进行数据共享,提供复制和故障转移功能...

  • Spring该如何整合Redis集群

    前言:在上一文中,我讲到了---如何搭建redis集群---让集群拥有分片的数据内存的扩容和哨兵的高可用。今天给大...

网友评论

      本文标题:【redis】分片集群:数据增多了,是该加内存还是加实例?

      本文链接:https://www.haomeiwen.com/subject/jjtusdtx.html