Redis集群

一、主从复制

0. 从服务器向主服务器发送sync命令，从而开始主从复制，主要步骤：主服务器执行bgsave，在后台生成一个rdb文件，并用一个缓冲区记录从现在开始的所有写命令。主服务器将rdb文件和缓冲区中的写命令发送给从服务器，从服务器载入rdb文件并执行缓冲区中的命令从而达到主从一致。

1. redis 2.8之前不能高效处理断线后重复制情况，但redis2.8新添加的部分重同步功能可以解决这个问题。部分重同步是通过主服务器将主从服务器连接断开期间执行的写命令发送给从服务器来实现的。

2. 部分重同步通过复制偏移量、复制积压缓冲区、服务器运行id三个部分来实现。

复制偏移量记录了主服务器和从服务器当前发送或者接收数据的数量。当主服务器向从服务器发送N个字节数据后，就将复制偏移量加N，当从服务器接收到N个字节数据后，就将自己的复制偏移量加N。

复制积压缓冲区是主服务器用来保存最近传播命令的队列。同时它也会为队列中的每个字节记录相应的复制偏移量。当断线重连后从服务器会将自己的复制偏移量发送给主服务器，如果这个offset之后的内容在复制积压缓冲区的话就执行部分重同步，否则就执行完全重同步。

主服务器的服务器id用来标识主服务器，断线重连后从服务器将之前保存的主服务器id发给当前连接上的主服务器，主服务器以此判断之前是否是和自己进行的同步。如果之前是和自己进行的同步，则可以继续进行部分重同步，否则就进行完全重同步。

3. 复制是通过从服务器向主服务器发送命令来实现的。

4. 主服务器通过向从服务器传播命令来更新从服务器的状态，保持主从服务器一致，而从服务器会向主服务器发送心跳检测，一方面检测主从服务器的网络状态，一方面获取从服务器的偏移量。

二、哨兵模式

1. 哨兵本质上是一个运行在特殊模式下的redis服务器，它有一些和普通redis服务器不同的功能。

sentinel和主服务器以及从服务器之间有命令连接和订阅连接。

2. sentinel向主服务器发送info命令能够获取到主服务器的信息及其所属的从服务器信息。

3. 每个sentinel通过向每个master和slave的发布/订阅频道__sentinel__:hello每秒发送一次消息，来宣布它的存在。每个sentinel也订阅了每个master和slave的频道__sentinel__:hello的内容，来发现未知的sentinel，当检测到了新的sentinel，则将其加入到自身维护的master监控列表中。

4. sentinel以每秒一次的频率向主从服务器、其他sentinel发送PING命令，并根据对方对PING的回复来判断对方是否在线，如果在设置的时间内连续收到无效回复则认为对方下线。当一个sentinel判断某个主服务器下线后，会询问其他服务器是否也认为该主服务器下线，在得到一个数量的肯定答复后会将该主服务器判定为客观下线，并执行故障转移。

5. 当一个主服务器被判断为客观下线时，监视这个下线主服务器的各个sentinel会进行协商，选举出领头sentinel进行故障转移。leader会在slaves中选择一个作为新的master。leader向master发送slaveof on one，向其他slaves发送slaveof ip port（新的master的ip和port），slaves就会复制新的master中的数据。

leader会选择哪一个slave作为新的master呢？

1）排除断线的slaves

2）选择优先级最高的

3）选择复制偏移量最大的

4）选择run_id最小的

三、集群

redis集群是通过分片方式来实现的分布式方案。

节点通过CLUSTER MEET命令将其他节点加入到自己的集群中。

1. 节点通过握手来将其他节点添加到自己所处的集群中。

2. 集群中共有16384个槽，当这些槽都完成指派后集群处于上线状态，否则处于下线状态。每个节点会通过消息将自己负责的槽信息发送给其他节点，每个节点都会记录哪些槽指派给了自己，哪些槽指派给了其他节点。

3. 节点接到一个客户端发送的命令后，会先检查这个命令请求要处理的键所处理的槽是否由自己负责，如果不是的话就向客户端返回一个MOVED，并转入所在的节点。

4. 节点通过 CRC16(KEY) & 16383 来计算键属于哪个槽。

5. 可以对集群进行重新分片来将任意数量已经分配给某个节点的槽改为指派给其他节点，槽所属的键值对也会被移动到目标节点。

6. 在进行重新分片时，如果键所属的槽正在迁移往其他节点，则会返回一个ASK指令，指向新的节点。与MOVED的永久转向不同的是，该指令只会对下一次的访问转向。

7. 故障转移

集群中的每个节点都会定期地向集群中其它节点发送ping消息，以此来检测对方是否在线。如果在规定时间内没有收到pong回复。则认为目标节点标记为疑似下线（PFAIL）。

当一个从节点发现自己正在复制的主节点进入了已下线时，从节点将开始对已下线的主节点进行故障转移操作，以下是故障转移的执行步骤：

下线的主节点的所有从节点里面，会进行选举，选举出一个新的主节点。

被选中的从节点会执行 slave no one命令，成为新的主节点。

新的主节点会撤销所有对已下线主节点的槽指派，并将这些槽指派给自己。

新的主节点向集群广播一条pong消息，这条pong消息可以让集群中的其他节点立即知道这个节点已经由从节点变成了主节点，并且这个主节点已经接管了原本由已下线节点处理的槽。

新的主节点开始接受和自己负责处理的槽有关的命令请求，故障转移操作完成。

8. redis cluster默认不是高可用的，要为每个主节点设置从节点来实现高可用。