美文网首页redis
redis 主从同步-slave端

redis 主从同步-slave端

作者: 晴天哥_王志 | 来源:发表于2018-06-14 23:51 被阅读35次

    redis 主从命令

     redis的主从同步始于命令SLAVEOF host port,通过这个命令能够建立主从关系。

    • SLAVEOF 命令用于在 Redis 运行时动态地修改复制(replication)功能的行为。

    • 通过执行 SLAVEOF host port 命令,可以将当前服务器转变为指定服务器的从属服务器(slave server)。

    • 如果当前服务器已经是某个主服务器(master server)的从属服务器,那么执行 SLAVEOF host port 将使当前服务器停止对旧主服务器的同步,丢弃旧数据集,转而开始对新主服务器进行同步。

    • 另外,对一个从属服务器执行命令 SLAVEOF NO ONE 将使得这个从属服务器关闭复制功能,并从从属服务器转变回主服务器,原来同步所得的数据集不会被丢弃。

    • 利用『 SLAVEOF NO ONE 不会丢弃同步所得数据集』这个特性,可以在主服务器失败的时候,将从属服务器用作新的主服务器,从而实现无间断运行。

    redis 主从源码分析

    主从连接实现逻辑分为两步走

    • 将redis的节点设置为REDIS_REPL_CONNECT状态
    • 由定时任务根据状态实现主从连接并实现数据同步

    redis 设置主从同步状态

    slaveofCommand主要处理两种情况:去主从关系和添加主从关系。

    • slaveof no one 表示去除主从同步关系
    • slaveof ip port 表示添加主从同步关系

    去除主从同步关系做的事情包括:

    • 停止server.master的socket的连接,用于全量同步使用的socket
    • 停止server.cached_master的socket连接,用于部分同步使用的socket

    添加主从同步关系做的事情包括:

    • 判断ip:port是否跟已建立的连接相同那么就忽略
    • 如果ip:port是新就进入重建和主节点的连接replicationSetMaster。
    void slaveofCommand(redisClient *c) {
       
        // 不允许在集群模式中使用
        if (server.cluster_enabled) {
            addReplyError(c,"SLAVEOF not allowed in cluster mode.");
            return;
        }
    
        // SLAVEOF NO ONE 让从服务器转为主服务器
        if (!strcasecmp(c->argv[1]->ptr,"no") &&
            !strcasecmp(c->argv[2]->ptr,"one")) {
            if (server.masterhost) {
                // 让服务器取消复制,成为主服务器
                replicationUnsetMaster();
                redisLog(REDIS_NOTICE,"MASTER MODE enabled (user request)");
            }
        } else {
            long port;
    
            // 获取端口参数
            if ((getLongFromObjectOrReply(c, c->argv[2], &port, NULL) != REDIS_OK))
                return;
    
            // 检查输入的 host 和 port 是否服务器目前的主服务器
            // 如果是的话,向客户端返回 +OK ,不做其他动作
            if (server.masterhost && !strcasecmp(server.masterhost,c->argv[1]->ptr)
                && server.masterport == port) {
                redisLog(REDIS_NOTICE,"SLAVE OF would result into synchronization with the master we are already connected with.");
                addReplySds(c,sdsnew("+OK Already connected to specified master\r\n"));
                return;
            }
    
            // 没有前任主服务器,或者客户端指定了新的主服务器
            // 开始执行复制操作
            replicationSetMaster(c->argv[1]->ptr, port);
            redisLog(REDIS_NOTICE,"SLAVE OF %s:%d enabled (user request)",
                server.masterhost, server.masterport);
        }
        addReply(c,shared.ok);
    }
    

     释放和主节点建立的socket连接,这部分是指全量同步的client连接。

    // 取消复制,将服务器设置为主服务器
    void replicationUnsetMaster(void) {
    
        if (server.masterhost == NULL) return; /* Nothing to do. */
    
        sdsfree(server.masterhost);
        server.masterhost = NULL;
    
        if (server.master) {
            if (listLength(server.slaves) == 0) {
                server.master_repl_offset = server.master->reploff;
                freeReplicationBacklog();
            }
            freeClient(server.master);
        }
    
        replicationDiscardCachedMaster();
    
        cancelReplicationHandshake();
    
        server.repl_state = REDIS_REPL_NONE;
    }
    

     释放backlog相关的缓存,逻辑简单明了不多解释。

    // 释放 backlog
    void freeReplicationBacklog(void) {
        redisAssert(listLength(server.slaves) == 0);
        zfree(server.repl_backlog);
        server.repl_backlog = NULL;
    }
    

     释放和主节点建立的socket连接,这部分是指部分同步的client连接。

    /* 
     * 清空 master 缓存,在条件已经不可能执行 partial resync 时执行
     */
    void replicationDiscardCachedMaster(void) {
    
        if (server.cached_master == NULL) return;
    
        redisLog(REDIS_NOTICE,"Discarding previously cached master state.");
        server.cached_master->flags &= ~REDIS_MASTER;
        freeClient(server.cached_master);
        server.cached_master = NULL;
    }
    

     如果复制在握手阶段那么就取消主从复制。

    /* 
     * 如果有正在进行的非阻塞复制在进行,那么取消它。
     * 如果复制在握手阶段被取消,那么返回 1 ,
     * 并且 server.repl_state 被设置为 REDIS_REPL_CONNECT 。
     * 否则返回 0 ,并且不执行任何操作。
     */
    int cancelReplicationHandshake(void) {
        if (server.repl_state == REDIS_REPL_TRANSFER) {
            replicationAbortSyncTransfer();
        } else if (server.repl_state == REDIS_REPL_CONNECTING ||
                 server.repl_state == REDIS_REPL_RECEIVE_PONG)
        {
            undoConnectWithMaster();
        } else {
            return 0;
        }
        return 1;
    }
    

     释放旧的master信息,并设置新的master信息,在这里主要是把server.repl_state = REDIS_REPL_CONNECT。这里设置了状态,通过定时任务实现slave->master的主从连接

    // 将服务器设为指定地址的从服务器
    void replicationSetMaster(char *ip, int port) {
    
        // 清除原有的主服务器地址(如果有的话)
        sdsfree(server.masterhost);
    
        // IP
        server.masterhost = sdsnew(ip);
    
        // 端口
        server.masterport = port;
    
        // 清除原来可能有的主服务器信息。。。
    
        // 如果之前有其他地址,那么释放它
        if (server.master) freeClient(server.master);
        // 断开所有从服务器的连接,强制所有从服务器执行重同步
        disconnectSlaves(); /* Force our slaves to resync with us as well. */
        // 清空可能有的 master 缓存,因为已经不会执行 PSYNC 了
        replicationDiscardCachedMaster(); /* Don't try a PSYNC. */
        // 释放 backlog ,同理, PSYNC 目前已经不会执行了
        freeReplicationBacklog(); /* Don't allow our chained slaves to PSYNC. */
        // 取消之前的复制进程(如果有的话)
        cancelReplicationHandshake();
    
        // 进入连接状态(重点)
        server.repl_state = REDIS_REPL_CONNECT;
        server.master_repl_offset = 0;
        server.repl_down_since = 0;
    }
    

    redis 执行主从同步

     在执行同步过程中我们首先排除其他异常情况,重新建立主从连接,执行数据拷贝,重新加载rdb数据。整个步骤如下:

    • 处理主从连接异常情况
    • 处理rdb文件传送超时情况
    • 处理已连接的client但是超时情况
    • 处理主从重新建立连接,主要在connectWithMaster函数
    • 向该节点的slave节点发送ping的心跳命令,slave也可以挂slave节点
    • 需要强调的是这个ping命令只要发送一个"\n"命令
    /* --------------------------- REPLICATION CRON  ---------------------------- */
    // 复制 cron 函数,每秒调用一次
    void replicationCron(void) {
    
        // 尝试连接到主服务器,但超时
        if (server.masterhost &&
            (server.repl_state == REDIS_REPL_CONNECTING ||
             server.repl_state == REDIS_REPL_RECEIVE_PONG) &&
            (time(NULL)-server.repl_transfer_lastio) > server.repl_timeout)
        {
            redisLog(REDIS_WARNING,"Timeout connecting to the MASTER...");
            // 取消连接
            undoConnectWithMaster();
        }
    
        // RDB 文件的传送已超时?
        if (server.masterhost && server.repl_state == REDIS_REPL_TRANSFER &&
            (time(NULL)-server.repl_transfer_lastio) > server.repl_timeout)
        {
            redisLog(REDIS_WARNING,"Timeout receiving bulk data from MASTER... If the problem persists try to set the 'repl-timeout' parameter in redis.conf to a larger value.");
            // 停止传送,并删除临时文件
            replicationAbortSyncTransfer();
        }
    
        // 从服务器曾经连接上主服务器,但现在超时
        if (server.masterhost && server.repl_state == REDIS_REPL_CONNECTED &&
            (time(NULL)-server.master->lastinteraction) > server.repl_timeout)
        {
            redisLog(REDIS_WARNING,"MASTER timeout: no data nor PING received...");
            // 释放主服务器
            freeClient(server.master);
        }
    
        // 尝试连接主服务器
        if (server.repl_state == REDIS_REPL_CONNECT) {
            redisLog(REDIS_NOTICE,"Connecting to MASTER %s:%d",
                server.masterhost, server.masterport);
            if (connectWithMaster() == REDIS_OK) {
                redisLog(REDIS_NOTICE,"MASTER <-> SLAVE sync started");
            }
        }
    
        // 定期向主服务器发送 ACK 命令
        // 不过如果主服务器带有 REDIS_PRE_PSYNC 的话就不发送
        // 因为带有该标识的版本为 < 2.8 的版本,这些版本不支持 ACK 命令
        if (server.masterhost && server.master &&
            !(server.master->flags & REDIS_PRE_PSYNC))
            replicationSendAck();
        
        /* 
         * 如果服务器有从服务器,定时向它们发送 PING 。
         *
         * 这样从服务器就可以实现显式的 master 超时判断机制,
         * 即使 TCP 连接未断开也是如此。
         */
        if (!(server.cronloops % (server.repl_ping_slave_period * server.hz))) {
            listIter li;
            listNode *ln;
            robj *ping_argv[1];
    
            // 向所有已连接 slave (状态为 ONLINE)发送 PING
            ping_argv[0] = createStringObject("PING",4);
            replicationFeedSlaves(server.slaves, server.slaveseldb, ping_argv, 1);
            decrRefCount(ping_argv[0]);
    
            /*
             * 向那些正在等待 RDB 文件的从服务器(状态为 BGSAVE_START 或 BGSAVE_END)
             * 发送 "\n"
             *
             *
             * 这个 "\n" 会被从服务器忽略,
             * 它的作用就是用来防止主服务器因为长期不发送信息而被从服务器误判为超时
             */
            listRewind(server.slaves,&li);
            while((ln = listNext(&li))) {
                redisClient *slave = ln->value;
    
                if (slave->replstate == REDIS_REPL_WAIT_BGSAVE_START ||
                    slave->replstate == REDIS_REPL_WAIT_BGSAVE_END) {
                    if (write(slave->fd, "\n", 1) == -1) {
                        /* Don't worry, it's just a ping. */
                    }
                }
            }
        }
    
        /* Disconnect timedout slaves. */
        // 断开超时从服务器
        if (listLength(server.slaves)) {
            listIter li;
            listNode *ln;
    
            // 遍历所有从服务器
            listRewind(server.slaves,&li);
            while((ln = listNext(&li))) {
                redisClient *slave = ln->value;
    
                // 略过未 ONLINE 的从服务器
                if (slave->replstate != REDIS_REPL_ONLINE) continue;
    
                // 不检查旧版的从服务器
                if (slave->flags & REDIS_PRE_PSYNC) continue;
    
                // 释放超时从服务器
                if ((server.unixtime - slave->repl_ack_time) > server.repl_timeout)
                {
                    char ip[REDIS_IP_STR_LEN];
                    int port;
    
                    if (anetPeerToString(slave->fd,ip,sizeof(ip),&port) != -1) {
                        redisLog(REDIS_WARNING,
                            "Disconnecting timedout slave: %s:%d",
                            ip, slave->slave_listening_port);
                    }
                    
                    // 释放
                    freeClient(slave);
                }
            }
        }
    
        // 在没有任何从服务器的 N 秒之后,释放 backlog
        if (listLength(server.slaves) == 0 && server.repl_backlog_time_limit &&
            server.repl_backlog)
        {
            time_t idle = server.unixtime - server.repl_no_slaves_since;
    
            if (idle > server.repl_backlog_time_limit) {
                // 释放
                freeReplicationBacklog();
                redisLog(REDIS_NOTICE,
                    "Replication backlog freed after %d seconds "
                    "without connected slaves.",
                    (int) server.repl_backlog_time_limit);
            }
        }
    
        // 在没有任何从服务器,AOF 关闭的情况下,清空 script 缓存
        // 因为已经没有传播 EVALSHA 的必要了
        if (listLength(server.slaves) == 0 &&
            server.aof_state == REDIS_AOF_OFF &&
            listLength(server.repl_scriptcache_fifo) != 0)
        {
            replicationScriptCacheFlush();
        }
    
        // 更新符合给定延迟值的从服务器的数量
        refreshGoodSlavesCount();
    }
    
    

     创建连接主服务的socket并绑定syncWithMaster函数到eventLoop当中,这个时候会将整个连接状态设置为REDIS_REPL_CONNECTING。
     slave的socket连接到master成功后会首先触发的写事件,执行写事件对应的函数syncWithMaster。

    // 以非阻塞方式连接主服务器
    int connectWithMaster(void) {
        int fd;
    
        // 连接主服务器
        fd = anetTcpNonBlockConnect(NULL,server.masterhost,server.masterport);
        if (fd == -1) {
            redisLog(REDIS_WARNING,"Unable to connect to MASTER: %s",
                strerror(errno));
            return REDIS_ERR;
        }
    
        // 监听主服务器 fd 的读和写事件,并绑定文件事件处理器
        if (aeCreateFileEvent(server.el,fd,AE_READABLE|AE_WRITABLE,syncWithMaster,NULL) ==
                AE_ERR)
        {
            close(fd);
            redisLog(REDIS_WARNING,"Can't create readable event for SYNC");
            return REDIS_ERR;
        }
    
        // 初始化统计变量
        server.repl_transfer_lastio = server.unixtime;
        server.repl_transfer_s = fd;
    
        // 将状态改为已连接
        server.repl_state = REDIS_REPL_CONNECTING;
    
        return REDIS_OK;
    }
    

     整个同步过程其实类似TCP通信的几次握手事件,这里先用文字表述一下,后面再以交互图的形式呈现出来,整个过程如下:

    • slave发送ping命令到master
    • master发送pong命令到slave
    • slave发送auth命令到master
    • slave发送listen port到master便于显示
    • slave发送PSYNC到master
    • master发送+FULLRESYNC(支持全量同步)或者+CONTINUE(支持部分同步)
    • slave发送sync命令道master
    • slave创建本地的temp的rdb文件
    • slave绑定fd的读事件处理函数为readSyncBulkPayload,所有读事件由该函数处理
    // 从服务器用于同步主服务器的回调函数
    void syncWithMaster(aeEventLoop *el, int fd, void *privdata, int mask) {
        char tmpfile[256], *err;
        int dfd, maxtries = 5;
        int sockerr = 0, psync_result;
        socklen_t errlen = sizeof(sockerr);
        REDIS_NOTUSED(el);
        REDIS_NOTUSED(privdata);
        REDIS_NOTUSED(mask);
    
        // 如果处于 SLAVEOF NO ONE 模式,那么关闭 fd
        if (server.repl_state == REDIS_REPL_NONE) {
            close(fd);
            return;
        }
    
        // 检查套接字错误
        if (getsockopt(fd, SOL_SOCKET, SO_ERROR, &sockerr, &errlen) == -1)
            sockerr = errno;
        if (sockerr) {
            aeDeleteFileEvent(server.el,fd,AE_READABLE|AE_WRITABLE);
            redisLog(REDIS_WARNING,"Error condition on socket for SYNC: %s",
                strerror(sockerr));
            goto error;
        }
    
        // 如果状态为 CONNECTING ,那么在进行初次同步之前,
        // 向主服务器发送一个非阻塞的 PONG 
        // 因为接下来的 RDB 文件发送非常耗时,所以我们想确认主服务器真的能访问
        if (server.repl_state == REDIS_REPL_CONNECTING) {
            redisLog(REDIS_NOTICE,"Non blocking connect for SYNC fired the event.");
            /* Delete the writable event so that the readable event remains
             * registered and we can wait for the PONG reply. */
            // 手动发送同步 PING ,暂时取消监听写事件
            aeDeleteFileEvent(server.el,fd,AE_WRITABLE);
            // 更新状态
            server.repl_state = REDIS_REPL_RECEIVE_PONG;
            /* Send the PING, don't check for errors at all, we have the timeout
             * that will take care about this. */
            // 同步发送 PING
            syncWrite(fd,"PING\r\n",6,100);
    
            // 返回,等待 PONG 到达
            return;
        }
    
        // 接收 PONG 命令
        if (server.repl_state == REDIS_REPL_RECEIVE_PONG) {
            char buf[1024];
    
            // 手动同步接收 PONG ,暂时取消监听读事件
            aeDeleteFileEvent(server.el,fd,AE_READABLE);
    
            // 尝试在指定时间限制内读取 PONG
            buf[0] = '\0';
            // 同步接收 PONG
            if (syncReadLine(fd,buf,sizeof(buf),
                server.repl_syncio_timeout*1000) == -1)
            {
                redisLog(REDIS_WARNING,
                    "I/O error reading PING reply from master: %s",
                    strerror(errno));
                goto error;
            }
    
            // 接收到的数据只有两种可能:
            // 第一种是 +PONG ,第二种是因为未验证而出现的 -NOAUTH 错误
            if (buf[0] != '+' &&
                strncmp(buf,"-NOAUTH",7) != 0 &&
                strncmp(buf,"-ERR operation not permitted",28) != 0)
            {
                // 接收到未验证错误
                redisLog(REDIS_WARNING,"Error reply to PING from master: '%s'",buf);
                goto error;
            } else {
                // 接收到 PONG
                redisLog(REDIS_NOTICE,
                    "Master replied to PING, replication can continue...");
            }
        }
    
        // 进行身份验证
        if(server.masterauth) {
            err = sendSynchronousCommand(fd,"AUTH",server.masterauth,NULL);
            if (err[0] == '-') {
                redisLog(REDIS_WARNING,"Unable to AUTH to MASTER: %s",err);
                sdsfree(err);
                goto error;
            }
            sdsfree(err);
        }
    
        // 将从服务器的端口发送给主服务器,
        // 使得主服务器的 INFO 命令可以显示从服务器正在监听的端口
        {
            sds port = sdsfromlonglong(server.port);
            err = sendSynchronousCommand(fd,"REPLCONF","listening-port",port,
                                             NULL);
            sdsfree(port);
            /* Ignore the error if any, not all the Redis versions support
             * REPLCONF listening-port. */
            if (err[0] == '-') {
                redisLog(REDIS_NOTICE,"(Non critical) Master does not understand REPLCONF listening-port: %s", err);
            }
            sdsfree(err);
        }
    
        // 根据返回的结果决定是执行部分 resync ,还是 full-resync
        psync_result = slaveTryPartialResynchronization(fd);
    
        // 可以执行部分 resync
        if (psync_result == PSYNC_CONTINUE) {
            redisLog(REDIS_NOTICE, "MASTER <-> SLAVE sync: Master accepted a Partial Resynchronization.");
            // 返回
            return;
        }
    
        // 主服务器不支持 PSYNC ,发送 SYNC
        if (psync_result == PSYNC_NOT_SUPPORTED) {
            redisLog(REDIS_NOTICE,"Retrying with SYNC...");
            // 向主服务器发送 SYNC 命令
            if (syncWrite(fd,"SYNC\r\n",6,server.repl_syncio_timeout*1000) == -1) {
                redisLog(REDIS_WARNING,"I/O error writing to MASTER: %s",
                    strerror(errno));
                goto error;
            }
        }
    
        // 如果执行到这里,
        // 那么 psync_result == PSYNC_FULLRESYNC 或 PSYNC_NOT_SUPPORTED
    
        // 打开一个临时文件,用于写入和保存接下来从主服务器传来的 RDB 文件数据
        while(maxtries--) {
            snprintf(tmpfile,256,
                "temp-%d.%ld.rdb",(int)server.unixtime,(long int)getpid());
            dfd = open(tmpfile,O_CREAT|O_WRONLY|O_EXCL,0644);
            if (dfd != -1) break;
            sleep(1);
        }
        if (dfd == -1) {
            redisLog(REDIS_WARNING,"Opening the temp file needed for MASTER <-> SLAVE synchronization: %s",strerror(errno));
            goto error;
        }
    
        // 设置一个读事件处理器,来读取主服务器的 RDB 文件
        if (aeCreateFileEvent(server.el,fd, AE_READABLE,readSyncBulkPayload,NULL)
                == AE_ERR)
        {
            redisLog(REDIS_WARNING,
                "Can't create readable event for SYNC: %s (fd=%d)",
                strerror(errno),fd);
            goto error;
        }
    
        // 设置状态
        server.repl_state = REDIS_REPL_TRANSFER;
    
        // 更新统计信息
        server.repl_transfer_size = -1;
        server.repl_transfer_read = 0;
        server.repl_transfer_last_fsync_off = 0;
        server.repl_transfer_fd = dfd;
        server.repl_transfer_lastio = server.unixtime;
        server.repl_transfer_tmpfile = zstrdup(tmpfile);
    
        return;
    
    error:
        close(fd);
        server.repl_transfer_s = -1;
        server.repl_state = REDIS_REPL_CONNECT;
        return;
    }
    

     主从同步的数据同步的核心函数在这里,这里需要说明一下的是我们重新绑定了读事件对应的处理函数readSyncBulkPayload,整个核心逻辑如下:

    • slave接收master发送的ping命令就更新server.repl_transfer_lastio字段
    • slave读取master发送rdb文件数据并写入到本地的临时rdb文件当中
    • slave加载rdb文件
    • 若开启AOF数据持久化,那么将加载的数据写入aof文件
    // 异步 RDB 文件读取函数
    #define REPL_MAX_WRITTEN_BEFORE_FSYNC (1024*1024*8) /* 8 MB */
    void readSyncBulkPayload(aeEventLoop *el, int fd, void *privdata, int mask) {
        char buf[4096];
        ssize_t nread, readlen;
        off_t left;
        REDIS_NOTUSED(el);
        REDIS_NOTUSED(privdata);
        REDIS_NOTUSED(mask);
    
        // 读取 RDB 文件的大小
        if (server.repl_transfer_size == -1) {
    
            // 调用读函数
            if (syncReadLine(fd,buf,1024,server.repl_syncio_timeout*1000) == -1) {
                redisLog(REDIS_WARNING,
                    "I/O error reading bulk count from MASTER: %s",
                    strerror(errno));
                goto error;
            }
    
            // 出错?
            if (buf[0] == '-') {
                redisLog(REDIS_WARNING,
                    "MASTER aborted replication with an error: %s",
                    buf+1);
                goto error;
            } else if (buf[0] == '\0') {
                /* At this stage just a newline works as a PING in order to take
                 * the connection live. So we refresh our last interaction
                 * timestamp. */
                // 只接到了一个作用和 PING 一样的 '\0'
                // 更新最后互动时间
                server.repl_transfer_lastio = server.unixtime;
                return;
            } else if (buf[0] != '$') {
                // 读入的内容出错,和协议格式不符
                redisLog(REDIS_WARNING,"Bad protocol from MASTER, the first byte is not '$' (we received '%s'), are you sure the host and port are right?", buf);
                goto error;
            }
    
            // 分析 RDB 文件大小
            server.repl_transfer_size = strtol(buf+1,NULL,10);
    
            redisLog(REDIS_NOTICE,
                "MASTER <-> SLAVE sync: receiving %lld bytes from master",
                (long long) server.repl_transfer_size);
            return;
        }
    
        // 读数据
    
        // 还有多少字节要读?
        left = server.repl_transfer_size - server.repl_transfer_read;
        readlen = (left < (signed)sizeof(buf)) ? left : (signed)sizeof(buf);
        // 读取
        nread = read(fd,buf,readlen);
        if (nread <= 0) {
            redisLog(REDIS_WARNING,"I/O error trying to sync with MASTER: %s",
                (nread == -1) ? strerror(errno) : "connection lost");
            replicationAbortSyncTransfer();
            return;
        }
        // 更新最后 RDB 产生的 IO 时间
        server.repl_transfer_lastio = server.unixtime;
        if (write(server.repl_transfer_fd,buf,nread) != nread) {
            redisLog(REDIS_WARNING,"Write error or short write writing to the DB dump file needed for MASTER <-> SLAVE synchronization: %s", strerror(errno));
            goto error;
        }
        // 加上刚读取好的字节数
        server.repl_transfer_read += nread;
    
        // 定期将读入的文件 fsync 到磁盘,以免 buffer 太多,一下子写入时撑爆 IO
        if (server.repl_transfer_read >=
            server.repl_transfer_last_fsync_off + REPL_MAX_WRITTEN_BEFORE_FSYNC)
        {
            off_t sync_size = server.repl_transfer_read -
                              server.repl_transfer_last_fsync_off;
            rdb_fsync_range(server.repl_transfer_fd,
                server.repl_transfer_last_fsync_off, sync_size);
            server.repl_transfer_last_fsync_off += sync_size;
        }
    
        // 检查 RDB 是否已经传送完毕
        if (server.repl_transfer_read == server.repl_transfer_size) {
    
            // 完毕,将临时文件改名为 dump.rdb
            if (rename(server.repl_transfer_tmpfile,server.rdb_filename) == -1) {
                redisLog(REDIS_WARNING,"Failed trying to rename the temp DB into dump.rdb in MASTER <-> SLAVE synchronization: %s", strerror(errno));
                replicationAbortSyncTransfer();
                return;
            }
    
            // 先清空旧数据库
            redisLog(REDIS_NOTICE, "MASTER <-> SLAVE sync: Flushing old data");
            signalFlushedDb(-1);
            emptyDb(replicationEmptyDbCallback);
    
            // 先删除主服务器的读事件监听,因为 rdbLoad() 函数也会监听读事件
            aeDeleteFileEvent(server.el,server.repl_transfer_s,AE_READABLE);
    
            // 载入 RDB
            if (rdbLoad(server.rdb_filename) != REDIS_OK) {
                redisLog(REDIS_WARNING,"Failed trying to load the MASTER synchronization DB from disk");
                replicationAbortSyncTransfer();
                return;
            }
    
            /* Final setup of the connected slave <- master link */
            // 关闭临时文件
            zfree(server.repl_transfer_tmpfile);
            close(server.repl_transfer_fd);
    
            // 将主服务器设置成一个 redis client
            // 注意 createClient 会为主服务器绑定事件,为接下来接收命令做好准备
            server.master = createClient(server.repl_transfer_s);
            // 标记这个客户端为主服务器
            server.master->flags |= REDIS_MASTER;
            // 标记它为已验证身份
            server.master->authenticated = 1;
            // 更新复制状态
            server.repl_state = REDIS_REPL_CONNECTED;
            // 设置主服务器的复制偏移量
            server.master->reploff = server.repl_master_initial_offset;
            // 保存主服务器的 RUN ID
            memcpy(server.master->replrunid, server.repl_master_runid,
                sizeof(server.repl_master_runid));
    
            // 如果 offset 被设置为 -1 ,那么表示主服务器的版本低于 2.8 
            // 无法使用 PSYNC ,所以需要设置相应的标识值
            if (server.master->reploff == -1)
                server.master->flags |= REDIS_PRE_PSYNC;
            redisLog(REDIS_NOTICE, "MASTER <-> SLAVE sync: Finished with success");
    
            // 如果有开启 AOF 持久化,那么重启 AOF 功能,并强制生成新数据库的 AOF 文件
            if (server.aof_state != REDIS_AOF_OFF) {
                int retry = 10;
    
                // 关闭
                stopAppendOnly();
                // 再重启
                while (retry-- && startAppendOnly() == REDIS_ERR) {
                    redisLog(REDIS_WARNING,"Failed enabling the AOF after successful master synchronization! Trying it again in one second.");
                    sleep(1);
                }
                if (!retry) {
                    redisLog(REDIS_WARNING,"FATAL: this slave instance finished the synchronization with its master, but the AOF can't be turned on. Exiting now.");
                    exit(1);
                }
            }
        }
    
        return;
    
    error:
        replicationAbortSyncTransfer();
        return;
    }
    

    redis 执行主从同步报文交互

    主从报文交互

    相关文章

      网友评论

        本文标题:redis 主从同步-slave端

        本文链接:https://www.haomeiwen.com/subject/mhwseftx.html