redis数据库之主从复制
redis除了基本功能外,还提供了主从复制功能。一个redis服务可以有多个slave服务,而这个slave服务又可以有slave服务。master服务把属于自己的slave服务用链表管理起来,也就是struct redisServer中的slaves成员,slave服务会通过redisServer中的masterhost和masterport来标识它的master服务的ip和port。redis有两种方式来标识从属于哪个master服务:
1、在 配置文件中配置slaveof masterhost masterport
2、发送slaveof命令。
同样redis也提供了两种方式来同步主从的数据库的。
1、通过定时器来完成同步
2、master服务每次执行的命令都会根据情况发送一份给slave服务。
首先来讲述下定时器完成同步的实现:
redis服务的定时功能都是通过serverCron完成,而在serverCron中会调用replicationCron,这个函数就完成了不同的功能。
[cpp]
void replicationCron(void)
{
.......
if (server.repl_state == REDIS_REPL_CONNECT) {
redisLog(REDIS_NOTICE,"Connecting to MASTER...");
if (connectWithMaster() == REDIS_OK) {
redisLog(REDIS_NOTICE,"MASTER <-> SLAVE sync started");
}
}
.......
}
replicationCron检查一些超时情况做一些超时的处理,然后会调用connectWithMaster去连接master服务。
[cpp]
int connectWithMaster(void) {
fd = anetTcpNonBlockConnect(NULL,server.masterhost,server.masterport);
......
if (aeCreateFileEvent(server.el,fd,AE_READABLE|AE_WRITABLE,syncWithMaster,NULL) ==
AE_ERR)
......
}
connectWithMaster首先会向master服务发起连接,然后创建一个读写事件并把设置server.repl_state = REDIS_REPL_CONNECTING;
[cpp]
void syncWithMaster(aeEventLoop *el, int fd, void *privdata, int mask) {
......
if (syncWrite(fd,"SYNC\r\n",6,server.repl_syncio_timeout*1000) == -1) {
redisLog(REDIS_WARNING,"I/O error writing to MASTER: %s",
strerror(errno));
goto error;
}
......
if (aeCreateFileEvent(server.el,fd, AE_READABLE,readSyncBulkPayload,NULL)
== AE_ERR)
......
server.repl_state = REDIS_REPL_TRANSFER;
......
}
syncWithMaster会发送SYNC命令给master服务,然后设置可读事件的handler,并把slave的状态设置为传输状态。下面来看下master服务接收到sync命令的处理:
[cpp]
void syncCommand(redisClient *c) {
......
// 检查是否已经有 BGSAVE 在执行,否则就创建一个新的 BGSAVE 任务
if (server.rdb_child_pid != -1) {
/* Ok a background save is in progress. Let's check if it is a good
* one for replication, i.e. if there is another slave that is
* registering differences since the server forked to save */
// 已有 BGSAVE 在执行,检查它能否用于当前客户端的 SYNC 操作
redisClient *slave;
listNode *ln;
listIter li;
// 检查是否有其他客户端在等待 SYNC 进行
listRewind(server.slaves,&li);
while((ln = listNext(&li))) {
slave = ln->value;
if (slave->replstate == REDIS_REPL_WAIT_BGSAVE_END) break;
}
if (ln) {
/* Perfect, the server is already registering differences for
* another slave. Set the right state, and copy the buffer. */
// 找到一个同样在等到 SYNC 的客户端
// 设置当前客户端的状态,并复制 buffer 。
copyClientOutputBuffer(c,slave);
c->replstate = REDIS_REPL_WAIT_BGSAVE_END;
redisLog(REDIS_NOTICE,"Waiting for end of BGSAVE for SYNC");
} else {
/* No way, we need to wait for the next BGSAVE in order to
* register differences */
// 没有客户端在等待 SYNC ,当前客户端只能等待下次 BGSAVE 进行
c->replstate = REDIS_REPL_WAIT_BGSAVE_START;
redisLog(REDIS_NOTICE,"Waiting for next BGSAVE for SYNC");
}
} else {
// 没有 BGSAVE 在进行,自己启动一个。
/* Ok we don't have a BGSAVE in progress, let's start one */
redisLog(REDIS_NOTICE,"Starting BGSAVE for SYNC");
if (rdbSaveBackground(server.rdb_filename) != REDIS_OK) {
redisLog(REDIS_NOTICE,"Replication failed, can't BGSAVE");
addReplyError(c,"Unable to perform background save");
return;
}
// 等待 BGSAVE 结束
c->replstate = REDIS_REPL_WAIT_BGSAVE_END;
}
c->repldbfd = -1;
c->flags |= REDIS_SLAVE;
c->slaveseldb = 0;
listAddNodeTail(server.slaves,c);
......
}
这里并不是真正处理同步的,而是把slave插入到master中slaves链表中等待真正同步的操作。那什么时候才是真正同步的操作呢?请看updateSlavesWaitingBgsave
[cpp]
void updateSlavesWaitingBgsave(int bgsaveerr) {
......
listRewind(server.slaves,&li);
while((ln = listNext(&li))) {
redisClient *slave = ln->value;
if (slave->replstate == REDIS_REPL_WAIT_BGSAVE_START) {
<