Nginx的master和worker进程间的通信

本文就大概看一下master进程和worker进程之间是如何使用 channel来完成通信的。这部分实现的源码主要分布于src/os/unix/channel.h和channel.c两个文件中。实现极其简单，没有什么复杂的逻辑。下面，我绘制了一个简单的master进程和worker进程间的关系，图中的箭头符号指出数据是由master进程传给worker 进程，而没有从worker到master；这是因为channel不是一个普通的数据传输管道，在Nginx中它仅仅是用着master发送指令给 worker的一个管道，master借此channel来告诉worker进程该做什么了，worker却不需要告诉master该做什么，所以是一个单向的通道。

master进程每次发送给worker进程的指令用如下一个结构来完成封装：

typedef struct {
     ngx_uint_t  command;
     ngx_pid_t   pid;
     ngx_int_t   slot;
     ngx_fd_t    fd;
} ngx_channel_t;

这个结构中的4个字段分别是发送的指令、worker进程的pid、worker进程的slot（在ngx_proecsses中的索引）及一个文件描述符。master进程可能会将一个打开的文件描述符发送给worker进程进行读写操作，那么此时就需要填写fd这个字段了。worker进程在收到一个这样的结构数据后，通过判断command的值来采取相应的动作；command就是master给worker下达的命令。

master进程用于处理SIGCHLD信号的函数ngx_reap_children中就有向worker进程发送关闭channel的指令，我们看看这个例子是怎么做的。

    ch.command = NGX_CMD_CLOSE_CHANNEL;
    ch.fd = -1;
    ch.pid = ngx_processes[i].pid;
    ch.slot = i;
    ngx_write_channel(ngx_processes[n].channel[0],
                                      &ch, sizeof(ngx_channel_t), cycle->log);

这几行代码是我从ngx_reap_children函数中拼凑起来的，所以看上去好像有点奇怪，不那么顺畅；但却清晰的给我们展现了master 进程怎么给一个worker进程发送指令，此处发送的指令时NGX_CMD_CLOSE_CHANNEL。发送指令的函数 ngx_write_channel是利用sendmsg来完成，《Unix网络编程》可以详细了解sendmsg。

worker进程在调用ngx_worker_process_init进行初始化的时候，使用了如下两行代码将channel放到epoll等事件处理模块中。

    if (ngx_add_channel_event(cycle, ngx_channel, NGX_READ_EVENT,
                              ngx_channel_handler)
        == NGX_ERROR)
    {
        /* fatal */
        exit(2);
    }

当master进程发来指令后，就调用ngx_channel_handler函数进行事件的响应。下面浓缩的代码给出了ngx_channel_handler所做的事情。

		/*
			读出master进程发送给过来的指令数据, ngx_read_channel
                        是利用recvmsg实现，详细介绍见《unix网络编程》
		 */
        n = ngx_read_channel(c->fd, &ch, sizeof(ngx_channel_t), ev->log);
		/*
		   	判断command的值，从而采取具体的动作，代码意图都写得很明显，
                           就不在这里多说了。
		*/
        switch (ch.command) {
        case NGX_CMD_QUIT:
            ngx_quit = 1;
            break;
        case NGX_CMD_TERMINATE:
            ngx_terminate = 1;
            break;
        case NGX_CMD_REOPEN:
            ngx_reopen = 1;
            break;
        case NGX_CMD_OPEN_CHANNEL:
            ngx_processes[ch.slot].pid = ch.pid;
            ngx_processes[ch.slot].channel[0] = ch.fd;
            break;
        case NGX_CMD_CLOSE_CHANNEL:
            if (close(ngx_processes[ch.slot].channel[0]) == -1) {
                ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_errno,
                              "close() channel failed");
            }
            ngx_processes[ch.slot].channel[0] = -1;
            break;
        }

Nginx中关于整个channel的实现就这么简单，没有什么多余的事情。