pm2源码分析

Node Cluster

Nodejs的设计架构和nginx类似，是多进程单线程模型。由于Node单线程的限制，在多核服务器上，需启动多个进程才能最大化地利用服务器的性能。Node V0.8以后引入了cluster模块，它通过一个主进程（Master）管理多个子进程（Worker）的方式实现集群功能。 下面是一个简单的例子：

// master
var cluster = require('cluster');
var numCPUs = require('os').cpus().length;
 
if (cluster.isMaster) {
    console.log(numCPUs);
    for (var i = 0; i < numCPUs; i++) {
        var worker = cluster.fork();
    }
} else {
    require("./app.js");
}

// worker
var http = require('http');
http.createServer(function(req, res) {
    res.writeHead(200);
    res.end("hello world\n");
}).listen(8000);

通信

主进程和子进程之间通过IPC（Inter-Process Communication，进程间通信）实现进程间的通信。进程间通过send方法发送信息，通过监听message事件收取信息，这和cluster模块继承的EventEmitter对象是一致的：

// master
// 监听子进程的事件
worker.on('message', function(message) {
    console.log(message.from + ': ' + message.type + ' ' + message.data.number + ' = ' + message.data.result);
});
// 往子进程中发送消息
for(var wid in cluster.workers) {
    cluster.workers[wid].send({
        type: 'masterToWorker',
        from: 'master',
        data: {
            number: Math.floor(Math.random() * 50)
        }
    });
}

// worker
// 子进程监听事件 并发送回主进程
process.on('message', function(message) {
    if(message.type === 'masterToWorker') {
        process.send({
            type:'workerTomaster',
            from: 'Worker ' + process.pid,
            data: {}
        });
    }
});

负载均衡

通过例子可知，子进程是通过cluster.fork()方法实现的。linux的fork是系统提供的产生进程的方法，那么为什么需要借助cluster去实现集群，而不直接fork呢？这里的问题概括为两个：

1. fork的进程监听统一端口，会报端口暂用的错误
2. fork的进程之间由于没有负载均衡，容易把请求集中到一个或者几个进程上，从而造成惊群问题

对于问题1，cluster模块对net模块进行hack处理，如果是Master进程，那么监听端口；若是Worker进程，那么不会监听。
对于问题2，cluster自带了负载均衡功能。Master进程负责接收请求，然后根据调度算法转发给某一个子进程。默认的调度算法是round-robin，也就是把请求依次分给每个子进程，每个子进程处理的请求数是相同的。 可以通过环境变量修改调度算法：

env NODE_CLUSTER_SCHED_POLICY="none" node app.js

在 通过源码解析 Node.js 中 cluster 模块的主要功能实现 这边文章中有对这问题1的详细分析。

pm2

pm2基于cluster进行了封装，它能自动监控进程状态、重启进程、停止不稳定的进程（避免无限循环）等。利用pm2时，可以在不修改代码（如果自己实现，需要参考上面的例子进行修改）的情况下实现负载均衡集群。 具体的用法可以参见官网 或者 PM2 介绍。

pm2源码

pm2的源码地址是 https://github.com/Unitech/pm2 。bin文件夹下的pm2文件，负责处理命令行输入；lib文件夹下的 Satan.js 和 God.js 存放主要逻辑，前者要调用后者的方法。

源码结构

先来一张pm2的架构图：

框架图.png

pm2包括 Satan进程、God Deamon守护进程、进程间的远程调用rpc、cluster等几个概念：

1. 如果不知道点西方文化，还真搞不清他的文件名为啥是 Satan 和 God：

撒旦（Satan），主要指《圣经》中的堕天使（也称堕天使撒旦），被看作与上帝的力量相对的邪恶、黑暗之源，是God的对立面。

Satan.js提供了程序的退出、杀死等方法，因此它是魔鬼；God.js 负责维护进程的正常运行，当有异常退出时能保证重启，所以它是上帝。作者这么命名，我只能说一句：oh my god。
God进程启动后一直运行，它相当于cluster中的Master进程，守护者worker进程的正常运行。

2. rpc（Remote Procedure Call Protocol）是指远程过程调用，也就是说两台服务器A，B，一个应用部署在A服务器上，想要调用B服务器上应用提供的函数/方法，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语义和传达调用的数据。同一机器不同进程间的方法调用也属于rpc的作用范畴。
   代码中采用了axon-rpc 和 axon 两个库，基本原理是提供服务的server绑定到一个域名和端口下，调用服务的client连接端口实现rpc连接。 后续新版本采用了pm2-axon-rpc 和 pm2-axon两个库，绑定的方法也由端口变成.sock文件，因为采用port可能会和现有进程的端口产生冲突。

执行流程

程序的执行流程图如下：

执行流程.png

每次命令行的输入都会执行一次satan程序。如果God进程不在运行，首先需要启动God进程。然后根据指令，satan通过rpc调用God中对应的方法执行相应的逻辑。
以 pm2 start app.js -i 4为例，God在初次执行时会配置cluster，同时监听cluster中的事件：

// 配置cluster
cluster.setupMaster({
  exec : path.resolve(path.dirname(module.filename), 'ProcessContainer.js')
});

// 监听cluster事件
(function initEngine() {
  cluster.on('online', function(clu) {
    // worker进程在执行
    God.clusters_db[clu.pm_id].status = 'online';
  });

  // 命令行中 kill pid 会触发exit事件，process.kill不会触发exit
  cluster.on('exit', function(clu, code, signal) {
    // 重启进程 如果重启次数过于频繁直接标注为stopped
    God.clusters_db[clu.pm_id].status = 'starting';

    // 逻辑
    ...
  });
})();

在God启动后， 会建立Satan和God的rpc链接，然后调用prepare方法。prepare方法会调用cluster.fork，完成集群的启动：

God.prepare = function(opts, cb) {
  ...
  return execute(opts, cb);
};
function execute(env, cb) {
  ...
  var clu = cluster.fork(env);
  ...
  God.clusters_db[id] = clu;

  clu.once('online', function() {
    God.clusters_db[id].status = 'online';
    if (cb) return cb(null, clu);
    return true;
  });

  return clu;
}

执行结果

在linux中，通过 ps aux | grep node 可以看到运行中的node进程：

node进程.png
我一直在想为啥pm2没有master进程，后来读了源码才知道它的master进程就是Deamon进程，而且进程名字也做了修改。由于ps aux | grep ** 这个指令对大小写敏感，所以要大写的PM才能找到：
God Deamon进程.png

小技巧

分享几个在阅读pm2源码时，可能用到的小技巧：

1. 如何调试源码
   在源码 package.json 文件中可以看到 bin 这个属性，通过npm安装后，就可以执行pm2这个指令。
   pm2的执行环境是node，如果想本地运行pm2源码，可以采用如下方式启动：

node  /pm2文件路径/bin/pm2  要启动的服务(app.js)  

根据上面的配置，实现pm2的启动。别忘了Webstorm这个前端利器。

2. 多进程调试
   由于cluster是多进程模式，如果对子进程进行调试，需要在启动子进程时添加调试参数。在源码中fork()的地方添加如下参数，同时要注意端口冲突：

  fork('worker.js', [], {
      env: {},
      silent : false,
      execArgv: ['--debug-brk=13789']   // 子进程调试端口设置
  })

3. 如何读源码
   pm2工程从13年开始已经有了很多个版本的演进。如果拿最新版本的源码去读，由于它包含了很多辅助功能，往往会被搞的头晕眼花。
   我选择从第一个稳定版本(tag 为0.4.10)入手分析其基本执行原理，这个版本的功能比较简单，也是程序结构最清晰的时候。
   可以通过 git tag 和 git checkout *** 切换到特定版本，然后debug 运行调试分析。

总结

pm2也是采用cluster.fork实现的集群，这也就是所谓的万变不离其宗。由于God Deamon这个Master进程一直执行，可以保证对每一个子进程监听事件，从而进行相应的操作。

参考文章

解读Node.js的cluster模块
关于pm2的fork启动模式和cluster模式的区别
Node.js clustering made easy with PM2
TODO：浅谈pm2基本工作原理
通过源码解析 Node.js 中 cluster 模块的主要功能实现