使用node的时候,不得不关注node的两个缺点。
- 如何充分利用多核cpu的计算能力。
- 如何保证进程的健壮性和稳定性。
上面的两个缺点是把node放在服务器的场景中考虑的。
对于第一个问题,虽然node底层c++是可以使用多线程的,但是因为大部分时候使用node是因为希望使用JavaScript,就不讨论这一部分。我们知道JavaScript代码是单线程的,所以这里想利用多核cpu,就不得不讨论多进程了。
第二个问题,由于单线程或者多线程的程序,一旦线程的异常没有处理,将会引起进程的崩溃,导致服务不可用,所以这里主要讨论进程的自动重启的方法。
node多进程
为了充分利用cpu资源,或者仅仅是为了使用node创建另一个进程(子进程会复制父进程的内存空间,所以父进程加载过的模块子进程就不需要自己重新加载),我们可以使用node的child_process
模块。下图是node创建多进程的一个示意图。
当创建多个进程后,还可以进行进程间通信,通过父进程管理子进程,这样,web服务器的使用场景中,我们不需要创建很多进程,只需要创建和cpu数目相同的进程,就可以使用node的高并发特性,又能充分利用到cpu的多核并行计算特性。
node进程间通信原理通过上图我们可以知道node利用libuv库来使用操作系统的进程间通信功能。
node多进程实例
上面我们知道node多进程架构的基本结构和原理后,来看一个具体的例子。由于node最初是为了做高性能web服务器的,所以我们看一个和网络相关的例子。
下面通过node实现多个进程监听一个端口(比如80端口),当有用户请求服务时,某一个进程可以响应该请求。
Paste_Image.png-
创建parent.js
master进程只负责创建孩子,这样master进程逻辑简单,性能好,不容易崩溃。
var cp = require('child_process');
var child1 = cp.fork('child.js');
var child2 = cp.fork('child.js');
// Open up the server object and send the handle.
var server = require('net').createServer();
server.listen(1337, function () {
child1.send('server', server);
child2.send('server', server);
server.close(); //parent不处理请求
});
-
创建child.js
work进程接受http请求,处理请求并返回。由于监听同一个端口,不占用很多文件句柄,操作系统可以允许创建很多个这样的进程。
// child.js
var http = require('http');
//The callback is a function which is automatically added to the 'request' event.
var server = http.createServer(function (req, res) {
res.writeHead(200, {'Content-Type': 'text/plain'});
res.end('handled by child, pid is ' + process.pid + '\n');
});
process.on('message', function (m, tcp) {
if (m === 'server') {
tcp.on('connection', function (socket) {
server.emit('connection', socket); //模拟一个http的connection事件
});
}
});
- 测试例子
curl "http://127.0.0.1:1337/"
会返回handled by child, pid is XXXX
上面例子的要点:
- 通过
child1.send('server', server);
传递一个server(tcp)用来监听端口。 - 因为不同进程使用的是同一个server,可以监听同一个端口。注意这个底层的机制是
SO_ REUSEADDR
- 当请求响应的来到的时候,操作系统决定哪一个进程处理响应。为抢占式。
稳定性
上面的例子已经可以使用多核cpu了,那么来解决第二个问题,如何处理健壮性问题。比如
- 状态管理
- 平滑重启
- 配置动态载入
由于写一个这样的模块并不是简单的任务,或者简单的谢谢也没有什么用,我们直接看一个开源例子PM2。
下面是pm2的功能列表,可以看到他有cluster mode等十几项功能。
PM2功能列表 方便的查看cpu和内存使用
当然一些自动重启等最基本的功能肯定可以胜任。
多台服务器
上面并没有提到把工作进程放到不同的机器上,实际上这是有必要的,比如redis需要内存大的机器,数据库系统需要磁盘好的机器,业务逻辑需要cpu好的机器。对于这个方面,可以考虑网络通信方式。推荐zmq
总结
可以看到JavaScript也可以利用多核cpu的强大性能,并且提供了方便的进程间通信方法(父子进程间)。多机之间也可以利用现有的网络通信机制进行通信。多进程管理方面也有一些开源框架提供了支持。总的来说,在web服务器方面的应用是成熟可靠的。
本文引用了
《深入浅出node.js》
http://pm2.keymetrics.io/
http://nodejs.cn/doc/node/child_process.html
http://nodejs.cn/doc/node/cluster.html
网友评论