大规模NodeJS项目架构与优化

聊聊大规模NodeJS项目架构

• NodeJS异步IO原理浅析及优化方案
• NodeJS内存管理机制及内存优化
• 大规模Node站点结构原理分析
• 服务器集群管理与Node集群的应用

异步IO原理浅析

---

1. 异步IO的是与非
2. Node对异步IO的实现
3. 几个特殊的API
4. 函数式编程在Node中的应用
5. 常用的Node控制异步API的技术手段

异步IO的好处

• 首先，前端通过异步IO可以消除UI阻塞。
• 然后，如果是请求资源，请求A资源时间为M，请求B资源时间为N，如果是同步就需要M+N，如果是异步就需要MAX（M，N）。
• 随着业务不断扩大，引入分布式系统（一个业务拆分成多个小业务），时间会呈线性增加，同异步之间的差异会更加明显。
  IO是非常昂贵的，分布式IO更是昂贵的。
• NodeJS是适用于IO密集型，不适用于CPU密集型。为什么说node使用与IO密集型呢，因为IO密集型是异步的这样的机制。有进有出就是IO。一下子进来500W请求，我交给异步去处理，处理完再通知我。
• JAVA和PHP也有异步，但是node天然就是异步，所以node更适用于游戏实时的这种，主播平台，都用node，还有就是传统代理，用node去处理，前端接收请求就少一点，阿里美团都会有中间层做处理。
• 底层知识：CPU时钟周期,一个CPU时钟周期(1s/2.8hz)Ghz；异步好，但并非所有的异步都好，阿姆达尔定律可以计算出通过改进计算机某一部分获得的性能增益。Amdahl’s law 【1】【2】（Ws串行数）；文件操作符，内核在进行文件IO操作时，通过文件操作符进行管理。node在o的那一个等待事件轮询把文件操作符返回给你。
• 写完以后去压力测试，哪里有问题，给文件加密，并行就比串行快。

Node对异步IO的实现

• 完美的异步IO应该是应用程序发起的非阻塞调用，无需通过遍历或唤醒等方式轮询。

node

几个特殊的API

• setTimeout和setInterval线程池不参与
• process.nextTick()实现类似setTimeout(function(){},0);每次调用放入队列中，在下一轮循环中取出。(在任何其他I / O事件（包括定时器）后续触发中触发之前运行,效率要比setTimeout高，它会先执行)
• setimmediate();比process.nextTick()优先级低 上三者的区别
• Node如何实现一个sleep？

async test(){
    console.log('1');
    await sleep(1);
    console.log('2');
}
sleep(time){
    return new Promise((resolve)=>{setTimeout(()=>{resolve()},time)})
}
test()

• 哨兵变量

<script>
    // 哨兵变量
    var s = 0;
    var result;
    var arr = ['a.php','b.php','c.php'];
    for(var i = arr.length-1; i >= 0; i--){
        $.ajax({
            url:arr[i],
            success: function(){
                s = s + 1;
                if(s == 3){
                    alert(result);
                }
            }
        })
    }
    // 函数式编程
    $.ajax({
        url: arr[0]
    }).after()
</script>

函数式编程在node中的应用

• 高阶函数：可以将函数作为参数或返回值，形成一种后续传递风格的结果接收方式，而不是单一的返回值形式，后续传递风格的程序将函数业务重点从返回值传递到回调函数中。

app.use(function(){//todo});
var emitter = new events.EventEmitter();
emitter.on(function(){//todo});

• 偏函数：指定部分参数形成一个新的定制函数的形式就是偏函数。Node中异步编程非常常见，我们通过哨兵变量会很容易产生业务的混乱。underscore，after变量

常用的Node控制异步技术手段

• step、wind（提供等待的异步库）、Bigpipe、Q.js
• Async、Await
• Promise/Defferred是一种先执行异步调用，延迟传递的处理方式。Promise是高级接口，事件是低级接口。低级接口可以构建很多复杂场景，但高级接口一旦定义，就无法改变，不再有地接接口的灵活性，但对于解决问题非常有效。（then就是Deffered模式）
• 由于NodeV8的原因，目前还不支持协程。协程不是进程或线程，其执行过程更类似于子例程，或者说不带返回值的函数调用。
• 一个程序可以包含多个协程，可以对比与一个进程包含多个线程，因而下面我们来比较协程和线程。我们知道多个线程相对独立，有自己的上下文，切换受系统控制；而协程也相对独立，有自己的上下文，但是其切换由自己控制，由当前协程切换到其它协程由当前协程来控制。

内存管理与优化

---

1. V8垃圾回收机制
2. 常见内存泄露问题
3. 内存泄露分析

大规模Node站点结构原理分析

---

1. 经典的MVC框架
2. NET多层架构
3. JavaWeb多层架构

Node集群的应用

---

1. 预备上线
2. 多线程
3. PM2
4. 服务器集群

预备上线

• 前端工程化搭载动态文件的MAP分析压缩打包合并至CDN
• 单测、压测性能分析工具发现Bug
• 编写Nginx-conf实现负载均衡和反向代理
• PM2启动应用程序小流量灰度上线，修复BUG
• 上线前不眠夜

多线程

• NodeJS的多核处理是用cluster模块处理的。

PM2

• PM2是一个带有负载均衡功能的Node应用的进程管理器。
• 当你要把你的独立代码利用全部的服务器上的所有CPU，并保证进程永远都活着，0秒重载。

1. 内建负载均衡（使用Node cluster集群模块）
2. 后台运行
3. 0秒停机重载
4. 具有Ubuntu和CentOS的启动脚本
5. 停止不稳定的进程（避免无限循环）
6. 控制台检测
7. 提供HTTP API
8. 远程控制和实时的接口API（Nodejs模块，允许和PM2进程管理器交互）

pm2