并发服务器模型

并发服务器模型

引子
从09年在企鹅厂实习起开始接触服务器开发，第一次看到是一份内部的PPT，相较于之前接受的ACM/ICPC算法训练、工具程序开发、和Visual Studio可视化的GUI开发，有种开天辟地的感觉。

然后接着看UNP（《UNIX Network Programming》），逐步的学到两点：
1）UNIX系提供的编程接口（带缓冲的IO、Socket接口、锁、共享内存）；2）并发服务器的设计模式（阻塞/非阻塞、多线程/多进程、select/poll多路复用）。

再来看POSA2（《Pattern-Oriented Software Architecture: Patterns for Concurrent and Networked Objects》），其结合了比GOF更加实际的例子来说明，POSA2给出的例子几乎都是实际开发中遇得到实实在在的服务器设计问题。GOF也更偏向编程技法，而POSA2更偏向于架构设计。

UNIX系提供的编程接口
从这里开始，接触到了一个最纯粹的操作系统——UNIX：1）面向程序员；2）提供高性能可编程的计算和资源操控（内存、硬盘、网络）的平台。
这个系统并不面向：1）GUI界面，2）日常办公。
它的核心就是：1）计算，2）资源操控。
这对于以一种纯净的方式理解好操作系统非常重要：1）程序员需要什么；2）操作系统提供了什么；3）操作系统为什么这样设计。从这些接口、操作方式的设计中，我们可以从其中学习到大型系统在设计时候如何做设计权衡（tradeoff&consequence），如何定义设计空间（design space）并在其中调节设计。

并发服务器的设计模式

首先来看UNP中最重要的章节：“第六章：I/O多路复用”。
Unix提供了五种不同的I/O模型，并给出了详细的配图：

1. 阻塞式I/O模型
2. 非阻塞式I/O模型
3. I/O复用模型
4. 信号驱动式I/O模型
5. 异步I/O模型
   下面这个图可以很直观的说明问题：

再来看UNP中最最重要的章节：“第三十章：服务器程序设计范式”。
UNP列出下面9种服务器范式，代码主要逻辑也不难，不过首先得理解：阻塞/非阻塞、多线程/多进程、select/poll多路复用。然后再看看直观的图解。

1. 迭代服务器
2. 每个请求fork一个进程
3. prefork若干个进程
4. prefork对accept加文件锁
5. prefork对accept加线程锁
6. prefork在父进程统一accept传递fd
7. 每个请求一个thread
8. prethread线程，每个线程各自accept，互斥锁保护
9. prethread线程，主线程统一accept传递fd

另外，陈硕老师的《Linux 多线程服务端编程：使用muduo C++ 网络库》也列出了其他更多服务器范式：

1. reactor + thread-per-task
2. reactor + worker thread
3. reactor + thread poll
4. reactors in threads
5. reactors in processes
6. reactors + thread pool

有哪些可以评价一个并发服务器的指标？

1. 吞吐量（Throughput）
2. QPS
3. 延迟（latency）
4. 并发数目（concurrency）