「进程」编程

date: 2017-10-16 14:53:36
title: 「进程」编程

图灵社区 - 理解UNIX进程: http://www.ituring.com.cn/book/1081
「理解Unix进程」读书笔记: http://www.jianshu.com/p/9f6bf7d2a445

博客来源:

• <理解Unix进程> 这本书
• rango和鸟哥的博客, 关于服务器编程的部分
• 自己工作学习中的积累

摘录几个进程相关的要点, 这玩意真的很重要:

• 所有的代码都是在进程中执行的(知道有多重要了吧)
• 用户空间 - 内核 - 系统调用(理解这三者的关系)
• Unix哲学：万物皆为文件(普遍一点的理解是 文件 + 资源, 但是这样抽象后, 可以统一进行处理了)
• 资源: FD(文件描述符)来跟踪资源; 三个公共资源 stdin stdout stderr
• 进程皆有环境(知道环境变量干啥用了吧)
• pid - ppid - 僵尸进程 - 孤儿进程 - copy-on-write(进程之间的关系)
• master/worker 进程模型
• IPC(进程间通信): 信号 管道 socket
• 与Unix进程打交道事关两件事：抽象和通信

当然, 强烈推荐去读一下这本书, 1-2 小时就能读完.

fork

先来对比一下:

// 司空见惯的 if-else
if ($a == -1) {
    echo '-1';
} else if($a == 0) {
    echo '0';
} else {
    echo $a;
}

// 还是 if-else
$pid = pcntl_fork(); // 基于 ext-pcntl 扩展
if ($pid == -1) {
    echo 'fork fail';
} else if ($pid) {
    echo 'parent';
} else {
    echo 'child';
}

上面的例子, 只会有一个 echo 输出(if-else 语句就该这样呀), 但是下面的 echo 'parent'; 和 echo 'child'; 却都会输出.

是不是很难理解? 我第一次遇到这样的情况, 是来源于下面的代码:

sub main{
    my $zip_dir = $conf->{config}->getone('conf,zip_dir');
    my @zip_dir = split ',', $zip_dir;
    my @files = ();

    my $project = 'brand_item';
    for my $dir(@zip_dir){
        my @tmp_files = <$dir/$project/*.zip>;
        for my $file(@tmp_files){
            #if(-M $file > 0.01){ push @files, $file; }
            push @files, $file;
        }
    }

    while(@files){
        while(@files and (keys %$child < $process_num)){
            my @task_files;
            if(@files > $do_number_per_process){
                @task_files = @files[0..$do_number_per_process-1];
                @files = @files[$do_number_per_process..$#files];
            }
            else{
                @task_files = @files;
                @files = ();
            }

            if(my $pid = fork()){ $child->{$pid} = 1;}
            else{
                $conf->{log}->sayshort("fork child $$, " . join ' ', keys %$child);
                my $conf = get_config();
                eval{ &process_content($conf, \@task_files);}; #处理文件
                if($@){ $conf->{log}->err("child failed $@");}
                $conf->{log}->sayshort("child $$ die");
                exit;
            }
        }
        my $pid = wait();
        delete $child->{$pid};
    }

    while((my $pid = wait()) != -1){}
}

上面是一段 perl 爬虫脚本, 使用多进程处理爬取到的页面内容, 达到加速脚本执行的效果.

这里有 2 点需要提一下:

• 任务分解: 这里只处理整个爬虫任务的一部分 - 页面内容处理; 任务分解细化是解决是解决 大规模 / 复杂问题 常用思路
• 如果单进程跑, 任务大概要 2 小时, 使用多进程后, 15 分钟就能结束

不知道看完之后是否可以理解:

• fork 之后, 生成了子进程, 此时的进程和子进程都会执行之后的代码, 其实是有 2 个进程在跑 if-else 代码块, 这也是为什么 if-else 都有输出
• 使用 fork 后, 通常是 子进程 执行具体的任务, 原进程 待子进程处理完后使用 wait 回收子进程

server

看完进程的基本实践后(fork + wait), 我们再来看看服务器领域的例子.

其实上面的例子, 就包含了一个基本的进程模型 master/worker:

• 主进程(master)负责进程(work进程)管理
• worker进程负责执行具体的任务

$serv = stream_socket_server("tcp://0.0.0.0:8000", $errno, $errstr) or die('create server failed');

// 直接 fork()
while (1) {
    $conn = stream_socket_accept($serv); // 阻塞在 accept 上
    if (pcntl_fork() == 0) {
        $request = fread($conn);
        // do something
        fwrite($conn, 'hello world');
        fclose($conn);
        exit(0);
    }
}

// 多进程/多线程 leader-follower模型 fpm/apache
for ($i=0; $i < 32; $i++) {
    if (pcntl_fork() == 0) {
        while (1) {
            $conn = stream_socket_accept($serv); // 阻塞在 accept 上
            if ($conn === false) continue;
            $request = fread($conn);
            // do something
            fwrite($conn, 'hello world');
            fclose($conn);
        }
        exit(0);
    }
}

上面 2 个实现其实都是 master/worker 模型, 仔细对比一下, 就会发现细微的差别:

• 下面的代码实现实现了进程池
• 为什么要用进程池? 因为进程的新建和销毁也需要消耗系统资源

master/worker 模型非常常见, nginx / php-fpm 都是基于此模型. swoole 也包含此模型, 但是因为需要处理更复杂的业务, 会有不同功能的进程, 进程模型也会更复杂一点.

当然, 无论进程还是服务器开发, 包含的内容都不止这么一点点. 这里写得很简单和简略, 是想要传达一个简单的认知:

吃的草多了, 你也会成为大牛