进程

什么是进程程序：例如xxx.py这是程序，是一个静态的

进程：一个程序运行起来后，代码+用到的资源 称之为进程，它是操作系统分配资源的基本单元，不仅可以通过线程完成多任务，进程也是可以的

进程的状态**

• 就绪态：运行的条件都已经慢去，正在等在cpu执行
• 执行态：cpu正在执行其功能
• 等待态：等待某些条件满足，例如一个程序sleep了，此时就处于等待态

进程的创建-multiprocessing

• Process参数如下：

target：如果传递了函数的引用，可以任务这个子进程就执行这里的代码
args：给target指定的函数传递的参数，以元组的方式传递
kwargs：给target指定的函数传递命名参数
name：给进程设定一个名字，可以不设定
group：指定进程组，大多数情况下用不到
Process创建的实例对象的常用方法：

start()：启动子进程实例（创建子进程）
is_alive()：判断进程子进程是否还在活着
join([timeout])：是否等待子进程执行结束，或等待多少秒
terminate()：不管任务是否完成，立即终止子进程
Process创建的实例对象的常用属性：

name：当前进程的别名，默认为Process-N，N为从1开始递增的整数
pid：当前进程的pid（进程号）

进程中资源不共享

进程间通信-Queue

进程间通信-Queue:

Process之间有时需要通信，操作系统提供了很多机制来实现进程间的通信。

1. Queue的使用 可以使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息列队程序，以下小实例来演示一下Queue的工作原理：

进程池的简单使用

eg：

from concurrent.futures import ProcessPoolExecutor
import os , time
'''
def downlooad_data(page):
    print(page,os.getpid())
    time.sleep(1)
    return '请求成功' + str(page), page

# 进程执行完一个任务后的回调函数
def dowmload_done(futures):
    result = futures.result()
    print(result)
    next_page = int(result[1]) + 1

    handler = pool.submit(downlooad_data, next_page)
    handler.add_done_callback(dowmload_done)

if __name__ == '__main__':

    # 创建进程池
    # max_workers : 设置进程池中的进程数量
    pool = ProcessPoolExecutor(4)
    for page in range(0,100):

        # fn,执行函数
        # *args,传递的参数
        # **kwargs
 
        handler = pool.submit(downlooad_data, page)
        回调看个人习惯是否需要
        handler.add_done_callback(dowmload_done)
    # cannot schedule 
    new futures after shutdown
    # pool.shutdown()
'''

from multiprocessing import Pool


def downlooad_data(page):
    print(page,os.getpid())
    time.sleep(1)
    return '请求成功' + str(page), page

def done(feture):
    print(feture)

if __name__ == '__main__':
    pool = Pool(4)

    for page in range(0,200):
        '''
        pool.apply_async()：异步非阻塞
        pool.apply()：同步的方式添加任务
        func : 要执行的方法
        args=(): 给函数传递的参数
        error_callback=None : 执行错误的回调
        '''
        pool.apply_async(downlooad_data, args=(page,) ,callback=done)

    pool.close()
    pool.join()

进程、线程对比 功能

进程，能够完成多任务，比如 在一台电脑上能够同时运行多个QQ
线程，能够完成多任务，比如 一个QQ中的多个聊天窗口

定义的不同
进程是系统进行资源分配基本单位.
线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运 行的基本单位.

线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享所在进程所拥有的全部资源

区别
一个程序至少有一个进程,一个进程至少有一个线程.

线程的划分尺度小于进程(资源比进程少)，使得多线程程序的并发性高。

进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大地提高了程序的运行效率
线线程不能够独立执行，必须依存在进程中

优缺点
线程和进程在使用上各有优缺点：线程执行开销小，但不利于资源的管理和保护；而进程正相反。

使用场景：

多进程常用来处理计算密集型任务： 计算密集型任务的特点：是要进行大量的计算，消耗CPU资源，比如计算圆周率、对视频进行高清解码等等，全靠CPU的运算能力。计算密集型任务可以用多任务完成，但是任务越多，花在任务切换的时间就越多，CPU执行任务的效率就越低，所以，要最高效地利用CPU，计算密集型任务同时进行的数量应当等于CPU的核心数。

多线程常用来处理IO密集型任务： IO密集型：涉及到网络、磁盘IO的任务都是IO密集型任务，特点是CPU消耗很少，任务的大部分时间都在等待IO操作完成（因为IO的速度远远低于CPU和内存的速度）。但是也要切记，在执行多任务时，并不是越多线程越好。