Python实战计划学习笔记（11）使用多进程

心得

• 启用进程池需要使用Pool库，使用指令pool=Pool()可自动调用所有CPU，效率比单进程大大提升
• map()函数相当于一个循环，将参数2中的列表元素逐次灌入参数1的函数中。
• 命令行状态下运行多进程程序时，无法用ctrl-c中断。

进程池代码

from multiprocessing import Pool
from channel_extract import channel_list
from page_parsing import get_links_from

def get_all_links_from(channel):
    for num in range(1,101):
        get_links_from(channel,num)

if __name__ == '__main__':
    #创建进程池
    pool = Pool()
    pool.map(get_all_links_from,channel_list.split())

数据库条目计数器代码

import time
from page_parsing import url_list

while True:
    print(url_list.find().count())
    time.sleep(5)