mongodb教程

http://www.runoob.com/mongodb/mongodb-tutorial.html

多进程

单进程单线程
单进程多线程
多进程单线程，一个进程会占用一个CPU
多进程多线程，一个进程会占用一个CPU

from multiprocessing import Pool
pool = Pool(processes=6) #使用六个核心去跑此py文件，但是不是核越多越好，可以不填写参数让其自动分配

主程序可以写在这

断点续传

假设抓取过程中会遇到网络问题而导致程序停止，在程序中需要设计一个功能，保证数据库中开始抓取的数据不会重复。

一般使用try来尝试，失败就返回自己，尝试次数加1，尝试n次不行就pass