进程：是并发执行的程序在执行过程中分配和管理资源的基本单位，是一个动态概念，竞争计算机系统资源的基本单位。
线程：是进程的一个执行单元，是进程内科调度实体。比进程更小的独立运行的基本单位。线程也被称为轻量级进程。
一个程序至少一个进程，一个进程至少一个线程。
比如在一台电脑上能够同时运行多个QQ
线程，能够完成多任务，比如一个QQ中的多个聊天窗口进程是系统进行资源分配基本单位线程是进程的一个实体，是CPU调度和分派的基本单位，它是比进程更小的能独立运行的基本单位线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享所在进程所拥有的全部资源区别：一个程序至少有一个进程，一个进程至少有一个线程线程的划分尺度小于进程（资源比进程少），使得多线程程序的并发性高进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大提高了程序的运行效率线线程不能够独立执行，必须依存在进程中线程和进程在使用上各有优缺点：线程执行开销小，但不利于资源的管理和保护；而进程正相反。
多进程常用来处理计算密集型任务多线程常用来处理IO密集型任务队列创建一个队列：
queue_obj = queue.Queue(maxsize=30)
maxsize :表示允许存储的最
(FIFO) : 对列--先进先出存值 ：
queue_obj.put( )
取值 ： queue_obj.get( )
获取队列的大小 ： queue_obj.qsize( )
判断队列是否满 ： queue_obj.full( )
判断队列是否为空 ： queue_obj.empty()
注意 ： 队列是线程安全的,list,dict 是非线程安全的，使用的时候最好使用线程锁 Scrapy 框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
Scrapy 使用了 Twisted['twɪstɪd] 异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
scrapy基本介绍 创建一个项目scrapy startproject projectname(项目名称)进入到spidres文件夹中创建爬虫文件scrapy genspider 爬虫文件名称 网站的域使用pycharm打开项目，设置虚拟环境scrapy项目的框架chinaz：项目文件夹 spiders:爬虫文件（存放所有的爬虫文件）
zzw.py:爬虫文件（解析response响应，提取目标数据和url）
items.py:编写要爬取的字段
middlewares.py:中间件（爬虫中间件,下载中间件）
pipelines.py:数据管道（在这里做数据持久化）
settings.py:设置文件（设置请求头，设置下载延迟，设置是否遵守robot协议,以及激活管道……）
scrapy.cfg:配置文件（部署项目时会使用到）
作用概括：
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
Scrapy 使用了 Twisted['twɪstɪd] 异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并
且包含了各种中间件接口，可以灵活的完成各种需求。
补充知识：
各个模块的主要作用：
scrapy Engine引擎:
负责spider, itemPipeline,Downloader,Scheduler中间的通讯信号数据传递等
scheduler调度器:
负责接受引擎发送来的request请求 存放url
Downloader(下载器):
负责接受引擎从调度器中拿到的url并下载html获得请求体
spiser(爬虫):
负责接受引擎从下载器中拿到的请求体来提取我们需要的数据
提取新的url给调度器
ltem Pipeline(管道):
负责接受引擎从spider中提取到的数据来对其进行过滤存储等
下载中间件：自定义下载组件（请求任务和响应结果都会经过下载中间件）
代理中间件，cookies中间件，User—Agent中间件，selenium中间件
爬虫中间件：可以自定义request请求和过滤Response响应
- 创建一个爬虫项目:scrapy startproject 项目名称
创建爬虫文件：cd spider 文件夹下
scrapy genspider 爬虫名称 域
框架内部的py文件以及作用：
spiders 文件夹下存放的爬虫文件
items.py :根据目标文件，提取有用的字段
pipeline.py:做数据的过滤和持久化
middkeware.py :下载中间件和爬虫中间件
settings.py:设置文件，可以在里面做User—Agen，headers，激活管道
scrapy.cfg:配置文件，一般情况下，做爬虫部署会用到
Scrapy Spider文件介绍
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
class scrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。
主要用到的函数及调用顺序为：
init() : 初始化爬虫名字和start_urls列表
start_requests() 调用make_requests_from url():生成Requests对象交给Scrapy下载并返回response
parse():
解析response，并返回Item或Requests（需指定回调函数）。
Item传给Item pipline持久化 ， 而Requests交由Scrapy下载，并由指定的回调函数处理（默认parse())，一直进行循环，直到处理完所有的数据为止。
Scrapy Item pipeline(管道文件)使用
Item Pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。
每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：
验证爬取的数据(检查item包含某些字段，比如说name字段)
查重(并丢弃)
将爬取结果保存到文件或者数据库中
编写item pipeline
编写item pipeline很简单，item pipiline组件是一个独立的Python类，其中process_item()
网友评论