scrapy框架

scrapy框架
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。

scrapy架构图

scrapy各部分简介：

Scrapy Engine(引擎): 负责信号和数据的传递，起协调作用．（框架帮我们实现了）

Scheduler(调度器): 会将Request请求任务，存储在任务队列中，引擎会从任务队列中提取任务交给下载器　（框架帮我们实现了）

只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的URL，Scrapy也会重新下载。）

Downloader（下载器）：接收引擎传递过来的请求，发起请求，获取响应，最终将响应结果交给spider爬虫文件（框架帮我们实现了）

Spider（爬虫）：根据起始url发起请求，解析响应结果，第一获取目标数据，第二提取新的url　　　（手动实现）

Item Pipeline(管道)：将spider爬虫文件yeild的item数据，做过滤和持久化　　（手动实现的）

Downloader Middlewares（下载中间件）：自定义下载组件（请求任务和响应结果都会经过下载中间件）代理中间件，cookies中间件，Uaer-Agent中间件，selenium中间件．．　（特殊需求要手动实现）

Spider Middlewares（Spider中间件）：可以自定义request请求和过滤Response响应　　（特殊需求要手动实现）

安装

sudo pip3 install scrapy

新建项目

scrapy startproject 爬虫项目名称

然后cd到spider文件夹下

新建爬虫文件

crapy genspider 爬虫文件名称 域名:制作爬虫开始爬取网页

在这个时候我们项目的目录结构应该会是这样的

一个项目有5个文件我们一般情况下会进行修改

1.pipeline.py

做数据的过滤和持久化

可以在这里做数据持久化, 如果有多个管道文件,并且有优先级顺序一定要记住return item,否则下一个管道无法接受item

它还要两个可选方法

def open_spider(self,spider):

        可选方法，在爬虫开始执行的时候调用一次

        print(spider.name,'爬虫开启')

    def close_spider(self,spider):

        可选方法,在爬虫结束的时候调用一次

        self.file.close()

        print(spider.name,'爬虫结束')

2.item.py

根据目标网站，定义要提取的目标字段

3.spiders.py

spiders文件夹下存放的是爬虫文件

name

    定义spider名字的字符串。

allowed_domains

    包含了spider允许爬取的域名(domain)的列表，可选。

start_urls

    初始URL元组/列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。

start_requests(self)

    该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取（默认实现是使用 start_urls 的url）的第一个Request。

    当spider启动爬取并且未指定start_urls时，该方法被调用。

parse(self, response)

    当请求url返回网页没有指定回调函数时，默认的Request对象回调函数。

yield 的作用就是把一个函数变成一个 generator（生成器），带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator

4.settings.py

设置文件,可以在里面做User-Agent，Headers，激活管道文件等等

BOT_NAME

(也是项目名称)。使用 startproject 命令创建项目时会被自动赋值。

SPIDER_MODULES = ['ziruproject.spiders'] NEWSPIDER_MODULE = 'ziruproject.spiders'

爬虫的文件路径

USER_AGENT

用户代理，一般设置这个参数用来伪装浏览器请求

ROBOTSTXT_OBEY

是否遵守ROBOT协议，为False时，表示不遵守，

为True时表示遵守（默认为True）

COOKIES_ENABLED

是否要携带cookies，一般情况下，不是必须要携带

cookies的请求，我们将这个参数设置为False，(默认为True)

DEFAULT_REQUEST_HEADERS

默认: 如下

{

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language': 'en',

}

用于Scrapy HTTP请求的默认标头

ITEM_PIPELINES

设置并激活管道文件，为了存储数据使用，

后面的数字表示优先级，数字越小，优先级越高

关于日志信息的设置

LOG_ENABLED

默认: True

是否启用logging。

LOG_FILE

默认: None

logging输出的文件名。如果为None，则使用标准错误输出(standard error)。

Logging使用

Scrapy提供了log功能，可以通过 logging 模块使用。

可以修改配置文件settings.py，任意位置添加下面两行，效果会清爽很多。

LOG_FILE = "TencentSpider.log"

LOG_LEVEL = "INFO"

5.middleware.py

下载中间件和爬虫中间件

middleware的使用主要是为了自定义一些第三方组件，是爬虫和反爬的重要过程

主要有四种：

1.随机User-Agent

2.自定义随机cookies

3.enium结合使用

4.自定义随机ip池

除了一般的scrapy框架之外还有通用爬虫

通用爬虫和一般爬虫的区别主要是多了一个Rule的规则

他的主要参数是：

LinkExtractor中有：

allow:一般设置一个正则表达式，符合该正则表达式的连接，提取该url（常用）

deny:同样是跟一个正则表达式，符合该正则表达式的连接，不提取该url

（优先级比allow要高）

 allowed_domains：提取的连接，必须在allowed_domains设置的域下

  deny_domains: 提取链接时，一定不能提取deny_domains设置的域下

restrict_xpaths:当提取链接的时候，我们可以使用xpath语法定位到某些标签，提取标签下，

 符合规则的链接　（常用）

tags:可以指定要提取哪些标签

 attrs:可以指定要提取标签的哪些属性

 restrict_css:当提取链接的时候，我们可以使用css语法定位到某些标签，提取标签下，

 符合规则的链接　(常用)

还有：

callback='回调函数名称',

 follow=True | False,  # 表示是否要跟进

爬虫的步骤

step1:

分析目标网站，根据要提取的目标数据，在items.py中自定义字段

step2:

    在爬虫文件中：(1)首先设置目标url

                                (2) 解析请求成功的响应结果,提取目标数据，赋值给item,提取新的url，继续发起请求

step3:

    (1) 在设置文件中激活管道

    (2) 在管道文件中做数据的过滤和持久化

注意：

1.进入项目一定要先设置虚拟环境

2.首先更改settings的几个配置

    （1）.ROBOTSTXT_OBEY

是否遵守ROBOT协议，为False时，表示不遵守，

为True时表示遵守（默认为True）

（2）.COOKIES_ENABLED

是否要携带cookies，一般情况下，不是必须要携带

cookies的请求，我们将这个参数设置为False，(默认为True)

（3）.DEFAULT_REQUEST_HEADERS

此设置是设置一个全局的请求头

默认: 如下

{

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language': 'en',

}

（4）.DOWNLOAD_DELAY =1(防止访问过于频繁)

表示延时下载，一般情况下设为1或2

通用爬虫:为了全站爬取

通用爬虫创建项目

scrapy genspider -t crawl 爬虫名称 域

通用爬虫与普通爬虫的区别就在于多了一个rules规则

rules 规则属性的参数:是一个元组,可以放多个Rule对象

创建Rule:

LinkExtractor:设置提取规则

(allow,deny,allow_domea..,deny_domea..,restrict_xpath,restrict_css)

callback:设置回调函数

follwer:是否跟进

process_links:设置一个函数,根据正则规则获取的url,可以在回调函数中获取到

processs_request:设置一个函数,可以在这个回调方法中拦截所有根据正则规则提取到的url构建的Request对象

注意:

1.设置回调的时候一定不能重写parse方法

2.要获取起始url的响应结果 ,必须重写parse_start_url

3.在设置Rule对象的时候,如果没有callback回调函数,默认表示跟进

什么情况下会用到通用爬虫???

当我们提取数据的目标网站的网址很有规律,并且模块很清晰,我么就可以使用通用爬虫class

数据持久化之图片下载

在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片

首先在setttings里设置一个图片下载路径

然后在自定义的图片下载管道里获取到这个图片路径

第一种：正常的发起请求 ，获取图片的二进制文件，保存

第二种：自定义图片管道，继承自ImagePipline

    重写两个方法：

        def get_media_request(self,item,spider):

            获取图片地址，发起请求

        def item_completed(self,results,spider,item,....):

            在results结果中根据图片下载状态，获取图片本地存储的路径，

            将获取的路径赋值给item,然后将item返回给其他管道

# 数据持久化：(切记激活管道)

    1.可以自定义数据管道

        def __init__(self,xxx,xxxxx,xxxxx):

            # 可以设置一些参数，（比如，创健数据库链接，打开文件等等

        @classmethod

        def from_crawler(cls,crawler):

            crawler:包含了爬虫的一些核心组件，可以获取settings中的一些参数

            return cls(xxx,xxxx,xxxx)

        def open_spider(self,spider):

            # 可选方法，在爬虫个开启的时候会调用

        def process_item(self,item,spider):

            # 所有的item都会经过这个方法

            # 在这里做数据持久化(pymongo,pymysql)

            # 方法一：

            if isinstance(item,类名)

                做数据插入操作

            elif isinstance(item,类名)

                做数据插入操作

            方法二：

                1.在item对应的类中，我们定义一个方法，返回sql语句和要插入的数据

                2.使用item调用这个方法，得到sql语句和要插入的数据

                3.执行插入操作

            return item(如果要将item,传递给下一个管道，必须要return)

数据持久化之mongodb

首先在settings设置数据库配置文件

MONGDDBHOST = '127.0.0.1'

MONGODBPORT = 27017

MONGODB_DB = 'dbname'

import pymongo

class QunaPipeline(object):

    def __init__(self,MONGODBHOST,MONGODBPORT,MONGODB_DB):

        self.client = pymongo.MongoClient(MONGODBHOST,MONGODBPORT)

        self.db = self.client[MONGODB_DB]

    @classmethod

    def from_settings(cls,settings):

        MONGODBHOST = settings['MONGODBHOST']

        MONGODBPORT = settings['MONGODBPORT']

        MONGODB_DB = settings['MONGODB_DB']

        return cls(MONGODBHOST,MONGODBPORT,MONGODB_DB)

    def process_item(self, item, spider):

        self.db[item.get_db_col()].insert(dict(item))

        return item

数据持久化之mysql

同样的，我们也把数据库的配置信息，写在settings里

MYSQL_HOST = 'localhost'

MYSQL_USER = 'root'

MYSQL_PWD = 'pwd'

MYSQL_DB = 'dhname'

import pymysql

from jobboleproject.items import JobboleprojectItem

class JobboleprojectPipeline(object):

    def __init__(self,host,user,pwd,db):

        #创建mysql连接

        self.client = pymysql.Connect(host,user,pwd,db,charset='utf8')

        #创建游标

        self.cursor = self.client.cursor()

    @classmethod

    def from_crawler(cls, crawler):

        host = crawler.settings['MYSQL_HOST']

        user = crawler.settings['MYSQL_USER']

        pwd = crawler.settings['MYSQL_PWD']

        db = crawler.settings['MYSQL_DB']

        return cls(host,user,pwd,db)

    def process_item(self,item,spider):

        data = dict(item)

        sql,parmars = item.insert_db_by_data(data)

        try:

            self.cursor.execute(sql,parmars)

            self.client.commit()

        except Exception as err:

            self.client.rollback()

            print(err)

        return item

    def close_spider(self,spider):

        self.cursor.close()

        self.client.close()

Scrapy Shell

scrapy还有一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。

启动

scrapy shell  爬取目标网页

electors选择器 Scrapy Selectors 内置 XPath 和 CSS Selector 表达式机制 Selector有四个基本的方法，最常用的还是xpath:

xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表

extract(): 序列化该节点为字符串并返回list

css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表，语法同 BeautifulSoup4

re(): 根据传入的正则表达式对数据进行提取，返回字符串list列表

scrapy -h 查看所有可用的命令:

scrapy view -h 查看view命令的详细内容:

scrapy list列出当前项目中所有可用的spider

scrapy runspider xxxx.py在未创建项目的情况下，运行一个编写在Python文件中的spider。

scrapy version输出Scrapy版本

Scrapy 的暂停和恢复

爬取大的站点，我们希望能暂停爬取，之后再恢复运行。

scrapy crawl 爬虫名称 -s JOBDIR=crawls/爬虫名称

如要暂停，直接Ctrl+C即可，若要恢复，再一次运行此代码即可