美文网首页
Python爬虫基础:scrapy框架简介及第一个scrapy爬

Python爬虫基础:scrapy框架简介及第一个scrapy爬

作者: 颜狗一只 | 来源:发表于2022-04-01 16:27 被阅读0次

    scrapy框架简介

    scrapy是一个使用Python语言(基于Twisted框架)编写的开源网络爬虫框架,目前由
    scrapinghub Ltd维护。Scrapy简单易用、灵活易拓展、开发社区活跃,并且是跨平台的。在Linux、MaxOS以及windows平台都可以使用。

    网络爬虫

    网络爬虫是指在互联网上自动爬取网站内容信息的程序,也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域,个人用户或企业也可以利用爬虫收集对自身有价值的数据。

    一个网络爬虫程序的基本执行流程可以总结三个过程:请求数据,解析数据,保存数据

    数据请求

    请求的数据除了普通的HTML之外,还有json数据、字符串数据、图片、视频、音频等。

    解析数据

    当一个数据下载完成后,对数据中的内容进行分析,并提取出需要的数据,提取到的数据可以以多种形式保存起来,数据的格式有非常多种,常见的有csv、json、pickle等

    保存数据

    最后将数据以某种格式(CSV、JSON)写入文件中,或存储到数据库(MySQL、MongoDB)中。同时保存为一种或者多种。

    通常,我们想要获取的数据并不只在一个页面中,而是分布在多个页面中,这些页面彼此联系,一个页面中可能包含一个或多个到其他页面的链接,提取完当前页面中的数据后,还要把页面中的某些链接也提取出来,然后对链接页面进行爬取(循环1-3步骤)。

    设计爬虫程序时,还要考虑防止重复爬取相同页面(URL去重)、网页搜索策略(深度优先或广度优先等)、爬虫访问边界限定等一系列问题。

    从头开发一个爬虫程序是一项烦琐的工作,为了避免因制造轮子而消耗大量时间,在实际应用中我们可以选择使用一些优秀的爬虫框架,使用框架可以降低开发成本,提高程序质量,让我们能够专注于业务逻辑(爬取有价值的数据)。接下来,就带你学习目前非常流行的开源爬虫框架Scrapy。

    scrapy安装

    scrapy官网:https://scrapy.org/
    scrapy中文文档:https://www.osgeo.cn/scrapy/intro/overview.html

    安装方式

    在任意操作系统下,可以使用pip安装Scrapy,例如:

    pip install scrapy
    

    安装完成后我们需要测试安装是否成功,通过如下步骤确认:

    在终端中测试能否执行scrapy这条命令

    scrapy 2.4.0 - no active project
     
    usage:
        scrapy <command>[options] [args]
     
    Available commands :
        bench        Run quick benchmark test
        fetch        Fetch a URL using the scrapy down1oader
        genspider        Generate new spider using pre-defined temp1ates
        runspider        Run a self-contained spider (without creating a project)
        settings        Get settings values
        she11        Interactive scraping console
        startproject        create new project
        version        Print scrapy version
        view        open URL in browser,as seen by scrapy
     
        [ more ]        More commands available when run from project directory
     
    use "scrapy <command> -h" to see more info about a command
    

    输入scrapy bench测试连通性,如果出现以下情况表示安装成功:


    image.png

    通过了以上两项检测,说明Scrapy安装成功了。如上所示,我们安装的是当前最新版本2.4.0。

    注意:
    在安装Scrapy的过程中可能会遇到缺少VC++等错误,可以安装缺失模块的离线包


    image.png

    成功安装后,在CMD下运行scrapy出现上图不算真正成功,检测真正是否成功使用scrapybench测试,如果没有提示错误,就代表成功安装。

    全局命令

    scrapy 2.4.0 - no active project
     
    usage:
      scrapy <command>[options] [args]
     
    Available commands :
      bench      Run quick benchmark test #测试电脑性能
      fetch      Fetch a URL using the scrapy down1oader#将源代码下载下来并显示出来
      genspider      Generate new spider using pre-defined temp1ates#创建一个新的spider文件
      runspider      Run a self-contained spider (without creating a project)# 这个和通过craw1启动爬虫不同,scrapy runspider爬虫文件名称
      settings      Get settings values#获取当前的配置信息
      she11      Interactive scraping console#进入scrapy 的交互模式
      startproject      create new project#创建爬虫项目
      version      Print scrapy version#显示scrapy框架的版本
      view      open URL in browser,as seen by scrapy#将网页document内容下载下来,并且在浏览器显示出来
     
      [ more ]      More commands available when run from project directory
    use "scrapy <command> -h" to see more info about a command
    

    项目命令

    • scrapy startproject projectname
      创建一个项目

    • scrapy genspider spidername domain
      创建爬虫。创建好爬虫项目以后,还需要创建爬虫。

    • scrapy crawl spidername
      运行爬虫。注意该命令运行时所在的目录。

    第一个scrapy爬虫

    项目需求

    在专门供爬虫初学者训练爬虫技术的网站(http://quotes.toscrape.com)上爬取名言警句。

    创建项目

    在开始爬取之前,必须创建一个新的Scrapy项目。进入您打算存储代码的目录中,运行下列命令:

    (base) λ scrapy startproject quotes
    New scrapy project 'quotes ', using template directory 'd: \anaconda3\lib\site-packages\scrapy\temp1ates\project ', created in:
        D:\XXX
    You can start your first spider with :
        cd quotes
        scrapy genspider example example. com
    

    首先切换到新建的爬虫项目目录下,也就是/quotes目录下。然后执行创建爬虫文件的命令:

    D:\XXX(master)
    (base) λ cd quotes\
      
    D:\XXX\quotes (master)
    (base) λ scrapy genspider quotes quotes.com
    cannot create a spider with the same name as your project
     
    D :\XXX\quotes (master)
    (base) λ scrapy genspider quote quotes.com
    created spider 'quote' using template 'basic' in module:quotes.spiders.quote
    

    该命令将会创建包含下列内容的quotes目录


    image.png

    robots.txt

    robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的网络蜘蛛,此网站中的哪些内容是不应被搜索引擎的爬虫获取的,哪些是可以被爬虫获取的。

    robots协议并不是一个规范,而只是约定俗成的。

    #filename : settings.py
    #obey robots.txt rules
    ROBOTSTXT__OBEY = False
    

    分析页面

    编写爬虫程序之前,首先需要对待爬取的页面进行分析,主流的浏览器中都带有分析页面的工具或插件,这里我们选用Chrome浏览器的开发者工具(Tools→Developer tools)分析页面。

    数据信息

    在Chrome浏览器中打开页面http://lquotes.toscrape.com,然后选择"Elements",查看其HTML代码。

    可以看到每一个标签都包裹在


    image.png

    编写spider

    分析完页面后,接下来编写爬虫。在Scrapy中编写一个爬虫, 在scrapy.Spider中编写代码Spider是用户编写用于从单个网站(或者-些网站)爬取数据的类。

    其包含了-个用于下载的初始URL,如何跟进网页中的链接以及如何分析页面中的内容,提取生成item的方法。

    为了创建一个Spider, 您必须继承scrapy.Spider类,且定义以下三个属性:

    1. name:用于区别Spider。该名字必须是唯一-的, 您不可以为不同的Spider设定相同的名字。
    2. start _urls:包含了Spider在启动时进行爬取的ur列表。因此,
      第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。
    3. parse():是spider的一一个方法。被调用时,每个初始URL完成下载后生成的Response对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response
      data),提取数据(生成item)以及生成需要进一步处理的URL 的Request对象。
    import scrapy
     
    class QuoteSpi der(scrapy . Spider):
        name ='quote'
        allowed_ domains = [' quotes. com ']
        start_ urls = ['http://quotes . toscrape . com/']
        
        def parse(self, response) :
            pass
    

    下面对quote的实现做简单说明。

    • scrapy.spider:
      爬虫基类,每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。
    • name
      爬虫的名字,是在genspider的时候指定的。
    • allowed_domains
      爬虫能抓取的域名,爬虫只能在这个域名下抓取网页,可以不写。
    • start_ur1s
      Scrapy抓取的网站,是可迭代类型,当然如果有多个网页,列表中写入多个网址即可,常用列表推导式的形式。
    • parse
      称为回调函数,该方法中的response就是start_urls
      网址发出请求后得到的响应。当然也可以指定其他函数来接收响应。一个页面解析函数通常需要完成以下两个任务:
      1. 提取页面中的数据(re、XPath、CSS选择器)
      2. 提取页面中的链接,并产生对链接页面的下载请求。

    页面解析函数通常被实现成一个生成器函数,每一项从页面中提取的数据以及每一个对链接页面的下载请求都由yield语句提交给Scrapy引擎。

    解析数据

    import scrapy
     
    def parse(se1f,response) :
        quotes = response.css('.quote ')
        for quote in quotes:
            text = quote.css( '.text: :text ' ).extract_first()
            auth = quote.css( '.author : :text ' ).extract_first()
            tages = quote.css('.tags a: :text' ).extract()
            yield dict(text=text,auth=auth,tages=tages)
    

    重点:

    1. response.css(直接使用css语法即可提取响应中的数据。
    2. start_ur1s 中可以写多个网址,以列表格式分割开即可。
    3. extract()是提取css对象中的数据,提取出来以后是列表,否则是个对象。并且对于extract_first()是提取第一个

    运行爬虫

    在/quotes目录下运行scrapycrawlquotes即可运行爬虫项目。

    运行爬虫之后发生了什么?

    Scrapy为Spider的start_urls属性中的每个URL创建了scrapy.Request对象,并将parse方法作为回调函数(callback)赋值给了Request。

    Request对象经过调度,执行生成scrapy.http.Response对象并送回给spider parse()方法进行处理。

    完成代码后,运行爬虫爬取数据,在shell中执行scrapy crawl <SPIDER_NAME>命令运行爬虫'quote',并将爬取的数据存储到csv文件中:

    (base) λ scrapy craw1 quote -o quotes.csv
    2021-06-19 20:48:44 [scrapy.utils.log] INF0: Scrapy 1.8.0 started (bot: quotes)
    

    等待爬虫运行结束后,就会在当前目录下生成一个quotes.csv的文件,里面的数据已csv格式存放。

    -o支持保存为多种格式。保存方式也非常简单,只要给上文件的后缀名就可以了。(csv、json、pickle等)

    相关文章

      网友评论

          本文标题:Python爬虫基础:scrapy框架简介及第一个scrapy爬

          本文链接:https://www.haomeiwen.com/subject/qipajrtx.html