美文网首页
python爬虫scrapy(一)

python爬虫scrapy(一)

作者: 我是上帝可爱多 | 来源:发表于2017-08-19 15:23 被阅读34次

    今天我来教大家用scrapy写python爬虫,安装指南可以参考这里,我们来开始今天的内容。

    1 创建项目

    在开始爬取之前,您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中,运行下列命令:

    scrapy startproject demo
    

    该命令将会创建包含下列内容的 demo 目录:

    demo/
        scrapy.cfg
        demo/
            __init__.py
            items.py
            pipelines.py
            settings.py
            spiders/
                __init__.py
                ...
    

    大家看到这些可能比较懵,下面来解释一下:

    • scrapy.cfg: 项目的配置文件
    • demo/: 该项目的python模块。之后您将在此加入代码。
    • demo/items.py: 项目中的item文件.
    • demo/pipelines.py: 项目中的pipelines文件.
    • demo/settings.py: 项目的设置文件.
    • demo/spiders/: 放置spider代码的目录.

    看到这里依然很费解是不是,这时候我们就需要生动形象的代码了
    以下为我们的第一个Spider代码,保存在demo/spiders 目录下的 dmoz_spider.py 文件中:

    import scrapy
    
    class DmozSpider(scrapy.Spider):
        name = "dmoz"
        allowed_domains = ["dmoz.org"]
        start_urls = [
            "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
            "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
        ]
    
        def parse(self, response):
            filename = response.url.split("/")[-2] + '.html'
            with open(filename, 'wb') as f:
                f.write(response.body)
    

    来简单解释一下这段代码的意思:

    1. name = "dmoz" 运行该爬虫的命令是 scrapy crawl dmoz
    2. allowed_domains = ["dmoz.org"] 允许发送请求的域名,其他无效。
    3. start_urls 爬去网页内容的url,是一个数组。
    4. parse 把抓取的网页内容解析,response.url是访问的地址,这段代码里面会新建2个html文件,并把爬去到的内容保存进去。

    进入项目的根目录,执行下列命令启动spider:

    scrapy crawl dmoz
    

    该命令启动了我们刚刚添加的 dmoz spider, 向 dmoz.org 发送一些请求。 您将会得到类似的输出:

    2014-01-23 18:13:07-0400 [scrapy] INFO: Scrapy started (bot: tutorial)
    2014-01-23 18:13:07-0400 [scrapy] INFO: Optional features available: ...
    2014-01-23 18:13:07-0400 [scrapy] INFO: Overridden settings: {}
    2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled extensions: ...
    2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled downloader middlewares: ...
    2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled spider middlewares: ...
    2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled item pipelines: ...
    2014-01-23 18:13:07-0400 [scrapy] INFO: Spider opened
    2014-01-23 18:13:08-0400 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)
    2014-01-23 18:13:09-0400 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
    2014-01-23 18:13:09-0400 [scrapy] INFO: Closing spider (finished)
    

    我们爬取到内容后需要将其保存,这时候就需要通过demo目录下的item.py了,如果有django经验的人会比较熟悉这部分。

    2 定义Item

    Item 是保存爬取到的数据的容器;其使用方法和python字典类似。类似在ORM中做的一样,您可以通过创建一个 scrapy.Item 类, 并且定义类型为 scrapy.Field 的类属性来定义一个Item。

    首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从dmoz中获取名字,url,以及网站的描述。 对此,在item中定义相应的字段。编辑 demo 目录中的 items.py 文件:

    import scrapy
    class DmozItem(scrapy.Item):
        title = scrapy.Field()
        link = scrapy.Field()
        desc = scrapy.Field()
    

    写好了item之后,为了将爬取的数据返回,我们最终的代码将是:

    import scrapy
    
    from tutorial.items import DmozItem
    
    class DmozSpider(scrapy.Spider):
        name = "dmoz"
        allowed_domains = ["dmoz.org"]
        start_urls = [
            "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
            "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
        ]
    
        def parse(self, response):
            for sel in response.xpath('//ul/li'):
                item = DmozItem()
                item['title'] = sel.xpath('a/text()').extract()
                item['link'] = sel.xpath('a/@href').extract()
                item['desc'] = sel.xpath('text()').extract()
                yield item
    

    大家应该也看出来了,item实际是充当了model的作用,保存数据。可能比较奇怪的是xpath是什么。。。

    3 提取数据

    比如我们想获得刚刚爬取网页内容ul下面所有的li.

    response.xpath('//ul/li')
    

    获取li所有的内容,它是每个li内容组成的数组。

    response.xpath('//ul/li/text()').extract()
    

    注意不要忘了用extract,如果不用extract我们来看下获得是啥。

    In [3]: response.xpath('//title/text()')
    Out[3]: [<Selector xpath='//title/text()' data=u'Open Directory - Computers: Programming:Languages: Python: Books'>]
    
    In [4]: response.xpath('//title/text()').extract()
    Out[4]: [u'Open Directory - Computers: Programming: Languages: Python: Books']
    

    这下知道为什么需要用extract提取了吧,不用的话得到的只是一个selector。

    以及网站的链接(获得li下面a标签所有的href):

    response.xpath('//ul/li/a/@href').extract()
    

    现在对dmoz.org进行爬取将会产生 DmozItem 对象:

    scrapy] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>
         {'desc': [u' - By David Mertz; Addison Wesley. Book in progress, full text, ASCII format. Asks for feedback. [author website, Gnosis Software, Inc.\n],
          'link': [u'http://gnosis.cx/TPiP/'],
          'title': [u'Text Processing in Python']}
    [scrapy] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>
         {'desc': [u' - By Sean McGrath; Prentice Hall PTR, 2000, ISBN 0130211192, has CD-ROM. Methods to build XML applications fast, Python tutorial, DOM and SAX, new Pyxie open source XML processing library. [Prentice Hall PTR]\n'],
          'link': [u'http://www.informit.com/store/product.aspx?isbn=0130211192'],
          'title': [u'XML Processing with Python']}
    

    4 追踪链接

    设想我们并不是要获得我们爬取网页的内容,而是想要拿到里面的a链接,对a连接的地址内容进行解析。

    import scrapy
    
    from tutorial.items import DmozItem
    
    class DmozSpider(scrapy.Spider):
        name = "dmoz"
        allowed_domains = ["dmoz.org"]
        start_urls = [
            "http://www.dmoz.org/Computers/Programming/Languages/Python/",
        ]
    
        def parse(self, response):
            for href in response.css("ul.directory.dir-col > li > a::attr('href')"):
                url = response.urljoin(response.url, href.extract())
                yield scrapy.Request(url, callback=self.parse_dir_contents)
    
        def parse_dir_contents(self, response):
            for sel in response.xpath('//ul/li'):
                item = DmozItem()
                item['title'] = sel.xpath('a/text()').extract()
                item['link'] = sel.xpath('a/@href').extract()
                item['desc'] = sel.xpath('text()').extract()
                yield item
    

    下面使用css方法获取li下面所有a的href值,返回的是一个list。

    response.css("ul.directory.dir-col > li > a::attr('href')")
    

    css和xpath的功能是一样的,都是定位网页内容,用法有差异,后期会讲到。

    我么假设爬取的网页内容如下:

    ul.directory.dir-col 
        li 
           a(href='list')
        li 
           a(href='dict')
         li 
           a(href='tuple')
    

    那么实际上我们最终是对http://www.dmoz.org/Computers/Programming/Languages/Python/dict
    http://www.dmoz.org/Computers/Programming/Languages/Python/list
    ...三个网页进行爬取。

    我们已经通过item拿到了爬取内容,就可以通过在根目录运行

    scrapy crawl dmoz -o items.json
    

    采用 JSON 格式对爬取的数据进行序列化,生成 items.json文件.

    5 新建一个spider

    在项目目录执行以下命令

    scrapy genspider mydomain mydomain.com
    

    会在demo/spider/ 生成mydomain.py ,内容如下

    class MydomainSpider(scrapy.Spider):
        name = 'mydomain'
        allowed_domains = ['mydomain.com']
        start_urls = ['http://mydomain.com/']
    
        def parse(self, response):
            pass
    

    好了,今天第一讲就到这里,通过本节你应该学会如何构建scrapy爬虫,获得爬取网页的内容,保存items。。。

    相关文章

      网友评论

          本文标题:python爬虫scrapy(一)

          本文链接:https://www.haomeiwen.com/subject/unmarxtx.html