美文网首页
【Scrapy坑】 URL中数字类型错误 导致url中的数字不能

【Scrapy坑】 URL中数字类型错误 导致url中的数字不能

作者: Python岳 | 来源:发表于2019-07-02 16:28 被阅读0次

    咕咕咕咕~~~~
    额,群里一好友在上个星期的时候,问我:【为什么我写的scapy代码,不能翻页了】
    然后丢给我压缩包。
    然后……

    咕咕咕,我鸽了好几天。咕~~~~~

    class WorldSpider(scrapy.Spider):
        name = "world"
        allowed_domains = ["j****.com"]
        base = 'http://www.****/xinwen/****'
        set = "1"
        end_url = '.html'
        start_urls = [base + str(set) + end_url]
    
    
    ······
    
            #问过他本人,他考虑的是人工组合一下url
            if self.set < 15:
                self.set += 1
                url = self.base + str(self.set) + self.end_url
                
                print self.set
                yield scrapy.Request(url, callback=self.parse)
    

    原始代码的部分截取,
    代码中的set = "1",
    下面有需求,
    需要组合成http://www.dsdfsdf.cm/{set}.html
    数字自增,要int类型,
    二话不说,直接改成set = 1
    运行一下代码,
    编辑器报了一些错误:
    具体是url这块的类型有问题,但是又没有严重影响url
    不考虑严谨性,就这样了。

    相关文章

      网友评论

          本文标题:【Scrapy坑】 URL中数字类型错误 导致url中的数字不能

          本文链接:https://www.haomeiwen.com/subject/ysezcctx.html