爬坑总结

百度上搜了好多地方 都是少些了在setting.py的配置 然后看着老版本的文档走了不少弯路、其实文档上说的还是比较清楚的、比百度出来的结果好多了

1、配置

在setting.py中加入以下代码，其实创建的时候就已经自动添加了只不过系统默认注释掉了 打开就好了

ITEM_PIPELINES = {
   'enduction.pipelines.EnductionPipeline': 300,
}

2、编写代码

编写pipelines代码

    def get_media_requests(self, item, info):
        print('-----')
        for file_urls in item['file_urls']:
            yield scrapy.Request(file_urls, meta={'item': item})

    def file_path(self, request, response=None, info=None):
        item = request.meta['item']  # 通过上面的meta传递过来item
        down_file_name = './full/{0}.zip'.format(item['title'])
        return down_file_name

3、注意

系统默认会有process_item函数、一定要注释掉，否则系统不会调用get_media_requests 方法。这个地方所有的教程都没写，坑爹以为没事。结果爬坑爬的类死了

    def process_item(self, item, spider):
        pass