关于scrapy爬虫使用的一些小经验和注意事项

1 . 图片下载的设置

class ClawernameSpider(scrapy.Spider):
    # 定制化设置
    custom_settings = {
        'LOG_LEVEL': 'DEBUG',  # Log等级，默认是最低级别debug
        'ROBOTSTXT_OBEY': False,  # default Obey robots.txt rules
        'DOWNLOAD_DELAY': 0,  # 下载延时，默认是0
        'COOKIES_ENABLED': False,  # 默认enable，爬取登录后数据时需要启用
        'DOWNLOAD_TIMEOUT': 25,  # 下载超时，既可以是爬虫全局统一控制，也可以在具体请求中填入到Request.meta中，    Request.meta['download_timeout']
        'RETRY_TIMES': 8,
        # ………………

        'IMAGES_STORE': r'E:\scrapyFashionbeansPic\images',  # 爬虫下载图片存储位置，没有则新建,已经存在的图片不会再下载
        'IMAGES_EXPIRES': 90,  # 图片过期时间，单位为天
        'IMAGES_MIN_HEIGHT': 100,  # 图片最小尺寸（高度），低于这个高度的图片不会下载
        'IMAGES_MIN_WIDTH': 100,  # 图片最小尺寸（宽度），低于这个宽度的图片不会下载
        'DOWNLOADER_MIDDLEWARES': {  # 下载中间件设置，后面的数字（范围0~999）为优先级，越小越先处理
            'scrapyFashionbeans.middlewares.HeadersMiddleware': 100,
            'scrapyFashionbeans.middlewares.ProxiesMiddleware': 200,
            'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
        },

        # ………………
    }

2. 在Request中设置flag，针对性处理每个request

在构造Request时，增加flags这个参数

def start_requests(self):
    for each in keyLst:
       yield scrapy.Request(
            url = f'https://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3Daps&field-keywords={quote(each)}',
            meta = {'key': each, 'dont_redirect': True},
            callback = self.parse,
            errback = self.error,
            # 在request中埋入flag，在经过中间件时，可以以此为判断依据，针对性处理每条Request
            flags = [1]           
        )

使用在下载中间件的示例：

# 在下载中间件中，代理处理部分
# 当Request的flag[0]设置为1时，不添加代理IP
class ProxiesMiddleware(object):
    def __init__(self):
        runTimer = datetime.datetime.now()
        print(f"instance ProxiesMiddleware, startProxyTimer, runTimer:  {runTimer}.")
        timerUpdateProxies()
        print(f"instance ProxiesMiddleware, startProxyTimer, runTimer:{runTimer}.")

    def process_request(self, request, spider):
        print('Using ProxiesMiddleware!')

        # 在这里识别 request.url是不是指列表页，从而不启用代理。
        # 或者在发送列表页request时，将某个栏位(flags可用，类型是列表)置上标记，在这个地方检察这个标记，从而决定要不要启动代理。
        if request.flags:
            if request.flags[0] == 1:   # flags[0] 如果为1表示这条request并不需要添加代理
                return None             # 不加proxy, 直接返回, 给其他中间件继续处理request

        if not request.meta.get('proxyFlag'):
            request.meta['proxy']='http://xxxxxxxxxxxx:xxxxxxxxxxxx@proxy.abuyun.com:9020'

3. 跟进一个网页中的超链接

for page in range(1 ,pageNum + 1):
    # 从本网页实现页面跟进
    # href是从网页中拿到的超链接地址
    yield response.follow(
        url = re.sub(r'page=\d+', f'page={page}', href, count = 1),
        meta = {'dont_redirect':True , 'key':response.meta['key']},
        callback = self.galance,
        errback = self.error
    )  

4. 利用redis进行网页去重，做分布式爬虫的基础

• 关于scrapy-redis的原理，请参考：https://www.biaodianfu.com/scrapy-redis.html
• 参考文章：https://www.cnblogs.com/zjl6/p/6742673.html

class ClawernameSpider(scrapy.Spider):
    # 定制化设置
    custom_settings = {
        'LOG_LEVEL': 'DEBUG',  # Log等级，默认是最低级别debug
        # ………………
        # 利用redis对网页去重的设置项
        'DUPEFILTER_CLASS': "scrapy_redis.dupefilter.RFPDupeFilter",
        'SCHEDULER': "scrapy_redis.scheduler.Scheduler",
        'SCHEDULER_PERSIST': False,  # Don't cleanup redis queues, allows to pause/resume crawls.

        # ………………
    }

运行redis-cli.exe，然后执行flushdb *清除掉redis中的记录，以免之前没爬取成功的页面，在下次爬取时被忽略掉了。
keys *
flushdb
OK

补充说明：运行redis-cli.exe，执行key *可以看到这个数据库中所有表的名字。

5. scrapy定时关闭

假设有如下需求：指定一个爬虫，每天运行一次，但是需要保证这个爬虫的运行时间不能超过24小时。
对于scrapy框架来说，非常简单，只需要配置一个扩展就好了，打开settings.py，添加一个配置项：

CLOSESPIDER_TIMEOUT = 86400   # 24小时*3600秒 = 86400

• CLOSESPIDER_TIMEOUT说明：
  CLOSESPIDER_TIMEOUT 的默认值: 0
  一个整数值，单位为秒。如果一个spider在指定的秒数后仍在运行， 它将以 closespider_timeout 的原因被自动关闭。 如果值设置为0（或者没有设置），spiders不会因为超时而关闭。
• 相关的扩展还有很多，比如可以配置获得了一定数量的item则退出等等，详见文档扩展(Extensions)：
  http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/extensions.html

CLOSESPIDER_TIMEOUT（秒）：在指定时间过后，就终止爬虫程序.
CLOSESPIDER_ITEMCOUNT：抓取了指定数目的Item之后，就终止爬虫程序.
CLOSESPIDER_PAGECOUNT：在收到了指定数目的响应之后，就终止爬虫程序.
CLOSESPIDER_ERRORCOUNT：在发生了指定数目的错误之后，就终止爬虫程序.

6. scrapy最大爬取深度depth_limit

• 有时候，有些奇怪的页面会一直循环跳转，导致爬虫一直不能结束，所以在爬取过程中，需要指定最大深度。
• 但是还有个非常重要的点需要注意：就是retry_times 和 depth_limit之间的关系。
• 因为在retry的过程中，会累计 depth，当超过 depth_limit 时，这个页面就会被抛弃掉。（注意，不是指爬虫结束）

7. 关于参数 dont_redirect

• dont_redirect：指这个请求是否允许重定向。默认值为：False，允许重定向

导致网页重定向的原因，一般有如下几个：

第一，网页自身就是一个跳转页面。
第二，这个网页分为电脑版和移动版，站点会根据用户的访问数据（user-agent）来决定返回给用户哪种网页。

# 使用示例：
# https://www.1688.com/
# user-agent = "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"

yield Request(
    url = "https://www.1688.com/",
    # 默认为False
    meta={},
    # 如果将这个参数置为True，表示不允许网页重定向，这样如果网页发生了跳转，那么网页爬不下来
    # meta = {'dont_redirect': True},
    callback = self.parseCategoryIndex,
    errback = self.error
)

• 默认值：False，允许重定向
• 特别注意：一般情况下，我们都会把这个参数置为True，不允许跳转。因为在一开始，就必须明确你需要解析的页面的结构。后面的解析方法也是针对目标页面的，如果可以随意重定向，那后面的解析也就变得灵活，并且无法精准预测。

8. 关于参数 dont_filter

• dont_filter：指这个请求是否允许过滤。默认值为：False，参与过滤。
• 因为在scrapy中，自带url过滤功能，如果 dont_filter == False，表明这个Request （不仅仅指url）只会被使用一次。当然，如果发生了retry，是不算的。
• 唯一需要注意的是：如果有些Request会出现重复多次访问，需要在Request中，将这个参数置为 True。

本文摘抄自：
https://blog.csdn.net/zwq912318834/article/details/78665851
好好学习，多多益善。