CrawlSpider它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则Rule来提供跟进链接的方便的机制，从爬取的网页结果中获取链接并继续爬取的工作．

一、创建crawlspider爬虫文件

１、创建项目

scrapy startproject 项目名称

2、创建CrawlSpider爬虫

• 首先进入到Spider文件夹下

scrapy genspider -t crawl 爬虫名称　域

二、spider文件(爬虫文件)

设置rules

    name = 'xcfCrawlSpider'
    #设置允许爬取的域
    allowed_domains = ['xiachufang.com']
    #设置起始的url
    start_urls = ['http://www.xiachufang.com/category/']
    #rules:是一个元组（列表）,里面存放的是规则Rule规则对象 可以设置多个规则
    rules = (
        Rule(
            #匹配你要爬取的url
            LinkExtractor(allow=r'.*?/category/\d+/'),
            #回调函数
            callback='parse_item',
            #设置是否要跟进
            follow=True,
#          指定一个方法,可以在这个方法中拦截request对象
            process_links='check_category_url'
        ),
    )
#CrawlSpider使用rules属性来决定爬虫的爬取规则，将匹配后的url请求提交给引擎,完成爬取工作。
注意:提取匹配,并使用spider的parse方法进行分析;并跟进链接(没有callback意味着follow默认为True)

三、设置settings.py

#设置是否遵守robot协议
1.ROBOTSTXT_OBEY = False 
#设置下载延时
2.DOWNLOAD_DELAY = 3 
#3.设置全局的Header
DEFAULT_REQUEST_HEADERS = {
    'User-Agent':' Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:59.0) Gecko/20100101 Firefox/59.0',
}

4.激活pipelines数据处理管道

ITEM_PIPELINES = {
   'xiachufang.pipelines.XiachufangPipeline': 300,
}

#关于数据库的相关配置
MYSQL_HOST = '127.0.0.1'
MYSQL_PORT = 3306
MYSQL_USER = ''
MYSQL_PWD = ''
MYSQL_DB = ''
CHARSET = 'utf8'

四、items.py:定义要爬取的字段

例如

#要到入scrapy模块
import scrapy

#接下来要定义你要爬取的字段
class XiachufangItem(scrapy.Item):
    #图片链接
    coverImage = scrapy.Field()
    #名称
    title = scrapy.Field()
    #评分
    score = scrapy.Field()

五、piplines.py:数据管道

#在这里导入你要保存的数据库
#mysql
import mysql
class XiachufangPipeline(object):
#初始化__init__方法
    def __init__(self,host,port,user,pwd,db,charset):

        self.client = pymysql.Connect(host,user,pwd,db,port,charset=charset)
        self.cursor = self.client.cursor()

    @classmethod
#配置数据库
    def from_crawler(cls,crawler):
        host = crawler.settings['MYSQL_HOST']
        port = crawler.settings['MYSQL_PORT']
        user = crawler.settings['MYSQL_USER']
        pwd = crawler.settings['MYSQL_PWD']
        db = crawler.settings['MYSQL_DB']
        charset = crawler.settings['CHARSET']

        return cls(host,port,user,pwd,db,charset)


    def process_item(self, item, spider):

        sql,data = item.insert_data_to_db(dict(item))

        try:
            self.cursor.execute(sql,data)
            self.client.commit()
            print('插入成功')
        except Exception as err:
            print(err)
            self.client.rollback()

        return item

    def close_spider(self,spider):
        self.cursor.close()
        self.client.close()、

运行：
scrapy crawl xcfcrawlspider