scrapy--异步存mysql

scrapy是一个异步的爬虫框架、异步解决的很大的问题就是io方面的操作，当我们爬虫请求到数据后，进行存储(io)的过程，也是需要被处理为异步的。
当然，我们同步的代码也是可以进行使用的，只是存储的速度相对比较慢。
同步代码：需要在setting中进行配置打开

import pymysql
class MysqlPipeline(object):
    """
    同步操作
    """
    def __init__(self):
        # 建立连接
        self.conn = pymysql.connect('localhost','root','Abcd1234','test')  # 有中文要存入数据库的话要加charset='utf8'
        # 创建游标
        self.cursor = self.conn.cursor()
    def process_item(self,item,spider):
        # sql语句
        insert_sql = """
        insert into test_zxf(quote,author,tags,born_date,born_location) VALUES(%s,%s,%s,%s,%s)
        """
        # 执行插入数据到数据库操作
        self.cursor.execute(insert_sql,(item['quote'],item['author'],item['tags'],item['born_date'],
                                        item['born_location']))
        # 提交，不进行提交无法保存到数据库
        self.conn.commit()
    def close_spider(self,spider):
        # 关闭游标和连接
        self.cursor.close()
        self.conn.close()

异步代码：
异步的过程，我们是通过使用twisted实现。创建一个连接池，twisted讲解资料太少了

import pymysql
from twisted.enterprise import adbapi
class MysqlPipelineTwo(object):
    def __init__(self,dbpool):
        self.dbpool = dbpool
    @classmethod
    def from_settings(cls,settings):  # 函数名固定，会被scrapy调用，直接可用settings的值
        """
        数据库建立连接
        :param settings: 配置参数
        :return: 实例化参数
        """
        adbparams = dict(
            host=settings['MYSQL_HOST'],
            db=settings['MYSQL_DBNAME'],
            user=settings['MYSQL_USER'],
            password=settings['MYSQL_PASSWORD'],
            cursorclass=pymysql.cursors.DictCursor  # 指定cursor类型
        )
        # 连接数据池ConnectionPool，使用pymysql或者Mysqldb连接
        dbpool = adbapi.ConnectionPool('pymysql',**adbparams)
        # 返回实例化参数
        return cls(dbpool)
    def process_item(self,item,spider):
        """
        使用twisted将MySQL插入变成异步执行。通过连接池执行具体的sql操作，返回一个对象
        """
        query = self.dbpool.runInteraction(self.do_insert,item)  # 指定操作方法和操作数据
        # 添加异常处理
        query.addCallback(self.handle_error)  # 处理异常
 
    def do_insert(self,cursor,item):
        # 对数据库进行插入操作，并不需要commit，twisted会自动commit
        insert_sql = """
        insert into test_zxf(quote,author,tags,born_date,born_location) VALUES(%s,%s,%s,%s,%s)
                    """
        cursor.execute(insert_sql,(item['quote'],item['author'],item['tags'],item['born_date'],
                                        item['born_location']))
    def handle_error(self,failure):
        if failure:
            # 打印错误信息
            print(failure)