保存到Mysql数据库，需要用到mysqlclient模块，需要事先安装，这个模块在django也会用到。

1、数据同步插入数据库

在pipelines.py中引入数据库连接模块：
import MySQLdb
写入以下代码

class MysqlPipeline(object):
    def __init__(self):
        self.conn = MySQLdb.connect('127.0.0.1', 'root', 'root', 'jobbole', charset='utf8', use_unicode=True)
        self.cursor = self.conn.cursor()
    def process_item(self, item, spider):
        insert_sql = 'INSERT INTO jobbole_article (`title`, `create_date`, `url`, `url_object_id`, `content`, `front_image_path`, `comment_nums`, `fav_nums`, `praise_nums`, `tags`) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s)'
        self.cursor.execute(insert_sql, (item['title'], item['create_date'], item['url'], item['url_object_id'], item['content'], item["front_image_path"], item['comment_nums'], item['fav_nums'], item['praise_nums'], item['tags']))
        self.conn.commit()

__init__是对数据进行初始化，定义连接信息如host，数据库用户名、密码、数据库名称、数据库编码
在process_item中进行插入数据操作，格式都是固定的

最后在settings.py中把MysqlPipelint()加入到系统中，需要注意的是优先级要小于之前加入处理图片路径的优先级

ITEM_PIPELINES = {
   'articlespider.pipelines.ArticlespiderPipeline': 300, #系统自动生成pipeline，未用
   'articlespider.pipelines.ArticleimagePipeline': 1,
   'articlespider.pipelines.MysqlPipeline': 4,
}

说明：

先进行ArticleimagePipeline的处理，再进行MysqlPipeline处理

2、异步插入数据库

在同步插入数据库中，把连接信息MySQLdb.connect('127.0.0.1', 'root', 'root', 'jobbole', charset='utf8', use_unicode=True)直接定义在函数中，如果不经常改动的话，可以把相关信息放到settings.py中进行调用。
在settings.py中

MYSQL_HOST = "127.0.0.1"
MYSQL_DBNAME = "jobbole"
MYSQL_USER = "root"
MYSQL_PASSWORD = "root"

在pipelines.py中，定义异常存储数据pipeline

class MysqlyibuPipeline(object):

    @classmethod
    def from_settings(cls, settings):
        host = settings["MYSQL_HOST"]
        pass

通过debug模式，可以看到相应的设置已经传递过来了。通过host = settings["MYSQL_HOST"]赋值即可得到相应数据。

Paste_Image.png

异步操作需要引入twisted：

from twisted.enterprise import adbapi
import MySQLdb
import MySQLdb.cursors

使用twisted进行操作

class MysqlyibuPipeline(object):
    def __init__(self, dbpool):
        self.dbpool = dbpool

    @classmethod
    def from_settings(cls, settings):
        dbparms = dict(
            host = settings["MYSQL_HOST"],
            db = settings["MYSQL_DBNAME"],
            user = settings["MYSQL_USER"],
            passwd = settings["MYSQL_PASSWORD"],
            charset='utf8',
            cursorclass=MySQLdb.cursors.DictCursor,
            use_unicode=True,
        )
        dbpool = adbapi.ConnectionPool("MySQLdb", **dbparms)

        return cls(dbpool)

    def process_item(self, item, spider):
        # 使用twisted将mysql插入变成异步执行
        query = self.dbpool.runInteraction(self.do_insert, item)
        query.addErrback(self.handle_error)

    def handle_error(self, failure):
        print(failure)

    def do_insert(self, cursor, item):
        # 具体执行插入
        insert_sql = 'INSERT INTO jobbole_article (`title`, `create_date`, `url`, `url_object_id`, `content`, `front_image_path`, `comment_nums`, `fav_nums`, `praise_nums`, `tags`) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s)'
        cursor.execute(insert_sql, (item['title'], item['create_date'], item['url'], item['url_object_id'], item['content'], item["front_image_path"], item['comment_nums'], item['fav_nums'], item['praise_nums'], item['tags']))

在使用中大部分代码无需改变，只在最后一步，改为自己的信息即可。当量不大时，使用第一种方法。