美文网首页
python将类似json的数据存储到MySQL

python将类似json的数据存储到MySQL

作者: 不存在的一角 | 来源:发表于2018-12-09 00:57 被阅读44次

将爬取下来的数据以类似json数据的形式存入MySQL

由于之前对于爬取下来的数据都是存入MongoDB中,想起来还没有尝试存入MySQL,于是将一篇简单的文章爬取下来,存入MySQL试试

这里用到的python模块是pymysql,因为MySQLdb之前已经停止维护

首先在cmd中连接MySQL并且创建一个数据库json


这里写图片描述 这里写图片描述

在图形化界面workbench中可以看到


这里写图片描述

接下来就要在pycharm中写代码了,在pycharm中导入pymysql后即可

#建立python与MySQL之间的连接
        mysql = pymysql.connect(host="localhost",user="root",passwd="12138",db="json",charset="utf8")
        #新建游标
        cur = mysql.cursor()
        #原生sql语句,创建一个名为jsondata的表,并在其中定义字段
        sqlc =  '''
            create table if not exists jsondata(
            typeid int(11) not null auto_increment primary key,
            tagid varchar(20) not null,
            title varchar(100) not null,
            time varchar(20) not null,
            content mediumtext not null)DEFAULT CHARSET=utf8;
         '''
        #执行语句
        a = cur.execute(sqlc)
        #提交任务
        mysql.commit()
        print 'success'
        #sql,插入数据
        sqla = '''
            insert into jsondata(typeid,tagid,title,time,content)values(%s,%s,%s,%s,%s);
        '''
        #这里的data数据为列表,data[0]中存在的字典类型数据
        b = cur.execute(sqla,(data[0]['typeid'],data[0]['tagid'],data[0]['title'],data[0]['time'],data[0]['content']))
        mysql.commit()
        cur.close()
        mysql.close()
        print 'success'

运行之后,先在cmd中看看有什么变化,使用json,并且查看table

这里写图片描述

再看看表中的数据


这里写图片描述

这就是之前定义的jsondata表,可是没有看到具体插入的数据
所以接下来看看workbench


这里写图片描述
这里写图片描述

可以见到数据成功存储到MySQL中了!


print('微信公众号搜索 "猿狮的单身日常" ,Java技术升级、虫师修炼,我们 不见不散!')
print('也可以扫下方二维码哦~')
猿狮的单身日常

相关文章

网友评论

      本文标题:python将类似json的数据存储到MySQL

      本文链接:https://www.haomeiwen.com/subject/zmxhhqtx.html