美文网首页
python将类似json的数据存储到MySQL

python将类似json的数据存储到MySQL

作者: 不存在的一角 | 来源:发表于2018-12-09 00:57 被阅读44次

    将爬取下来的数据以类似json数据的形式存入MySQL

    由于之前对于爬取下来的数据都是存入MongoDB中,想起来还没有尝试存入MySQL,于是将一篇简单的文章爬取下来,存入MySQL试试

    这里用到的python模块是pymysql,因为MySQLdb之前已经停止维护

    首先在cmd中连接MySQL并且创建一个数据库json


    这里写图片描述 这里写图片描述

    在图形化界面workbench中可以看到


    这里写图片描述

    接下来就要在pycharm中写代码了,在pycharm中导入pymysql后即可

    #建立python与MySQL之间的连接
            mysql = pymysql.connect(host="localhost",user="root",passwd="12138",db="json",charset="utf8")
            #新建游标
            cur = mysql.cursor()
            #原生sql语句,创建一个名为jsondata的表,并在其中定义字段
            sqlc =  '''
                create table if not exists jsondata(
                typeid int(11) not null auto_increment primary key,
                tagid varchar(20) not null,
                title varchar(100) not null,
                time varchar(20) not null,
                content mediumtext not null)DEFAULT CHARSET=utf8;
             '''
            #执行语句
            a = cur.execute(sqlc)
            #提交任务
            mysql.commit()
            print 'success'
            #sql,插入数据
            sqla = '''
                insert into jsondata(typeid,tagid,title,time,content)values(%s,%s,%s,%s,%s);
            '''
            #这里的data数据为列表,data[0]中存在的字典类型数据
            b = cur.execute(sqla,(data[0]['typeid'],data[0]['tagid'],data[0]['title'],data[0]['time'],data[0]['content']))
            mysql.commit()
            cur.close()
            mysql.close()
            print 'success'
    

    运行之后,先在cmd中看看有什么变化,使用json,并且查看table

    这里写图片描述

    再看看表中的数据


    这里写图片描述

    这就是之前定义的jsondata表,可是没有看到具体插入的数据
    所以接下来看看workbench


    这里写图片描述
    这里写图片描述

    可以见到数据成功存储到MySQL中了!


    print('微信公众号搜索 "猿狮的单身日常" ,Java技术升级、虫师修炼,我们 不见不散!')
    print('也可以扫下方二维码哦~')
    
    猿狮的单身日常

    相关文章

      网友评论

          本文标题:python将类似json的数据存储到MySQL

          本文链接:https://www.haomeiwen.com/subject/zmxhhqtx.html