将爬取下来的数据以类似json数据的形式存入MySQL
由于之前对于爬取下来的数据都是存入MongoDB中,想起来还没有尝试存入MySQL,于是将一篇简单的文章爬取下来,存入MySQL试试
这里用到的python模块是pymysql,因为MySQLdb之前已经停止维护
首先在cmd中连接MySQL并且创建一个数据库json
这里写图片描述 这里写图片描述
在图形化界面workbench中可以看到
这里写图片描述
接下来就要在pycharm中写代码了,在pycharm中导入pymysql后即可
#建立python与MySQL之间的连接
mysql = pymysql.connect(host="localhost",user="root",passwd="12138",db="json",charset="utf8")
#新建游标
cur = mysql.cursor()
#原生sql语句,创建一个名为jsondata的表,并在其中定义字段
sqlc = '''
create table if not exists jsondata(
typeid int(11) not null auto_increment primary key,
tagid varchar(20) not null,
title varchar(100) not null,
time varchar(20) not null,
content mediumtext not null)DEFAULT CHARSET=utf8;
'''
#执行语句
a = cur.execute(sqlc)
#提交任务
mysql.commit()
print 'success'
#sql,插入数据
sqla = '''
insert into jsondata(typeid,tagid,title,time,content)values(%s,%s,%s,%s,%s);
'''
#这里的data数据为列表,data[0]中存在的字典类型数据
b = cur.execute(sqla,(data[0]['typeid'],data[0]['tagid'],data[0]['title'],data[0]['time'],data[0]['content']))
mysql.commit()
cur.close()
mysql.close()
print 'success'
运行之后,先在cmd中看看有什么变化,使用json,并且查看table
这里写图片描述再看看表中的数据
这里写图片描述
这就是之前定义的jsondata表,可是没有看到具体插入的数据
所以接下来看看workbench
这里写图片描述
这里写图片描述
可以见到数据成功存储到MySQL中了!
print('微信公众号搜索 "猿狮的单身日常" ,Java技术升级、虫师修炼,我们 不见不散!')
print('也可以扫下方二维码哦~')
猿狮的单身日常
网友评论