美文网首页
爬取数据添加数据库

爬取数据添加数据库

作者: 戒灵 | 来源:发表于2018-10-11 11:22 被阅读0次

1,判断一个值是否为空时候 记得初始化

例如:(在hashtag_list中取数据 )

hashtag_list =''

if items['hashtag_list']:

        hashtag_list =','.join([x.replace('#','')for xin items['hashtag_list']])

2,在mysql数据库中加入添加字段并更新数据:

sql = INSERT  INTO +表名(各字段)VALUES(%s,%s....)

ON DUPLICATE KEY UPDATE +更新字段=VALUES(字段变量值)

params=(各字段对应得变量值)

self.log(params)

self.db.query(sql, params)

如图:(完整)

3,db文件设置:

db db2

4.system_config.py的设置

system_config.py

相关文章

网友评论

      本文标题:爬取数据添加数据库

      本文链接:https://www.haomeiwen.com/subject/nsovaftx.html