美文网首页
用python写爬虫--4.1存入sqlite3

用python写爬虫--4.1存入sqlite3

作者: ddm2014 | 来源:发表于2018-04-02 17:29 被阅读0次

    sqlite如其名,lite比较小,方便。
    还是什么值得买,这次把爬取下来的信息存入sqlite3里面
    还是分为3步
    1.连接数据库
    2.存入数据
    3.关闭数据库

    import sqlite3 as lite
    def sqlite():
        con = lite.connect('smzdm.sqlite')
        cur = con.cursor()
        cur.execute('CREATE TABLE IF NOT EXISTS zdm (id INTEGER PRIMARY KEY AUTOINCREMENT ,title varchar(50),href varchar(50),price varchar(50))')
        sql = "insert into zdm(title,href,price) values(?,?,?)"
        url = 'https://faxian.smzdm.com/'
        head = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
        }
        re = requests.get(url, headers=head)
        file = pq(re.text)
        for item in file('.feed-block-ver').items():
            hr = item('a').attr('href')
            title = item('.feed-ver-title').text()
            price = item('.z-ellipsis').text()
            cur.execute(sql, [title, hr, price])
        con.commit()
        con.close()
    
    

    1.连接数据库
    con = lite.connect('smzdm.sqlite')
    smzdm.sqlite是数据库smzdm,有就连接,没有就创建
    下面两句是建立游标和创建表
    2.插入信息,实际是这句cur.execute(sql, [title, hr, price])
    sql是一句sqlite的插入句式,
    sql = "insert into zdm(title,href,price) values(?,?,?)"
    zdm-表名,后跟列名,values有几列就插入几个问号
    之后是插入的信息列表,要求是list
    3.关闭连接,先提交再关闭

    相关文章

      网友评论

          本文标题:用python写爬虫--4.1存入sqlite3

          本文链接:https://www.haomeiwen.com/subject/uydxhftx.html