美文网首页
redis读取mongo数据库的数据 -写给自己看爬虫系列6

redis读取mongo数据库的数据 -写给自己看爬虫系列6

作者: wfishj | 来源:发表于2017-10-26 14:12 被阅读0次

    前言

    需求:要向redis存入mongodb中的数据
    思路:利用redis和pymongo模块,读取mongo的数据后用lpush写入redis中。

    脚本
    import pymongo,redis
    '''读取mongo数据'''
    def read_data(c_n,d_n):
        client =pymongo.MongoClient('localhost',27017)
        db     =client[d_n]
        collection =db[c_n]
        data = collection.find()
        return data
    
    '''写入数据到redis'''
    def write_data(val):
        a = redis.Redis()
        a.lpush('myspider3:start_urls',val)
    
        return 'ok'
    if __name__ == '__main__':
        aa =read_data(c_n='url_recheack',d_n='project_shenzhen')
        bb =[i['url'] for i in aa][:50]
        map(write_data,bb)
    

    相关文章

      网友评论

          本文标题:redis读取mongo数据库的数据 -写给自己看爬虫系列6

          本文链接:https://www.haomeiwen.com/subject/mmqkpxtx.html