从scrapy-redis导出数据

import redis 
import pymongo 
import json

def process_item(): 
  # 创建redis数据库连接 
  rediscli = redis.Redis(host = “127.0.0.1”, port = 6379, db = “0”)

  # 创建MongoDB数据库连接
  mongocli = pymongo.MongoClient(host = "127.0.0.1", port = 27017)

  # 创建mongodb数据库名称
  dbname = mongocli["数据库"]
  # 创建mongodb数据库的表名称
  sheetname = dbname["表名"]
  offset = 0

  while True:
      # redis 数据表名 和 数据
      source, data = rediscli.blpop("表名：表名")
      offset += 1
      # 将json对象转换为Python对象
      data = json.loads(data)
      # 将数据插入到sheetname表里
      sheetname.insert(data)
      print offset

if name == “main“: 
  process_item()