美文网首页
Python \u转码,以及Scray中文转码问题

Python \u转码,以及Scray中文转码问题

作者: 很长很长的名字 | 来源:发表于2016-08-03 16:34 被阅读0次

    最近在研究python的scray框架

    尝试去爬各种东西

    然后出现一坨坨类似乱码的东西

    然后进行各种尝试


    趴下了得到的是unicode编码,要进行unicode转义

    ------------------------------------------

    Scray框架的编码问题解决方法是

    pilelines.py文件

    # -*- coding: utf-8 -*-
    import json
    import codecs

    # Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html


    class QiubaiPipeline(object):
    def __init__(self):
    self.file = codecs.open('qiubai.json','w',encoding='utf-8') #这里面读入json

    def process_item(self, item, spider):
    line = json.dumps(dict(item))
    self.file.write(line.decode('unicode-escape')) #这里解码
    return item

    def spider_closed(self, spider):
    self.file.close()

    settings.py文件

    ITEM_PIPELINES = {
    'qiubai.pipelines.QiubaiPipeline': 500,
    }

    然后你就可以看见美丽的中文了


    相关文章

      网友评论

          本文标题:Python \u转码,以及Scray中文转码问题

          本文链接:https://www.haomeiwen.com/subject/yekajttx.html