最近在研究python的scray框架
尝试去爬各种东西
然后出现一坨坨类似乱码的东西
然后进行各种尝试
趴下了得到的是unicode编码,要进行unicode转义
------------------------------------------
Scray框架的编码问题解决方法是
pilelines.py文件
# -*- coding: utf-8 -*-
import json
import codecs
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
class QiubaiPipeline(object):
def __init__(self):
self.file = codecs.open('qiubai.json','w',encoding='utf-8') #这里面读入json
def process_item(self, item, spider):
line = json.dumps(dict(item))
self.file.write(line.decode('unicode-escape')) #这里解码
return item
def spider_closed(self, spider):
self.file.close()
settings.py文件
ITEM_PIPELINES = {
'qiubai.pipelines.QiubaiPipeline': 500,
}
然后你就可以看见美丽的中文了
网友评论