举例
url="*********?kind=upissue&issuenolist=2020年1期"
连接地址里面带汉字的,理论上用scrapy直接去访问是没有问题,如果有问题,那就是字符编码错了。
举个例子,如果对方网站默认字符集是utf8,那么不用看了,scrapy直接可以访问。
如果对方网站默认字符集是gbk,那就需要做点什么了。
import urllib
import string
new_url = str(url).encode('gbk')
url = urllib.parse.quote(new_url, safe=string.printable)
网友评论