美文网首页
url中带中文转义才能访问

url中带中文转义才能访问

作者: 黑色汪汪汪 | 来源:发表于2020-02-12 16:29 被阅读0次

    举例

    url="*********?kind=upissue&issuenolist=2020年1期"
    连接地址里面带汉字的,理论上用scrapy直接去访问是没有问题,如果有问题,那就是字符编码错了。

    举个例子,如果对方网站默认字符集是utf8,那么不用看了,scrapy直接可以访问。

    如果对方网站默认字符集是gbk,那就需要做点什么了。

    import urllib
    import string
    new_url = str(url).encode('gbk')
    url = urllib.parse.quote(new_url, safe=string.printable)
    

    相关文章

      网友评论

          本文标题:url中带中文转义才能访问

          本文链接:https://www.haomeiwen.com/subject/gsjcfhtx.html