美文网首页spider
04requests模块在python2和python3环境下的

04requests模块在python2和python3环境下的

作者: python_spider | 来源:发表于2017-11-20 15:31 被阅读108次

    在python2环境下:

    response.text是unicode数据类型,而response.content是字符串类型

    python2环境下数据类型

    分别查看response.text和response.content的内容

    接下来分别print   response.text和response.content的内容,发现response.content可以正常显示

    ,而response.text依然是乱码,为了解决这一问题可以查看下默认的编码方式

    默认编码方式

    设置编码方式为utf-8

            r.encoding='utf-8'  #此处写成utf8也可以

    然后分别print  r.text和r.content可以看到文字部分显示正常

    在python3环境下:

    response.text是str数据类型,而response.content是bytes类型

    python3环境下数据类型

    查看r.text和r.content文字均未正确显示出来,print之后也没有正确显示,依然是默认编码的问题

    设置编码方式

    r.encoding='utf-8'

    此时查看r.text发现文字部分已经可以正确显示

    由于r.content是bytes类型,还需要解码,即通过r.content.decode()查看即可正常显示文字部分

    总结:由于我们所要抓取的网站有的进行了编码设置,有的没有设置编码方式依然是默认的ISO-8859-1编码方式,所以可以优先使用response.content,因为response.content不需要设置编码方式即可正常获取内容,只需要注意response.content在python2环境下不需要解码,在python3环境下需要解码即可。

                    另外,一般对于获取的响应内容编码的问题,可以先print,依然没有正常显示文字,可以设置编码方式为utf8或者gbk,通常能解决大部分编码的问题。


    相关文章

      网友评论

        本文标题:04requests模块在python2和python3环境下的

        本文链接:https://www.haomeiwen.com/subject/qkfvvxtx.html