美文网首页工作生活
关于python爬取网页乱码问题解决方案

关于python爬取网页乱码问题解决方案

作者: kongc | 来源:发表于2019-06-29 22:58 被阅读0次

    第一种情况:

    没有声明编码格式,即没有进行  encoding = 'utf-8'  编码声明

          例如下图,在获取数据中 里中文出现乱码:

    <li><em>00:00</em><span>±±Æ½Õ½ÓëºÍ(20)</span></li>

    <li><em>00:10</em><span>±±Æ½Õ½ÓëºÍ(21)</span></li>

    <li><em>00:57</em><span>±±Æ½Õ½ÓëºÍ(22)</span></li>

    这类解决办法是:加上 encoding = 'utf-8' 即可

    s = requests.get(url)

    s.encoding = 'utf-8'

    第二种情况:

           已经进行编码声明 encoding = 'utf-8'  但还是出现中文乱码

           解决办法:检查网页编码,更正编码声明,如:encoding = 'GBK'

           出现这样的情况时,就要检查一下抓取网页页面的编码格式,网页的编码不一定是  UTF-8 格式的,也有可能是 GBK、GB2312、GB18030等格式

    s = requests.get(url)

    s.encoding = 'GBK'

    声明编码为GBK格式后,数据中的中文数据恢复正常

    <li><em>06:00</em><span>英雄出少年</span></li>

    <li><em>07:00</em><span>大仓库</span></li>

    相关文章

      网友评论

        本文标题:关于python爬取网页乱码问题解决方案

        本文链接:https://www.haomeiwen.com/subject/mhmmcctx.html