美文网首页工作生活
关于python爬取网页乱码问题解决方案

关于python爬取网页乱码问题解决方案

作者: kongc | 来源:发表于2019-06-29 22:58 被阅读0次

第一种情况:

没有声明编码格式,即没有进行  encoding = 'utf-8'  编码声明

      例如下图,在获取数据中 里中文出现乱码:

<li><em>00:00</em><span>±±Æ½Õ½ÓëºÍ(20)</span></li>

<li><em>00:10</em><span>±±Æ½Õ½ÓëºÍ(21)</span></li>

<li><em>00:57</em><span>±±Æ½Õ½ÓëºÍ(22)</span></li>

这类解决办法是:加上 encoding = 'utf-8' 即可

s = requests.get(url)

s.encoding = 'utf-8'

第二种情况:

       已经进行编码声明 encoding = 'utf-8'  但还是出现中文乱码

       解决办法:检查网页编码,更正编码声明,如:encoding = 'GBK'

       出现这样的情况时,就要检查一下抓取网页页面的编码格式,网页的编码不一定是  UTF-8 格式的,也有可能是 GBK、GB2312、GB18030等格式

s = requests.get(url)

s.encoding = 'GBK'

声明编码为GBK格式后,数据中的中文数据恢复正常

<li><em>06:00</em><span>英雄出少年</span></li>

<li><em>07:00</em><span>大仓库</span></li>

相关文章

网友评论

    本文标题:关于python爬取网页乱码问题解决方案

    本文链接:https://www.haomeiwen.com/subject/mhmmcctx.html