美文网首页
解决fiddler和pycharm抓取部分网页中文乱码的问题

解决fiddler和pycharm抓取部分网页中文乱码的问题

作者: 水手0913 | 来源:发表于2016-12-15 11:00 被阅读353次

    近日在学习网页爬虫的时候发现对于某些用gbk编码的网页,post请求的参数在fiddler中显示是乱码,而用pycharm抓取用gbk编码的网页的时候也会出现乱码。现将解决办法记录一下。

    一、fiddler中的post参数乱码

    1、运行regedit打开注册表

    2、找到HKEY_CURRENT_USER\Software\Microsoft\Fiddler2

    3、右键新建,选字符串值加上HeaderEncoding然后值输入 GBK

    4、重启软件即可

    二、pycharm抓取网页乱码

    最后的response加上decode即可,示例代码如下:

    content = response.read().decode('gbk')
    

    相关文章

      网友评论

          本文标题:解决fiddler和pycharm抓取部分网页中文乱码的问题

          本文链接:https://www.haomeiwen.com/subject/yogwmttx.html