美文网首页Error & Warning
使用requests爬取数据中文编码问题

使用requests爬取数据中文编码问题

作者: Manfestain | 来源:发表于2018-06-14 10:45 被阅读0次

最近参加一个比赛,由于数据集较少,需要自己手动爬取一些数据。首先发现原网页是局部刷新页面的,通过分析,拿到了请求json字符串的url,将url直接复制在浏览器中,可以拿到json字符串,接下来码代码爬取数据,主要代码如下:

response = requests.get(url)
        if response.status_code == 200:
            content = response.text

发现拿到的数据中中文全部变成了\u***之类的数据,首先想到的可能是编码问题,然后去网上搜,试了好多种办法,还是无法解决。
手动将输出的字符赋值为字符串,然后输出,发现竟然是中文

a = "\u5e73\u624b"
print(a)
print(type(a))
输出:

于是就怀疑可能是数据本身有问题,再次查看原网页数据:



发现原始数据中中文确实是编码,当变为json数据时问题就解决了:

于是修改源代码:

response = requests.get(url)
        if response.status_code == 200:
            content = response.json()

相关文章

网友评论

    本文标题:使用requests爬取数据中文编码问题

    本文链接:https://www.haomeiwen.com/subject/snbeeftx.html