看了很多文章都无法解决新版3.72爬虫使用LXML抓取中文网页乱码的问题。我结合我自己的一些粗浅的经验谈谈，以及很便捷的解决方法，亲测可用。
一、产生原因
python自带的是的编码是utf-8，而一些中文网站使用的是GBK或者GBK2312，两个编码不兼容。
二、一般的代码
以下的代码会产生乱码，原因就是网址中中文字符采用的是GBK2312的编码。
```
import requests
from lxml import html
etree=html.etree
url='https://www.51test.net/show/9218752.html' #需要爬的网址
page=requests.Session().get(url)
tree=html.fromstring(page.text)#有篇文章说，把text换成conten,确实能，但不能完全显示
result=tree.xpath('//div//p//text()') #需要获取的数据
result2=tree.xpath('//div[@class="content-txt"]//tr[last()]//a/@href')
#print(result)
with open('C:/Users/Administrator/Desktop/新建文本文档.txt','w',encoding="gbk") as f:#使用with open()新建对象f
for i in result:
print(i)
f.write(i+'\n')#写入数据
```
新代码，我只改动了下面的加粗部分。
```
import requests
from lxml import html
etree=html.etree
url='https://www.51test.net/show/9218752.html' #需要爬的网址
page=requests.Session().get(url)
tree=html.fromstring(page.content.decode('gbk'))#不是utf-8，如何转码，把（page.text）改为(page.content.decode('gbk'))
result=tree.xpath('//div//p//text()') #需要获取的数据
result2=tree.xpath('//div[@class="content-txt"]//tr[last()]//a/@href')
#print(result)
with open('C:/Users/Administrator/Desktop/新建文本文档.txt','w',encoding="gbk") as f:#使用with open()新建对象f
for i in result:
print(i)
f.write(i+'\n')#写入数据
```
注意，注意，注意：虽然编码为GBK2312，但是实测只需要decode('gbk')就行了，改成GBK2312，反而出问题，不知道是我大小写的问题还是什么问题，反正如果不行的化就改为gbk吧。
三、感想体会
3.72版本没有了etree，改为了tree，我就觉得要适应，这种写法也完全能适应。爬虫使用requests和lxml两个模块基本可以满足应用了。
接下来，我将一个人奋斗，不买书，就是啃代码，写感受，我想到哪，写到哪，有兴趣的小白可以和我一起努力。
网友评论