python学习笔记，特做记录，分享给大家，希望对大家有所帮助。
字符串编码一直是令人非常头疼的问题，尤其是我们在处理一些不规范的第三方网页的时候。虽然Python提供了Unicode表示的str和bytes两种数据类型，并且可以通过encode()和decode()方法转换，但是，在不知道编码的情况下，对bytes做decode()不好做。
对于未知编码的bytes，要把它转换成str，需要先“猜测”编码。猜测的方式是先收集各种编码的特征字符，根据特征字符判断，就能有很大概率“猜对”。
当然，我们肯定不能从头自己写这个检测编码的功能，这样做费时费力。chardet这个第三方库正好就派上了用场。用它来检测编码，简单易用。
安装chardet
1. pip安装chardet
如果安装了Anaconda，chardet就已经可用了。否则，需要在命令行下通过pip安装：
pip install chardet
如果遇到Permission denied安装失败，请加上sudo重试。
2. PyCharm 偏好中安装chardet
在PyCharm软件中，选择菜单栏PyCharm --> Preferences --> Project Interpreter --> 点击左下家加号 --> 搜索chardet --> 点击左下角install package。
使用chardet
当我们拿到一个bytes时，就可以对其检测编码。用chardet检测编码，只需要一行代码：
import chardet
print chardet.detect(b'Hello, world!')
运行结果：
{'confidence': 1.0, 'language': '', 'encoding': 'ascii'}
Process finished with exit code 0
检测出的编码是ascii，注意到还有个confidence字段，表示检测的概率是1.0（即100%）。
我们来试试检测GBK编码的中文：
data = '离离原上草，一岁一枯荣'.encode('gbk')
print chardet.detect(data)
运行结果：
{'confidence': 0.7407407407407407, 'language': 'Chinese', 'encoding': 'GB2312'}
Process finished with exit code 0
如果运行报错
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 0: ordinal not in range(128)
需要加入下面代码
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
检测的编码是GB2312，注意到GBK是GB2312的超集，两者是同一种编码，检测正确的概率是74%，language字段指出的语言是'Chinese'。
对UTF-8编码进行检测：
data = '离离原上草，一岁一枯荣'.encode('utf-8')
print chardet.detect(data)
运行结果：
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}
Process finished with exit code 0
我们再试试对日文进行检测：
data = '最新の主要ニュース'.encode('euc-jp')
print chardet.detect(data)
运行结果：
{'confidence': 0.99, 'language': 'Japanese', 'encoding': 'EUC-JP'}
Process finished with exit code 0
可见，用chardet检测编码，使用简单。获取到编码后，再转换为str，就可以方便后续处理。
chardet支持检测的编码列表请参考官方文档Supported encodings。
网友评论