前言
本文首先对Unicode与UTF-8的区别做一个解释，如果已了解，可跳过该部分。然后会分别对python2，3中的str、unicode进行讲解。有问题的地方，欢迎交流。
Unicode与UTF-8
- Unicode 是「字符集」
- UTF-8 是「编码规则」
- 字符集：为每一个「字符」分配一个唯一的 ID（学名为码位 / 码点 / Code Point）
- 编码规则：将「码位」转换为字节序列的规则（编码/解码 可以理解为 加密/解密 的过程）
广义的 Unicode 是一个标准，定义了一个字符集以及一系列的编码规则，即 Unicode 字符集和 UTF-8、UTF-16、UTF-32 等等编码……
Unicode 字符集为每一个字符分配一个码位，例如「知」的码位是 30693，记作 U+77E5（30693 的十六进制为 0x77E5）。
U+ 0000 ~ U+ 007F: 0XXXXXXX
U+ 0080 ~ U+ 07FF: 110XXXXX 10XXXXXX
U+ 0800 ~ U+ FFFF: 1110XXXX 10XXXXXX 10XXXXXX
U+10000 ~ U+1FFFF: 11110XXX 10XXXXXX 10XXXXXX 10XXXXXX
根据上表中的编码规则，之前的「知」字的码位 U+77E5 属于第三行的范围：
7 7 E 5
0111 0111 1110 0101 二进制的 77E5
--------------------------
0111 011111 100101 二进制的 77E5
1110XXXX 10XXXXXX 10XXXXXX 模版（上表第三行）
11100111 10011111 10100101 代入模版
E 7 9 F A 5
这就是将 U+77E5 按照 UTF-8 编码为字节序列 E79FA5 的过程。
python2中的str和unicode
str与unicode
Python2中：
-
str格式本质含义是“某种编码格式”，绝大多数情况下，被引号框起来的字符串，就是str，它本身存储的就是字节码（bytes）。
>>> s = "我爱我的祖国" >>> s '\xce\xd2\xb0\xae\xce\xd2\xb5\xc4\xd7\xe6\xb9\xfa'那么这个字节码是什么格式的。
如果这段代码是在解释器上输入的，那么这个s的格式就是解释器的编码格式，对于windows的cmd而言，就是gbk。
如果将段代码是保存后才执行的，比如存储为utf-8，那么在解释器载入这段程序的时候，就会将s初始化为utf-8编码。
下面是我在cmd中的尝试
>>> s = "我爱我的祖国" >>> print chardet.detect(s) {'confidence': 0.99, 'language': 'Chinese', 'encoding': 'GB2312'}在我的测试过程中，有些中文会被识别成别的编码，不是GB2312，如下识别成俄语编码，这个可能跟windows有关。
>>> s = "加油" >>> print chardet.detect(s) {'confidence': 0.7679697235616183, 'language': 'Russian', 'encoding': 'KOI8-R'} >>> s = "中国" >>> print chardet.detect(s) {'confidence': 0.7679697235616183, 'language': 'Russian', 'encoding': 'IBM855'} -
unicode类型的含义就是“用unicode编码的字符串”。unicode()是单独的，不像str()是byte类型。
>>> s = u"我爱我的祖国" >>> s u'\u6211\u7231\u6211\u7684\u7956\u56fd' >>> print type(s) <type 'unicode'> >>> print chardet.detect(s) TypeError: Expected object of type bytes or bytearray, got: <type 'unicode'>引号前面的u表示这里创建的是一个Unicode字符串
Python在进入2.0版后正式定义了了Unicode字符串这个奇怪的特性，目的就是为了处理太多种语言编码的文本。从那时开始，Python语言中的字符串类型就分为两种：一种是传统的Python字符串（各种花样编码），另一种则是新出现的Unicode。
encode与decode
下面的测试，都将在代码存储为utf-8后，再由解释器执行，也就是说str将初始化为utf-8编码
在python2中的解码（decode）、编码（encode）操作如下：
import chardet
s = "我爱我的祖国"
print type(s)
print chardet.detect(s)
u = s.decode("UTF-8")
print type(u)
s = u.encode("gbk")
print type(s)
print chardet.detect(s)
'''
<type 'str'>
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}
<type 'unicode'>
<type 'str'>
{'confidence': 0.99, 'language': 'Chinese', 'encoding': 'GB2312'}
'''
从输出可看出，s为utf-8编码的字符串，用decode()将s解码为unicode对象。
对解码后的unicode对象进行编码，用encode()将s编码为utf-8对象。
那么，再看下，下面这个情况，s作为字符串，不仅有decode()，还有encode()。
s = "我爱我的祖国"
print hasattr(s, "decode")
print hasattr(s, "encode")
'''
True
True
'''
decode()我们是已经使用过了，将某种编码的字符串解码成unicode对象。那么是否能直接将字符串改成另外一种编码呢？这就是str的encode()，为我们省去了decode()的过程。但这里也有一个坑！
s = "我爱我的祖国"
s = s.encode("gbk")
'''
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)
'''
尝试将utf-8的str直接变成gbk编码，报错了，报错信息翻译如下：
'ascii'编解码器无法解码位置0的字节0xce：序号不在范围（128）
可以看出，程序尝试用ascii码对s进行解码，之所以会使用ascii，这与系统的默认编码有关：
import sys
print sys.getdefaultencoding()
'''
ascii
'''
那么，我们将sys的默认编码设置成utf-8，就可以正常运行了
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
s = "我爱我的祖国"
print chardet.detect(s)
s = s.encode("gbk")
print chardet.detect(s)
'''
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}
{'confidence': 0.99, 'language': 'Chinese', 'encoding': 'GB2312'}
'''
其实s.encode("gbk")就相当于
s.decode(defaultencoding),encode('utf-8')
python3中的str和unicode
-
str格式的定义变更为”Unicode类型的字符串“，也就是说在默认情况下，被引号框起来的字符串，是使用Unicode编码的。也就是说unicode类型在python3中没有了，python3中的str就相当于python2中的unicode。
在python3里，str将不再是python2中的字节码，不能作为chardet.detect的参数。
import chardet s = "我爱我的祖国" print (type(s)) print (chardet.detect(s)) ''' <class 'str'> TypeError: Expected object of type bytes or bytearray, got: <class 'str'> '''str也没有了解码方法decode()
s = "我爱我的祖国" print (hasattr(s, "decode")) print (hasattr(s, "encode")) ''' False True '''python3中源码文件默认使用utf-8编码，使得以下代码是合法的
>>> 中国 = 'china' >>>print(中国) china下面这个 不知道该怎么解释，不是以unicode编码的形式输出了
>>> s = "我爱我的祖国" >>> s '我爱我的祖国' -
而“不是Unicode的某种编码格式”，比如UTF-8、GBK，这些编码方式被定义为了bytes，这里的bytes和python2中的str有很多相似的地方。
网友评论