一. 什么是编码

将明文转换为计算机可以识别的的编码文本称为“编码”， 反之从计算机可识别的编码文本转回明文为“解码”

1. ASCII

计算机上的数据都是以二进制的形式存储的，1个字节（8比特）可以表示256种状态，英文只有26个字符，再加上一些特殊字符，使用128个就够了，计算机就可以使用127个不同字节来存储英语文字，这就是ASCII编码

最开始的时候8位中的最高位是没有用到的，后来为了表示拉丁文，将最高位用上形成扩展ASCII编码，一个字节就用满了。

2. GB2312

计算机进入中国后，无法显示中文，一个自己已经被占满了，我国重新制定了一个编码表，将扩展的第八位对应的拉丁文全部删掉，规定一个小于127的字符与原来的意义相同，当两个大于127的字符链接在一起的时候，就表示一个汉字，前面一个字节为高字节（0xA1-0xF7），后面一个字节为低字节(0xA1-0xFE)，这样可以表示7000多个汉字，这种编码叫做GB2312。GB2312是对ASCII的中文扩展

3. GBK和GB18030

由于汉字的数量太大，GB2312不能满足需求，后来规定只要第一个字节大于127就固定表示一个汉字，不管后面的是不是扩展字符集里面的内容，扩展后的编码成为GBK, GBK包括了GB2312的所有内容，同时增加了近20000个新的汉字（包括繁体）和符号

4. Unicode

在Unicode出现之前，每个国家都搞自己的编码，彼此之间互不支持，带来很多麻烦，国际标标准组织提出来一个统一的编码标准：Unicode

Unicode用两个字符来表示一个字符，可以提供65535种字符，足够覆盖世界上的所有符号

5. utf-8

Unicode的出现，提供了统一的标准，但对于英文世界的国家来说，一个字节完全够用，如果使用Unicode会浪费大量空间，为了解决这个问题提出了utf-8，一种针对Unicode的可变长度字符编码，可以使用1-4个字节表示一个符号，根据不同的符号变化字节长度，当字符在ASCII编码范围时，用一个字节表示，兼用ASCII。

使用这样的编码的好处是，虽然内存汇总的数据都是Unicode，但当数据保存到磁盘或者用于网络传输时，使用utf-8会节省更多的流量和硬盘空间。

Unicode和utf-8的关系：Unicode是内存编码表示方案（规范），而utf-8是如何保存和传输Unicode的方案（实现）

二. Python2 中的sting编码

在Python2中，有两种字符串类型:str类型和Unicode类型。这两个类型只是Python定义的两个名字，关键还要看这两种数据类型在内存中的存储方式是什么。

>>> s1 = '中'
>>> print type(s1)
<type 'str'>
>>> print repr(s1)
'\xd6\xd0'

>>> s2 = u'中'
>>> print type(s2)
<type 'unicode'>
>>> print repr(s2)
u'\u4e2d'

由此可以看出str和Unicode分别存储的是字节数据和Unicode数据.那么这两种数据之间的关系是什么样的？

>>> s1 = u'中'
>>> print repr(s1)
u'\u4e2d'
>>> 
>>> b = s1.encode('utf-8')
>>> print b
中
>>> print type(b)
<type 'str'>
>>> print repr(b)
'\xe4\xb8\xad'
>>> 
>>> s2 = '中国'
>>> u = s2.decode('utf-8')  
>>> print u
中国
>>> print type(u)
<type 'unicode'>
>>> print repr(u)
u'\u4e2d\u56fd'

s2的“中国”在Windows系统中需要使用gbk来解码， 无论utf-8还是gbk都只是一种编码编码规则，一种把Unicode数据编码成字节数据的规则。所以utf-8编码的字节一定要utf-8解码，否则乱码或者报错。

# -*-coding:utf-8-*-

print '中国'  # 中国
print repr('中国')    # '\xe4\xb8\xad\xe5\x9b\xbd'

print (u'hello' + 'world')  # helloworld

print (u'中国' + '人民') #UnicodeDecodeError: 
                        #'ascii' codec can't decode byte 0xe4
                        #in position 0: ordinal not in range(128)

Python 2 悄悄掩盖掉了 byte 到 unicode 的转换，只要数据全部是 ASCII 的话，所有的转换都是正确的，一旦一个非 ASCII 字符偷偷进入你的程序，那么默认的解码将会失效，从而造成 UnicodeDecodeError 的错误。py2编码让程序在处理 ASCII 的时候更加简单。付出的代价就是在处理非 ASCII 的时候将会失败。

三. Python3中的string编码

python3 renamed the unicode type to str ,the old str type has been replaced by bytes.
** py3也有两种数据类型：str和bytes； str类型存unicode数据，bytse类型存bytes数据，与py2比只是换了一下名字而已。**
python3中将utf-8或者gbk等编码的字节数据转为Python3中的str类型， utf-8编码的bytes <---> str
python2中将 utf-8或者gbk等编码的str编解码为Python2中的Unicode， utf-8编码的str <---> unicode

Python3中的编码思想

Python 3清晰地将文本和二进制数据区分开了，不会对bytes字节串进行自动解码。文本总是Unicode，由str类型表示，二进制数据则由bytes类型表示。Python 3不会以任意隐式的方式混用str和bytes，将两者明确地区分开。基于此，Python3中不能拼接字符串和字节包，也不可以在字节包里搜索字符串（反之亦然），也不能向使用字符串参数的函数中传入字节包参数（反之亦然）。

四. 文件存储读取过程中的编码问题

对于文本编辑器word等软件，当我们在这些软件上编辑文字的时候，无论是什么语言的文字或符号，计算机都是无法识别的。
那么在保存之前数据是通过什么形式存在内存的呢？
是unicode数据，为什么要存unicode数据，这是因为无论世界上的任何字符它都有唯一编码对应，兼容性是最好的。
当我们保存了存到磁盘上的数据又是什么呢？
是通过某种编码方式编码的bytes字节串。比如utf8-－－一种可变长编码，很好的节省了空间；还可以是gbk等编码方式。
在我们的文本编辑器软件都有默认的保存文件的编码方式，比如utf-8，gbk等。当我们保存的时候，这些编辑软件已经"默默地"做了编码工作。
那当我们再打开这个文件时，软件又默默地给我们做了解码的工作，将数据再解码成unicode,然后就可以呈现明文给用户了！
所以，unicode是离用户更近的数据，bytes是离计算机更近的数据。

编码与程序运行的关系

编写Python代码一般会用到sublime，pycharm，vim等软件。而代码文件的创建、保存、执行等过程就伴随着编解码流程。下面以pycharm为例介绍这一过程。
使用pycharm创建hello.py文件，当我们保存的的时候，hello.py文件就以pycharm默认的编码方式保存到了磁盘；关闭文件后再打开，pycharm就再以默认的编码方式对该文件打开后读到的内容进行解码，转成unicode到内存我们就看到了我们的明文；
而如果我们点击运行按钮或者在命令行运行该文件时，Python解释器这个软件就会被调用，打开文件，然后将存储在磁盘上的bytes数据解码成unicode数据，这个过程和编辑器是一样的，不同的是解释器会再将这些unicode数据翻译成C代码再转成二进制的数据流，最后通过控制操作系统调用cpu来执行这些二进制数据，整个过程才算结束。
py2默认ASCII码，py3默认的utf8，可以通过如下方式查询

import sys
print(sys.getdefaultencoding())

使用Python2需要在编码文件头加一行#-*-coding:utf-8-*-，是因为如果py2解释器去执行一个utf8编码的文件，就会以默认地ASCII去解码utf8，一旦程序中有中文，自然就解码错误了，所以我们在文件开头位置声明一下告诉解释器不要以默认的编码方式去解码这个文件，而是以utf8来解码。
而Python3的解释器因为默认utf8编码，不存在这样的问题。