Python基础之字符编码！

前言

字符编码特别容易出问题，我们应该牢记下面的几句话：

用什么编码保存的，就要用什么编码打开。

程序的执行，是先将文件读入内存中。

unicode是父编码，只能encode解码或其他编码格式

utf-8，GBK这些是子8编码，只能decode编码成unicode

一，字符编码发展历程

1.ASCII码

计算机起源于美国，字符编码也起源于美国。但是美国人民使用的文字只有26个字母，再加上些特殊符号就搞定了。不像我们中国，小学生就要认识几千个汉字。所以美国人民就使用了ASCII码（美国信息交换标准码）作为字符编码，一个Bytes代表一个字符，1Bytes=8bit,可以有2的8次方即256中不同的变化，但最初只用了前7位，即127个字符，已经足够美国人民使用了（当然也出于成本的考虑）。后来将拉丁文编入第8位，至此，ASCII码就被占满了，英语国家和拉丁国家可以愉快的玩耍了。

2.GBK

别看咱们中国暂时科技比不上美帝国，但是咱们有一颗积极向上的心啊，于是，在1980年，国家标准总局发布了中文使用的字符编码-->GBK，使用两个字节表示一个汉字，这样就有2的16次方即65536种组合，已经足够汉字使用了。

同时，其他国家也分别发布了自己国家的字符编码标准，如日本的shift_JIS,韩国的Euc-kr等等

3.Unicode

据说，字符编码鼎盛时期有数百种，且彼此间互相不支持，看来各国人民都很有骨气，但是这太不利于世界的互通了，于是Unicode应运而生。1994年，国际标准化组织发布了号称万国码的Unicode，用两个字节表示一个字符，有65536种组合，已经能把全世界绝大多数语言包括了。

4.utf-8

Unicode虽然好，但有一个问题，本来用一个字节就能表示的英文，现在要用两个字节，存储空间平白多出一倍，这显然是不完美的，所以又产生了utf-8，对英文字符只用1个字节，对中文字符用3个字节来表示。

5.Unicode所有字符都是两个字节，简单粗暴，字符转换成数字的速度快，但是占用存储空间大

utf-8对不同的字符采用不用的长度表示，节省空间，但是转换效率不如Unicode快内存中使用的字符编码是Unicode，内存就是为了加快速度的，所以宁肯牺牲一点空间，也要保证速度硬盘和网络传输是用utf-8的，因为磁盘I/O或者网络I/O延迟要远大于utf-8的转换效率，并且在网络传输中应该尽可能节省带宽

三、Python解释器执行

第一阶段：python解释器启动，此时就相当于启动了一个文本编辑器

第二阶段：python解释器作为文本编辑器，去打开t.py文件，从硬盘上将t.py的文件内容读入到内存中

第三阶段：python解释器解释执行刚刚加载到内存中t.py的代码

其中第二阶段，t.py文件在保存时有一个字符编码，在Python解释器打开文件时也要指定一样的编码方式（Python2默认的编码方式是ASCII，Python3默认是utf-8）,如果文件保存的编码格式和Python解释器默认的编码方式不一样，就要在文件的开头写上#coding: ,来告诉python解释器不要用自己默认的编码方式来读，而是要用头文件指定的方式来读文件，这样才不会出错。

第三阶段：读取已经加载到内存中的代码（默认是Unicode），然后执行，执行过程中如果碰到类似定义变量的操作，就会在内存中开辟一块新的内存空间。此时注意，新开辟的内存空间不一定也是Unicode，用户可以在定义变量的时候指定编码方式，定义时开辟的内存空间，也只是一块空间而已，可以存放任意编码格式的代码。以Python3为例

四、编码解码

保存文件是把内存中的文件保存到硬盘上 读文件是把硬盘中的文件读到内存

源码 群 960410445

Unicode是父编码，utf-8,GBK这些是子编码，如果子码想转换成其他编码，必须要先转换成父编码，再由父编码转换成其他子编码

解码就是decode，是由子码转成父码Unicode的过程

编码就是encode，是由Unicode转换成其他编码的过程

之前说过，文件读入内存中，就成了Unicode编码（当然这是默认情况，也可以根据指令更改）,从硬盘读文件的过程就是把硬盘中的utf-8解码成Unicode

文件保存时，就是由内存保存到硬盘的过程，硬盘中是utf-8的编码方式，需要由Unicode编码成utf-8

五、Python2和Python3的区别

1.Python2的默认编码方式是ASCII，打开utf-8保存的文件时会报错，应该在头文件上加#coding : utf-8

Python2中的str被识别为Bytes，所以Python2中的str是被编码后的结果，其实会默认做一件事，就是在str前面加一个u,先转换成Unicode，在encode成bytes

Python2中有两种字符串类型，str和Unicode，str可以通过在前面加个‘u'来转换成Unicode

2.python 3 的默认编码方式是utf-8，可以直接打开用utf-8保存的文件

Python3中的str被识别成Unicode

Python3中也有两种字符串类型（bytes和str），但bytes就是bytes，str是unicode

六、打印到终端

首先要知道，Windows的终端的默认编码方式是GBK

终端也是应用程序，是运行在内存中的，所以我们用print()打印的过程，是从内存中到内存中。所以对于unicode，怎么打印都不会出错，但是Python2中除了加‘u'的字符串外，其他的字符串是Bytes,此时终端中是GBK编码，而Python2中是指定的utf-8或者默认的ascii码时，在终端中打印就会出错。

这些是我目前的理解，如果我以后意识到错误或者有表述不清的地方，再来修改。唉，字符编码是个坑啊

以上这篇老生常谈Python基础之字符编码就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我！