在进行文件读写的过程中，我们不可避免地会遇到编码的问题，以下是我对各种编码集的整理，希望能为读者提供一定帮助。
一、位、字节、字符的区别：
位：bytes，是存储的最小单位；
字节：bit， 一个字节等于8位
字符：根据编码的不同，一个字符有可能等于1个、2个或者4个及以上字节
二、常见的各种编码比较：
ASCII：（American Standard Code for Information Interchange，美国信息交换标准代码）， 1967年正式发布 。美国人首先对其英文字符进行了编码，也就是最早的ASCII码，用 一个字节 的低7位来表示英文的128个字符，最高位统一为0。
ISO-8859-1： 单字节编码，向下兼容ASCII，其编码范围是0x00-0xFF，0x00-0x7F之间完全和ASCII一致，0x80-0x9F之间是控制字符，0xA0-0xFF之间是文字符号。ISO-8859-1收录的字符除ASCII收录的字符外，还包括西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号。
GB2312-80/CP936： (GuoBiao)中华人民共和国国家标准简体中文字符集，1981年发布。共收录6763个汉字，覆盖99.75%的使用频率，但对于一些罕见字还不能处理。该编码对所收汉字进行分区处理，共计94个区，每个区包含94个汉字/字符。
Unicode： 1991年公布1.0版本。在Unicode出现之前，各国之间的编码都不尽相同，西方有ASCII、ISO-8859-1等编码，中国有GB2312等编码，各国之间通信容易出现乱码的问题，所以Unicode就应运而生了，将世界上所有的字符都纳入其中，每一个字符都给予独一无二的编码。
UTF-8： （8-bit Unicode Transformation Format），1993年正式公布。是一种针对Unicode的可变长度字元编码。由于Unicode规定一个字符必须为两个字节，对于英文字符来说会增加一倍的存储空间，所以就出现了可变长的UTF-8。
GBK： (GuoBiaoKuo)汉字内码扩展规范，1995年发布。GBK 只为“技术规范指导性文件”，不属于国家标准。GBK向下完全兼容GB2312-80编码，补充了GB2312-80编码缺少的一些罕见字。
GB18030： 国家标准GB 18030-2005《信息技术 中文编码字符集》，2000年发布。向后兼容GBK，共收录汉字70244个。采用变长多字节编码，每个字可以由1个、2个或4个字节组成。
KOl8： 俄文编码
Latin1： Unicode字符集的一个子集，只能表示英文和西欧字母
Unicode到UTF8的转换规则：
Unicode UTF-8
0000 - 007F 0xxxxxxx
0080 - 07FF 110xxxxx 10xxxxxx
0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx
举例：已知“严”的Unicode是4E25（0100-1110-0010-0101），根据上表，可以发现4E25处在第三段的范围内（0800 < 4E25 < FFFF），因此“严”字用UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。然后，从“严”的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了“严”的UTF-8编码是“11100100-10111000- 10100101”，转换成十六进制就是E4B8A5。
三、英文和中文在不同字符集编码下的字节数
| 编码集 | 英文字母 | 中文汉字 |
|---|---|---|
| ASCII | 1字节 | 无法表示 |
| ISO-8859-1 | 1字节 | 1字节 |
| GB2312-80/CP936 | 1字节 | 2字节 |
| GBK | 1字节 | 2字节 |
| GB18030 | 1字节 | 2字节 |
| Unicode | 2字节 | 2字节 |
| UTF-8 | 1字节 | 既有3字节也有4字节 |
| UTF-16 | 4字节 | 4字节 |
四、编码示例：
站长工具： http://tool.chinaz.com/tools/unicode.aspx
严 -> \u4e25 # 中文转unicode， \u 代表 unicode
严 -> 严 # 站长工具 “中文转utf-8”。但这其实不是utf-8 编码，只是html的转义序列。
严 -> b'\xe4\xb8\xa5' # 中文转utf-8, 用Python encode 转的，这才是真正的 utf-8 编码
严 -> %e4%b8%a5 # urlencode（‘utf-8'） 编码，将 \x 换成 %
&#x解释： https://www.jianshu.com/p/6dcefb2a59b2
参考教程
维基百科
英文字母和中文汉字在不同字符集编码下的字节数
UTF-8编码与Unicode编码转换
utf-8是否包含所有gbk的字符？
字符编码详解及由来(UNICODE,UTF-8,GBK)
网友评论