转载须注明出处：简书@Pythonista_Zen
本文参考资料的列表位于 Unicode 字符编码模型_简介
为了便于理解，需先了解如下术语：
Unicode 标量值 (Scalar Value)：除开高代理码点(high-surrogate)和低代理码点(low-surrogat )之外的任何 Unicode 码点都是标量值，具体范围是 0x0 ~ 0xD7FF 和 0xE000 ~ 0x10FFFF。代理码点不能通过"编码模式"映射为"编码单元序列"，只有标量值可被映射为"编码单元序列"。(See definition D76 in Section 3.9, Unicode Encoding Forms.)
编码单元(code unit)：也称编码值(Code Value)，表示用于处理或交换编码文本的基本单元。Unicode 标准在 UTF-8 编码模式中使用 8-bit 编码单元；在 UTF-16 编码模式中使用 16-bit 编码单元；在 UTF-32 编码模式中使用 32-bit 编码单元。
Unicode 字符编码模式是指从"标量值"到"编码单元序列"的可逆映射，用于为每个标量值分别分配一个唯一的"编码单元序列"。根据"编码单元序列"的长度是否可变，可将Unicode 字符编码模式分为两类：
-
固定宽度 (fixed width) 编码模式：仅使用一个编码单元，但编码单元的位数不同。
Type Each character encoded as Notes 16-bit (UCS-2) a single 16-bit quantity within a code space of 0..FFFF 32-bit (UCS-4) a single 32-bit quantity within a code space 0..7FFFFFFF 32-bit (UTF-32) a single 32-bit quantity within a code space of 0..10FFFF -
可变宽度 (variable width) 编码模式："编码单元序列"的长度可变。如下：
Name Characters are encoded as Notes UTF-8 a mix of one to four 8-bit code units in Unicode and one to six code units in 10646 used only with Unicode/10646 UTF-16 a mix of one to two 16 bit code units used only with Unicode/10646
1. 为什么需要 CEF
既然已经有了已编码字符集，那么通过获取"已编码字符"的码点值，计算机不就可以识别目标字符了么？为什么还需要"字符编码模式"喃？因为还存在如下问题：
- 假设以固定长度存储码点，那么每个字符至少需要占用 3 个字节。对于码点值小于 0x0000FF 字符(如英文字母)，仅有最后一个字节携带有效信息，其余字节全是 0，会浪费存储空间。
- 如果以可变长度存储每个码点，则可能无法区分不同的标量值：字母 'A' 和 'B' 的码点值是 0x41 和 0x42，汉字 '䅂' 的码点值是 0x4142，那么当出现数值 0x4142 时，到底是表示 'A' 和 'B'，还是表示 '䅂' 喃？由于二进制数据中并没有明确的"边界信息"，所有并不能对二者做出区分。
- 通常计算机系统会以一个固定的 bit 长度来表示数值。假设某个系统以 8-bit 的无符号整数来存储字符信息，那么当标量值大于 0xFF 时，又该如何存储数据喃？
为了解决上述问题，便需要通过"字符编码模式"在"码点值"与"编码单元序列"间建立起映射的关系，使得每个码点仅有唯一一个对应的"编码单元"序列(解决第 2 个问题)。如果采用可变长度的"编码模式"，还可减少空间的浪费(解决第 1 个问题)。比如在 UTF-8 编码模式下：
- 字母 'A' 被映射为一个编码单元 0x41
- 字母 'B' 被映射为一个编码单元 0x42
- 汉字 '䅂' 被映射为三个代码单元，分别是 0xE4、0x85、0x82。标量值通过 UTF-8 映射为"编码单元序列"后，拥有明确的边界信息，不会与其他编码单元混淆(解决第 2 个问题)。
可以看到汉字 '䅂' 被映射为三个代码单元，每个代码单元是 8-bit，这说明我们可以在 8-bit 的系统中使用"编码单元序列"来表示标量值大于 0xFF 字符数据(解决第 3 个问题)，可变宽度 编码模式正是基于这样的思路产生的。在可变宽度编码模式中，我们可以用代码单元(8-bit 或 16-bit)构成的序列来表示任意标量值。
2. UTF
UTF (Unicode transformation format ) 是将每个标量值分别映射到一个唯一字节序列的算法，属于"Unicode 字符编码模式"的具体实现方式。UTF 包含三中模式：UTF-8、UTF-16、UTF-32，且每种 UTF 算法都是可逆算法。
2.1 UTF-8 CEF
UTF-8 编码模式 (Encoding Form)：一种 Unicode 编码模式，会为每个标量值分别分配一个唯一的无符号字节序列，该序列的长度是 1 ~ 4 字节(可变宽度)。另外，UTF-8 与 ASCII 兼容。 (See definition D92 in Section 3.9, Unicode Encoding Forms.)
下表展示了 UTF-8 中比特位编码方式：
| 标量值(2进制) | 标量值(16进制) | First Byte | Second Byte | Third Byte | Fourth Byte |
|---|---|---|---|---|---|
| 00000000 0xxxxxxx | 0x0000..0x007F | 0xxxxxxx | |||
| 00000yyy yyxxxxxx | 0x0080..0x07FF | 110yyyyy | 10xxxxxx | ||
| zzzzyyyy yyxxxxxx | 0x0800..0xFFFF | 1110zzzz | 10yyyyyy | 10xxxxxx | |
| 000uuuuu zzzzyyyy yyxxxxxx | 0x10000..0x10FFFF | 11110uuu | 10uuzzzz | 10yyyyyy | 10xxxxxx |
编码后的字节序列和标量值间的对应关系：
| 标量值 | First Byte | Byte Second | Third Byte | Fourth Byte |
|---|---|---|---|---|
| U+0000..U+007F | 00..7F | |||
| U+0080..U+07FF | C2..DF | 80..BF | ||
| U+0800..U+0FFF | E0 | A0..BF | 80..BF | |
| U+1000..U+CFFF | E1..EC | 80..BF | 80..BF | |
| U+D000..U+D7FF | ED | 80..9F | 80..BF | |
| U+E000..U+FFFF | EE..EF | 80..BF | 80..BF | |
| U+10000..U+3FFFF | F0 | 90..BF | 80..BF | 80..BF |
| U+40000..U+FFFFF | F1..F3 | 80..BF | 80..BF | 80..BF |
| U+100000..U+10FFFF | F4 | 80..8F | 80..BF | 80..BF |
2.2 UTF-16 CEF
UTF-16 编码模式 (Encoding Form)：一种 Unicode 编码模式，会为 U+0000..U+D7FF 和 U+E000..U+FFFF 中的每个标量值分别分配一个唯一的无符号 16-bit 编码单元(编码单元的值与 Unicode 标量值相等)；会为 U+10000..U+10FFFF 中的每个标量值分别分配一个唯一代理对。下表展示了 UTF-16 中比特位编码方式： (See definition D91 in Section 3.9, Unicode Encoding Forms.)
| Scalar Value | UTF-16 |
|---|---|
| xxxxxxx xxxxxxxxx | xxxxxxxx xxxxxxxx |
| 000uuuuu xxxxxxxx xxxxxxxx | 110110wwwwxxxxxx 110111xxxxxxxxxx |
2.2.1 代理对
surrogate pairs
代理对 (Surrogate Pair)：用于表示辅助平面中的标量值，由包含两个 16-bit 编码单元的序列构成。代理对中的第一个值被称作高代理(high-surrogate)编码单元，第二个值被称作低代理(low--surrogate)编码单元。(See definition D75 in Section 3.8, Surrogates.)
将标量值映射为代理对的算法大致如下：
假设辅助平面中某个标量值的十六进制值是x，显然：
x ∈ (0x1_0000~0x10_FFFF)
首先，将x的减去0x1_0000，得到y：
∴ y = x-0x1_0000 ∈ (0x00000~0xF_FFFF)
将 y 表示为二进制，并将高10位记作h，低十位记作l，可得：
y = 0bhhhh_hhhh_hhll_llll_llll
将y的高10位与高代理项的基准值0xD800相加，便可得高代理项high：
high = (y // 0x400)+0xD800
将y的低10位与低代理项的基准值0xDC00相加，便可得低代理项low：
low = (y % 0x400)+0xDC00
代理对由 high 和 low 构成了，high 表示高代理编码单元，low 表示地代理编码单元。"高代理编码单元"的值位于 0xD800 ~ 0xDBFF 之间，"低代理编码单元"的值位于 0xDC00 ~ 0xDFFF 之间。为了避免与拥有相同值的码点混淆，所以在 U+D800 ~ U+DFFF 内的码点是不能通过"编码模式"映射为"编码单元序列"的，只有标量值可被映射为"编码单元序列"。这样的设计目的是为了便于判断某个"编码单元"是否是代码对中的一部分。
用 Python 描述计算过程如下，不考虑输入错误：
def get_surrogate_pairs(char_or_code):
"""char_or_code:单个字符或码点值"""
if isinstance(char_or_code, str):
code_point = ord(char_or_code)
else:
code_point = char_or_code
code_point -= 0x10000
high_surrogate = (code_point // 0x400)+0xD800
low_surrogate = (code_point % 0x400)+0xDC00
print(hex(high_surrogate), hex(low_surrogate))
get_surrogate_pairs("𐐷")
get_surrogate_pairs("𤭢")
get_surrogate_pairs(0x10FFFF) # 输出最大码点值的代理对
输出：
0xd801 0xdc37
0xd852 0xdf62
0xdbff 0xdfff
为了便于理解，再补充几个术语：
代理码点 (Surrogate Code Point)：位于 U+D800 ~ U+DFFF 之间的 Unicode 码点属于作代理码点，保留共 UTF-16 使用。UTF-16 使用一对代理编码单元"表示"辅助码点。
高代理码点 (High-Surrogate Code Point)：位于 U+D800 ~ U+DBFF 间的 Unicode 码点属于高代理码点。(See definition D71 in Section 3.8, Surrogates.)
高代理编码单元 (High-Surrogate Code Unit)：位于 0xD800 ~ 0xDBFF 间的 16-bit 编码单元，在 UTF-16 中被用作代理对的第一个编码单元。(See definition D72 in Section 3.8, Surrogates.)
低代理码点 (Low-Surrogate Code Point)：位于 U+DC00 ~ U+DFFF 间的 Unicode 码点属于低代理码点。(See definition D73 in Section 3.8, Surrogates.)
低代理编码单元 (Low-Surrogate Code Unit)：位于 0xDC00~ 0xDFFF 间的 16-bit 编码单元，在 UTF-16 中被用作代理对的第二个编码单元。(See definition D74 in Section 3.8, Surrogates.)
2.3 UTF-32 CEF
UTF-32 编码模式 (Encoding Form)：一种 Unicode 编码模式，会为每个 Unicode 标量值分配一个唯一的无符号 32-bit 编码单元(编码单元的值与 Unicode 标量值相等)。(See definition D90 in Section 3.9, Unicode Encoding Forms.)
UTF-32 虽可编码所有 Unicode 码点，但是相比其它编码模式会占用更多的空间。
3. UCS
UCS - Universal Character Set 通用字符集，由 International Standard ISO/IEC 10646 所规定，与 Unicode 标准相同。
UCS-2 ：ISO/IEC 10646 编码模式，使用两个 8 位字节编码通用字符集，仅限于基本多语言平面，不能编码辅助平面。UCS-2 是固定宽度编码模式。tips：Notepad++ 支持 UCS-2 编码，如果在 UCS-2 编码的文件保存辅助平面中的字符，再次打开该文件时会发现辅助字符会变为另一个 BMP 字符，字符信息发生了丢失。
UCS-4 ：ISO/IEC 10646 编码模式：使用 4 个 8 位字节编码通用字符集，适用于所有平面。
4. 相关术语补充
以下内容直接翻译自 Unicode 术语表：
Unicode 编码模式 (Unicode Encoding Form)：一种字符编码模式，用于为每个 Unicode 标量值(scalar value)分别分配一个唯一的"编码单元序列"。Unicode 标准定义了三种 Unicode 编码模式：UTF-8, UTF-16, and UTF-32。(See definition D79 in Section 3.9, Unicode Encoding Forms.)
字符编码模式 (Character Encoding Form)：简称编码模式，将字符集中的定义(definition)映射到表示数据的实际编码单元。另外，Encoding Form 与 character encoding form 同义
转换格式 (Transformation Format)：从已编码字符序列到唯一编码序列的映射(typically bytes)。
代理码点 (Surrogate Code Point)：位于 U+D800 ~ U+DFFF 之间的 Unicode 码点属于作代理码点，保留共 UTF-16 使用。UTF-16 使用一对代理编码单元"表示"辅助码点。
网友评论