Unicode可以表示世界上的每一个字符，每一个字符都有相应并且唯一的二进制编码。Unicode是一种字符集，让几乎所有语言中的每个字符都和一个唯一数字对应起来。
https://unicode-table.com/cn/4F60/
Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。也就是说世界上的任意一个字符，无论何种语言，都能在Unicode字符集中找到其对应的二进制编码。
Unicode的表现方式是U+XXXXXX，X代表一位十六进制数，可以有4-6位，不足 4 位前补 0 补足 4 位，超过则按是几位就是几位。
字符A的ASCII码是65，将65转换成16进制就是41（16×4+（16^0)×1 = 65）,按照规则前面补0，那么字符A的Unicode表示就是U+0041，依次类推B的Unicode表示就是U+0042...等等，汉字"爱"的字符表示是“U+7231”
常见的编码方式有 UTF-8 , UTF-16 , GB2312 , GBK，它们都只是一种编码方式，每种编码有自己的规则。
UTF-8是一种非常通用的可变长字符编码方式，范围由1-4个字节不等。
UTF-16通常由2字节或者4字节表示一个字符，U+000~U+FFFF的范围内用2个字节表示。
U+10000~U+10FFFF的范围内用4个字节表示。
GB2312，每个汉字及符号以两个字节来表示，兼容ASCII码，GB 2312标准共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；同时，GB 2312也收录了许多其他语音的文字及符号。它所收录的汉字已经覆盖中国大陆99.75%的使用频率，对于人名、古汉语等方面出现的罕用字，GB 2312不能处理，这导致了后来GBK及GB 18030汉字字符集的出现。
GBK 向下与 GB 2312 编码兼容，向上支持 ISO 10646.1国际标准，是前者向后者过渡过程中的一个承上启下的产物。GBK编码，是在GB2312-80标准基础上的内码扩展规范，使用了双字节编码方案，其编码范围从8140至FEFE（剔除xx7F），共23940个码位，共收录了21003个汉字，完全兼容GB2312-80标准
在JavaScript中，所有的string类型都是使用UTF-16编码的，形如 '\u00A9' 或者 '\uD87E\uDC04' ，详情参考MDN文档Lexical_grammar。
所以JS中，将字符转换成Unicode如下：
function encodeUnicode (str) {
var result = ''
for (let i = 0; i < str.length; i++) {
var char = str.charAt(i)
var res = [];
console.log('char', char)
// for循环一次是因为一个字符在JS中的length不一定为1
for (var j = 0; j < char.length; j++) {
// 前面加'00' 是因为一些字符转化为十六进制只有两位，所以要在前面补上'00'，比如说‘a’这个字符
// 'a'.charCodeAt(0).toString(16) 就是 '61'
res[j] = ("00" + char.charCodeAt(j).toString(16)).slice(-4);
}
var unicodeOfChar = "\\u" + res.join("\\u");
result += unicodeOfChar
}
return result
}
function decodeUnicode (unicodeStr) {
if (!unicodeStr) {
return;
}
// 控制循环跃迁
var len = 1;
var result = '';
// 注意，这里循环变量的变化是i=i+len 了
for (var i = 0; i < unicodeStr.length; i = i + len) {
len = 1;
var temp = unicodeStr.charAt(i);
if (temp == '\\') {
// 找到形如 \u 的字符序列
if (unicodeStr.charAt(i + 1) == 'u') {
// 提取从i+2开始(包括)的 四个字符
var unicodeUnitOfChar = unicodeStr.substr((i + 2), 4);
// 以16进制为基数解析unicode字符串，得到一个10进制的数字
result += String.fromCharCode(parseInt(unicodeUnitOfChar, 16).toString(10));
// 提取这个unicode经过了5个字符， 去掉这5次循环
len = 6;
}
else {
result += temp;
}
}
else {
result += temp;
}
}
return result;
}
var unicode = encodeUnicode('你好a')
var str = decodeUnicode(unicode)
console.log('str', str)
console.log('unicode', unicode)
encodeUnicode('我')
// "\u6211"
encodeUnicode('a')
// "\u0061"
用通信理论的思路可以理解为:
unicode是信源编码，对字符集数字化。
utf-8是信道编码，为更好的存储和传输。
一个很简单的例子：
一个用GBK编码的文件，我如果以UTF-8来解码的话，打开就会是一片乱码。
再比如：
// 代表该网页用utf-8的方式解码来显示
<meta charset='utf-8'>
当然mata也可能会失效，如图
截图02.png
html meta失效的情况
参考
Unicode中UTF-8与UTF-16编码详解
UTF-8与Unicode的区别
GB2312编码表
gb2312中的英文字母占几个字节？
漫画：什么是字符集和编码？ASCII、UTF-8、UTF-16、UTF-32 又是什么？
解决GB2312、GBK、UTF-8转换问题
Unicode和UTF编码转换
网友评论