美文网首页
utf-8编码的汉字

utf-8编码的汉字

作者: 凉夜lrs | 来源:发表于2021-01-20 09:37 被阅读0次

    lua自带的string库计算字符串长度是以字节来算的,所以一个中文字一般会占用3个字节(UTF8)。那么,如何让读取中文字符长度呢?

    UTF8的编码规则:

    1. 字符的第一个字节范围: 0x00—0x7F(0-127),或者 0xC2—0xF4(194-244);UTF8 是兼容 ascii 的,所以 0~127 就和 ascii 完全一致。
    2. 0xC0, 0xC1,0xF5—0xFF(192, 193 和 245-255)不会出现在UTF8编码中 。
    3. 0x80—0xBF(128-191)只会出现在第二个及随后的编码中(针对多字节编码,如汉字)

    这样我们可以利用lua强大的模式匹配,来实现我们要的效果,关键的处理有这么两个:

    1. local _, count = string.gsub(str, "[^\128-\193]", ""),用来得到str中的字符数 。
    2. for uchar in string.gfind(str, "[%z\1-\127\194-\244][\128-\191]*") do tab[#tab+1] = uchar end,用来把str中的每个字符映射到tab中。

    相关文章

      网友评论

          本文标题:utf-8编码的汉字

          本文链接:https://www.haomeiwen.com/subject/wpoqzktx.html