都说Python人不把文字编码这块从头到尾、从古至今全研究通透的话是完全玩不转的。我终于深刻的理解到了。通宵了好几夜,各种试验,print、print再print,中文还是既得不到也输不出。
看了网上几乎所有主要的相关文章,还是没搞定。沉静下来开始反思:是他们写的不好,还是我理解的不好?所以我决定,再加深程度,一步一个脚印地研究这个问题,不忽略任何一个小细节的理解。先从字符串在Python中最基本的原理理解起。
首先说明一下,我的开发环境是:
python --version : 2.7
OS: Windows 7 (32bit)
IDE: Sublime3, IDLE, Windows cmd命令行
Python 字符串的存储
先看一段代码,这是在IDLE命令行中几个简单的交互:
>>> 'hello'
'hello'
>>> print 'hello'
hello
>>> '你好'
'\xc4\xe3\xba\xc3'
>>> print '你好'
你好
(都知道在python的命令行里,直接输入一个变量会显示它的值,直接输入一个复杂对象会给你显示它的对象类型和内存地址)
从上面可以看出,变量时英文的话不管直接输入还是print结果都一样。可是为什么直接输入变量
和print变量
会显示不一样的东西呢?
原来,python 2系是绝对英文友好
的。中文对于它来说,只存储为一串编码而不是原文。
\xc4\xe3\xba\xc3
这种东西对于中国python人来说是再熟悉不过的东西了,没事就蹦出来几次。最逗的是,我查了半天,\x$$
这种东西到底是什么编码,是utf-8还是gb2312?竟然没找到什么明确的说法,这个一会儿再说了。
话说回来,为什么'你好'
和print '你好'
结果会不一样呢?
在查看print
官方文档时发现,在python里面print是一个非常厉害的小家伙:它能把几乎任何常见类型的对象打印成一串文字,甚至包括列表、字典、元组等等。这在别的语言里是不可理解的,所以给从其他语言转过来的人埋了个大坑。
总结:Python中出现的任何中文,虽然我们在编辑器里看到的是中文,但是背地里全是一串编码。千万不要轻易信任print!print xx
给你显示出来的,其实并不是xx的真实面貌!
至于这个编码是什么格式,unicode还是utf-8之类,一会再说。
Python中的str()
和repr()
原生函数
好多人都知道str()能把123数字转成字符串,python里的str()甚至还能把列表、字典等对象转成字符串。这都好理解,可是一旦把str()
和repr()
放在一起,大家就全都不淡定了-_-!
来看一段代码,仍是在IDLE里交互:
>>> str('hello')
'hello'
>>> repr('hello')
"'hello'"
>>> str('你好')
'\xc4\xe3\xba\xc3'
>>> repr('你好')
"'\\xc4\\xe3\\xba\\xc3'"
先看前两句:英文的'hello'在str()后仍是'hello',可是在repr()后就变成了"'hello'"。这就说明,str()返回的就是字符串本身,而repr()虽然返回的也是字符串,但它是一个标准字符串
,官方解释比较绕,我来解释下吧。repr
是representation及描述的意思,不是对人的描述,而是对python机器的描述,也就是它会将某物返回一个它在python中的描述
。说人话:repr(obj)
告诉我们obj这个变量在背地里是什么样子,在背地里是怎么被python处理被python"玩弄"的。
在python里,我们总会被眼睛欺骗。编辑器里显示的东西,并不总是它原本的面貌。python为了方便,总是表面上一套,背地里又一套。
再来理解后两句:中文的'你好'在str()后变成了编码'\xc4\xe3\xba\xc3',在repr()后变成了"'\xc4\xe3\xba\xc3'"。\
都加上了转移符变成\\
,相当于把字符串中的内容都“标准化”了。至于'
变成"
只是为了说明repr()返回的是一个经过处理的新字符串。
print后的str()和repr()
来看代码:
>>> print str('你好')
你好
>>> print repr('你好')
'\xc4\xe3\xba\xc3'
之前str('你好')显示的是'\xc4\xe3\xba\xc3'
,而一经过print,就变成了正确的'你好'。上面说过了,命令行里直接输入一个变量,显示的是它在python后台存储的数据;而用print出来的东西,会显出出尽量友好、让人能看懂的东西。
理解了这个,对print这两个结果的不同,也就全然理解了。然后也就放弃print作为考据的心了。
另外,以上代码的交互,再windows系统cmd中,结果是一样的。
网友评论