python2编码问题

由于工作的需要，用了很久的python3又转回来用Python2，所以编码问题又摆在了面前。
先看一下python2 和python3字符类型的差别，python2中的str等于python3中的bytes，python2中的unicode等于python3中的str：

python2	type	python3	type
b'abc','abc'	str	b'abc'	bytes
u'abc'	unicode	u'abc','abc'	str

python2中str 和unicode类型转换

• decode是从str转换到unicode，这时，必须要知道str的编码方式，按编码方式去解码；

# 单独打印出每个汉字
# 需要先解码成unicode再按下标进行打印
import chardet
s = '我有一头小毛驴'
encoding = chardet.detect(s)['encoding ']
print s.decode(encoding)[0]  # 我
print s.decode(encoding)[1]  # 有

• encode是从unicode转换到str，需要指定编码方式；

u = u"我有一头小毛驴"
print u[0]  # 我
print u[1]  # 有
u.encode("gbk")

python2读取文本

# 假如txtname是gbk编码
import codecs
with codecs.open(txtname, "r", "gbk") as fr:
    for line in fr:
        print line  # line是unicode类型

# 假如txtname是utf-8编码，读取时可以指定编码方式，也可以不指定，但是不指定编码方式的话，需要单独取某个汉字的时候还是需要把str decode成unicode。
import codecs
with codecs.open(txtname, "r", "utf-8") as fr:
    for line in fr:
        print line  # line是unicode类型
with open(txtname, "r") as fr:
    for line in fr:
        print line  # line是str类型

所以建议文本使用的是什么编码格式，就采取什么编码格式进行读取，这样读取出来的一律都是unicode。

Python2写入文本

• 指定编码方式写入文本
  write()的参数形式上必须是unicode类型，其实写入文本的还是str类型，写入文本之前，codecs模块帮我们把unicode字符串编码为str类型字符串。

# coding:utf-8
#  gbk编码
with codecs.open("test.txt", "w", "gbk") as fw: 
    fw.write(u"我有一头小毛驴")
# utf-8编码
with codecs.open("test1.txt", "w", "utf-8") as fw:
    fw.write(u"我有一头小毛驴")

• 不指定编码方式写入文本
  write()的参数是str类型

# coding:utf-8
# utf-8编码
with open("test2.txt", "w") as fw:
    fw.write("我有一头小毛驴")
# ------------------------------------------
# gbk编码
with open("test3.txt", "w") as fw:
    fw.write("abc")
# ------------------------------------------
# utf-8编码
with open("test4.txt", "w") as fw:
    fw.write("abc我有一头小毛驴")

上面第二块代码，得到的文本test3.txt 用编辑器检查编码方式，会发现它与上下两块代码得到的文件编码方式不一致，它是GBK编码，对这个现象深感不解，经大神指点过后才明白，原来，编辑器去检查文件编码的时候都是靠猜的，哪个编码方式的概率最高就显示是哪个编码方式，可以验证，如果把test3.txt另存为utf-8-无BOM的方式，再次打开test3.txt还是会显示GBK编码。

Python3读写文本

• python3写入文本就简单容易多了，不管带不带codecs指定编码方式，write只接收str类型参数（等价于python2中的unicode），写入文本时，python3会有一个隐形的任务，就是把str编码为二进制。
• python3读入文本时，也有一个隐形的任务，就是把二进制解码为str，解码方式为系统默认的方式或指定方式或脚本开头指定的编码方式。