对编码问题一直一知半解，之前也是得过且过，正好有个同事要我写个脚本，借这个契机研究了一下
简单说一下Python3中编码:
3.x去掉了 unicode类型 和 unicode()函数，区分出str类型和bytes类型。顺理成章地，str不再同时有encode和decode方法，str只有encode，bytes只有decode，Python3是将str以unicode方式存储，"All text is Unicode"。只有在需要二进制流的情况下，才会用到bytes类型，其余时候无脑用字符串即可。
py2因为没做到这一点，所以需要我们写代码时注意手动按照这个原则。
重点，重点，重点，贴一下py2中处理编码的原则（摘自末尾附录第3篇），如果理解了为什么有这几个原则说明差不多理解了py2的编码：
·所有 text string 都应该是 unicode 类型，而不是 str，如果你在操作 text，而类型却是 str，那就是在制造 bug。
·在需要转换的时候，显式转换。从字节解码成文本，用 var.decode(encoding)，从文本编码成字节，用 var.encode(encoding)。
·从外部读取数据时，默认它是字节，然后 decode 成需要的文本；同样的，当需要向外部发送文本时，encode 成字节再发送。
正文，上代码，部分说明见注释：
#-*- coding:utf-8 -*-
'''
Description :
递归遍历目录下所有文件(排除目录)，并逐行写入到指定文件中。
可以分别用py2或py3来执行，结果相同。
可以不带参数，或者 python xxxx <path> <writepath>
'''
'''
一些说明：
Python2: str -> (decode) -> unicode -> (encode) -> str
Python3: bytes -> (decode) -> str(unicode) -> (encode) -> bytes
官方文档表示，3.0后： 'All text is Unicode; however encoded Unicode is represented as binary data.
The type used to hold text is str, the type used to hold data is bytes'
'''
import sys
import os
try:
PATH = sys.argv[1]
except IndexError:
# 在这里写一个你能找到的名字最乱，里面文件名最杂的文件夹
PATH = r'./' # raw string, 表示不进行转义, 如果复制一个带反斜杠后面带数字或字母的路径, 不加上这个r就会出错
try:
WRITE_PATH = sys.argv[2]
except IndexError:
WRITE_PATH = 'abc' # 指定要写入的文件名
PY2 = sys.version.startswith('2')
if PY2:
# 方式一: 不理解编码的人经常用这个当做万能药，这个确实也有用，但严重不推荐使用，见第3篇
# import sys
# reload(sys)
# sys.setdefaultencoding('utf8')
# PATH = PATH.decode() # 即使用了万能药这句也是要的
# 方式二: 记住原则，在python内处理文本字符串，永远保证是unicode类型，关于'ignore'参数见第4篇
PATH = PATH.decode('utf8', 'ignore')
def getf(path):
l = []
res = os.listdir(path)
for each in res:
subpath = os.path.join(path, each)
if os.path.isdir(subpath):
l.extend(getf(subpath))
else:
l.append(each)
return l
res = getf(PATH)
if PY2:
# Python2, 由于py2中概念的模糊, 可以直接用'w'打开去写, 效果与'wb'方式打开相同
# 不过不编码成utf8的话是会抛UnicodeDecodeError的。检查 "%s\n" % each 的类型可以看到是unicode，说明py2内部处理过程中也一直是unicode
with open(WRITE_PATH, 'w') as f:
for each in res:
f.write(("%s\n" % each).encode('utf8'))
else:
# Python3, 可以用w打开然后不编码直接写string(即unicode)，不过那样结果很明显：非英文各种乱码。
# 而编了码就转为了bytes类型，所以Python3想正确实现就必须用二进制方式打开 （wb）
# 如果打开方式和写入类型不对应，会抛TypeError
with open(WRITE_PATH, 'wb') as f:
for each in res:
f.write(("%s\n" % each).encode('utf8'))
总结下代码，首先可以看到py3是没毛病的，对编码的操作概念清晰，没有任何困扰。
py2这块确实有硬伤，虽然很多时候也无所谓，但在要严谨或者专门处理编码的代码中，一定要记住开头贴的原则。
关于setdefaultencoding，除非实在不重要的场景，又需要临时简单解决，可以凑合一下，普通场景不建议用.
原因在结尾第3篇有详细解释。另附官方文档的说明如下：
set the current default string encoding used by the Unicode implementation. If name does not match any available encoding, LookupError is raised. This function is only intended to be used by the site module implementation and, where needed, by sitecustomize. Once used by the site module, it is removed from the sys module’s namespace.
关于代码中这一句：PATH = PATH.decode('utf8', 'ignore')，可以自己尝试不指定解码类型，或者指定'ascii'，'gbk'之类。能否正确解码取决于 'PATH' 这个路径字符串的具体情况，比如，如果是用参数传进来的就和系统有关，比如在windows命令行下用python this.py path跑这个脚本，这个path带中文的话，就默认是gbk，上述代码必须以gbk方式解码否则报错，如果是写死在代码里的就跟代码所在的文件本身的编码关联。一般来说utf8是最常见的。但'ignore'参数是必须带的，具体原因还是看链接。
最后，建议阅读：
必读阮老师：http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
关于sys库的setdefaultencoding方法：https://blog.ernest.me/post/python-setdefaultencoding-unicode-bytes
关于unicode-encode-error：https://stackoverflow.com/questions/3224268/python-unicode-encode-error/3224300#3224300
官方文档：https://docs.python.org/release/3.0.1/whatsnew/3.0.html#text-vs-data-instead-of-unicode-vs-8-bit
网友评论