python字符串编码的问题在爬虫过程中无论是输出到文件中还是输出到DB数据库中感觉是始终绕不过去的一道坎，所以趁这次碰到的问题 来做一个学习记录
什么是Unicode
Unicode是计算机可以支持这个星球上多种语言的密码武器。在Unicode之前，用的都是ASCII。ASCII码非常简单，每个英文字符都是以7位二进制数的方式存贮在计算机内，其范围是32~126。当用户在文件中键入一个大写字符A时，计算机会把A的ASCII码值65写入磁盘，然后当计算机读取该文件时，它首先会把65转化成字符A然后显示在屏幕上。
ASCII编码的文件小巧易读。一个程序只需简单地把文件的每个字节读出来，把对应的数字转换成字符显示出来就可以了。但是ASCII编码也有其局限性，就算后来扩展到用8位二进制的方式来存贮，这个对于需要成千上万的字符的非欧洲语系的语言来说仍然太少.
例如:处理中文显然一个字节是不够的，至少需要两个字节，而且还不能和ASCII编码冲突,这样就使中国制定了GB2312编码，全世界有上百种语言，日本把日文编到Shift_JIS里，韩国把韩文编到Euc-kr里，各国有各国的标准，就会不可避免地出现冲突，结果就是，在多语言混合的文本中，显示出来会有乱码。
Unicode这个时候就应运而生，通过使用一个或多个字节来表示一个字符的方法来突破ASCII的限制。在这样的机制下，Unicode可以表示超过90000个字符。
新的问题又出现了：如果统一成Unicode编码，乱码问题从此消失了。但是，如果你写的文本基本上全部是英文的话，用Unicode编码比ASCII编码需要多一倍的存储空间，在存储和传输上就十分不划算。
所以，本着节约的精神，又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间。
总结一下现在计算机系统通用的字符编码工作方式:
在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。
在 Python 中 Unicode 被视为是一种中间码，如果要在不同的编码间进行转化，通常是先将字符串解码（decode）成 Unicode 编码，再从 Unicode 编码（encode）成另一种编码：
-
decode: 的作用是将其他编码的字符串转换成Unicode编码，例如:name.decode(“GB2312”)，表示将GB2312编码的字符串 name 转换成Unicode编码 -
encode: 的作用是将Unicode编码转换成其他编码的字符串例如，例如:name.encode(”GB2312“)，表示Unicode编码的字符串 name 转换成GB2312编码
我们会在很多 Python 的源码文件的头部看到如下的声明：
# coding:utf-8
这表示声明源代码中的文本编码为UTF-8，也就是告诉 Python 解释器将文件中的文本视为 UTF-8 编码的字符串，因此声明的编码应该与文件的编码保持一致。在代码中我们通常会处理一些其他来源的文本，比如网络，它们的编码不一定也是 UTF-8 的，因此就要进行编码转换。
Python 试图在字节串和字符串之间以不为人所察觉的方式进行转化。
在不同的转换中，在条件允许的情况下，Python 会试图在字节串和 unicode 字符串直接进行转换。例如将字节串和 unicode 字节串连接到一起时。但是不使用 encoding 就在不同类型之间进行转换是没有意义的。所以 Python 依赖一个 默认编码，该编码由 sys.setdefaultencoding() 指定。在大多数平台上，默认的是 ASCII编码。但对于所有转换，使用这种编码几乎都是错误的。如果不手动指定编码就调用 str() 或 unicode() ，或是函数以字符串作为参数，但传递的是其他类型的参数时，都会使用这个默认编码。这就是很多时候出现 UnicodeEncodeError 和 UnicodeDecodeError 错误的原因，也就是字符串对象互相转化时没有指定字符编码。
例如，如果对 unicode 和 str 类型通过 + 拼接时，输出结果是 unicode 类型，相当于先将 str 类型的字符串通过 decode() 方法解码成unicode再拼接。此时如果解码时没有明确指明编码类型，可能会出现错误。
解决这个问题的一个办法是，代码开头就调用 sys.setdefaultencoding()将默认的编码设置为真正会用到的编码。但这样仅仅是将问题隐藏起来，虽然这样刚开始能解决一些文本处理问题。但缺乏实际可行性，因为许多应用，特别是网络应用，在不同的地方会使用不同的文本编码。
下面是一些处理 Python 中字符编码的建议：
- 所有文本字符串都应该是
unicode类型，而不是str类型。 - 若要将字节串解码成字符串，需要使用正确的解码，即
var.decode(encoding)，如：var.decode(‘utf-8’)；将文本字符串编码成字节，使用var.encode(encoding)。 - 永远不要对
unicode字符串使用str()，也不要在不指定编码的情况下就对字节串使用unicode()。 - 当应用从外部读取数据时，应将其视为字节串，即 str 类型的，接着调用
.decode()将其解释成文本。同样，在将文本发送到外部时，总是对文本调用.encode()。 - 对标准流进行操作时，可以改变环境变量
PYTHONIOENCODING的值来设置标准流的默认编码，sys.stdin.encoding和sys.stdout.encoding的值为期望的编码。
参考资料
廖雪峰的官方网站-字符串和编码
Unicode HOWTO
http://www.tuicool.com/articles/2MVRVv7
https://gist.github.com/x7hub/178c87f323fbad57ff91
http://python.jobbole.com/86578/
网友评论