最近几天一直在新浪SAE服务器上用Python做微信公众号开发，在爬取网页返回网页数据，当把提取的信息返回给用户就出现“该公众号提供的服务出现故障”，一直知道是Python中文编码问题，前几天一直在尝试换各种编码，一直未果，今天终于静下心来补充编码的各种知识，以后吸取教训
参考资料：Python中文编码问题
在Python的内部使用的是unicode编码，而外部却有千奇百怪的各种编码，例如gbk,gb2312,utf-8等等，这些编码到最后都会被转换成内部的unicode
源代码文件（英文字母，数字，常用符号）作为文本文件就必然是以某种编码形式存储代码的，python默认会认为源代码文件是asci编码，比如说代码中有一个变量赋值：
s1=’a’
print s1
python认为这个’a'就是一个asci编码的字符。在仅仅使用英文字符的情况下一切正常，但是如果用了中文，比如：
s1=’哈’
print s1
这个代码文件被执行时就会出错，就是编码出了问题。python默认将代码文件内容当作asci编码处理，但asci编码中不存在中文，因此抛出异常。
解决问题之道就是要让python知道文件中使用的是什么编码形式，对于中文，可以用的常见编码有utf-8，gbk和gb2312等。只需在代码文件的最前端添加如下：
# -*- coding: utf-8 -*-
这就是告知python我这个文件里的文本是用utf-8编码的，这样，python就会依照utf-8的编码形式解读其中的字符，然后转换成unicode编码内部处理使用。
不过，如果你在Windows控制台下运行此代码的话，虽然程序是执行了，但屏幕上打印出的却不是哈字。这是由于python编码与控制台编码的不一致造成的。Windows下控制台中的编码使用的
是gbk，而在代码中使用的utf-8，python按照utf-8编码打印到gbk编码的控制台下自然就会不一致而不能打印出正确的汉字。
解决办法一个是将源代码的编码也改成gbk，也就是代码第一行改成：
# -*- coding: gbk -*-
另一种方法是保持源码文件的utf-8不变，而是在’哈’前面加个u字，也就是:
s1=u’哈’
print s1
这样就可以正确打印出’哈’字了。
这里的这个u表示将后面跟的字符串以unicode格式存储。python会根据代码第一行标称的utf-8编码识别代码中的汉字’哈’，然后转换成unicode对象。如果我们用type查看一下’哈’的数据类型type(‘哈’)，会得到，而type(u’哈’)，则会得到，也就是在字符前面加u就表明这是一个unicode对象，这个字会以unicode格式存在于内存中，而如果不加u，表明这仅仅是一个使用某种编码的字符串，编码格式取决于python对源码文件编码的识别，这里就是utf-8。
Python在向控制台输出unicode对象的时候会自动根据输出环境的编码进行转换，但如果输出的不是unicode对象而是普通字符串，则会直接按照字符串的编码输出字符串，从而出现上面的现象。
使用unicode对象的话，除了这样使用u标记，还可以使用unicode类以及字符串的encode和decode方法。
unicode类的构造函数接受一个字符串参数和一个编码参数，将字符串封装为一个unicode，比如在这里，由于我们用的是utf-8编码，所以unicode中的编码参数使用’utf-8′将字符封装为
unicode对象，然后正确输出到控制台：
s1=unicode(‘哈’, ‘utf-8′)
print s1
另外，用decode函数也可以将一个普通字符串转换为unicode对象。很多人都搞不明白python字符串的decode和encode函数都是什么意思。这里简要说明一下。
decode是将普通字符串按照参数中的编码格式进行解析，然后生成对应的unicode对象，比如在这里我们代码用的是utf-8，那么把一个字符串转换为unicode就是如下形式：
s2=’哈’.decode(‘utf-8′)
这时，s2就是一个存储了’哈’字的unicode对象，其实就和unicode(‘哈’, ‘utf-8′)以及u’哈’是相同的。
那么encode正好就是相反的功能，是将一个unicode对象转换为参数中编码格式的普通字符，比如下面代码：
s3=unicode(‘哈’, ‘utf-8′).encode(‘utf-8′)
s3现在又变回了utf-8的’哈’。
我遇到的坑就是当爬取到网页的内容时，网页数据采用的是gbk编码，所以应当对网页内容进行decode('gbk')编码，把原网页数据转换成unicode的格式，当使用字符串查找中文时，应该在查找的关键词前面加上u，例如 ：
str_html = str_html.decode("gbk") #对爬取到的网页进行解码
str_html = str_html.find(u"自动化") #字符串查找中文
功能其实在本地Python开发环境下面正常运行，但在服务器上面运行问题就出来了，在SAE服务上的Python对字符编码异常敏感，当编码不对应时，服务器SAE服务器便会不响应
网友评论