经过对RESP协议的阅读，我们了解redis客户端和服务端的通信方式。下面将根据resp协议使用python3实现其编码，也就是将客户端的查询命令按照RESP协议编码。
字符编码
在处理resp编码之前，有必要对字符的编码做简单的介绍。计算机给人感觉很强大，可是它们处理的数据的基本构成却很简单。任何计算机里的数据，无非都是一些二进制的0或者1。这些0和1当然不适合给人类阅读，人类只写自己认识的字符，例如hello world， 1 + 1之类的字符。计算机当然也会抗议，毕竟它们不懂。为了让计算机能懂人类可读的字符，就需要把这些字符转换成0或1组成的二进制数据。这个转换过程就是编码，顾名思义，编码的反方向就是解码。
由于计算机是西方人搞出来的，美国人思来想去，拉丁字符才26个，乱七八糟的标点和美元百分好加起来也不过百多个。一个字节有8位，可以表示256种字符（2**8）。一个字节编码符号绰绰有余。然后他们就依此指定了一个编码表，即ASCII表。
可是没多久，同样是西方人的欧洲其他国家不干了，像法国德国这样除了拉丁字符，还有类似拼音声调的字符，ASCII的规定就不够了。不仅这些字符，中国的汉字，日本文字，阿拉伯文字等，都无法用ASCII表示。既然世界文化这么多，就只能想一个完全之策来大一统。
Unicode应运而生，简而言之就是使用2-4个字节来编码。数量上肯定是足够了，可是对于ASCII码，无缘无故多出几个字节来编码显然不合算，因此Unicde的一种实现utf-8就诞生了。utf-8兼容ascii方式，可以根据具体情况用1-4个字节来表示一个字符。例如一个汉字华unicode编码是一个长度 \u534e，utf-8的编码则是三个字符长度\xe5\x8d\x8e。
除了utf-8编码，中文世界里常见的是gbk方式编码。gbk和utf-8一样，也是一种编码方式，不过只对中国的汉字和少数几个民族文字兼容。范围上比utf-8要小。
python字符编码
提及编码，python2经常出现UnicodeDecodeError错误，尤其是爬虫的时候这个错误常被人诟病，很多人转向python3。可是如果搞不清编码与解码的问题，python3也会出现UnicodeDecodeError异常。
python3中，所有字串都是unicode实现。也就是str类型。字串可以编码成bytes类型，bytes类型可以解码成字串。
>>> s = 'hello 世界'
>>> type(s)
<class 'str'>
>>> s.encode('utf-8')
b'hello \xe4\xb8\x96\xe7\x95\x8c'
>>> type(s.encode('utf-8'))
<class 'bytes'>
>>> b = b'hello 世界'
File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.
>>> b = b'hello \xe4\xb8\x96\xe7\x95\x8c'
>>> b
b'hello \xe4\xb8\x96\xe7\x95\x8c'
>>> b.decode('utf-8')
'hello 世界'
>>> len(b)
12
对于python2而言，引号定义的字串是utf-8或者gbk的编码（依赖系统）。使用u加字串定义的是unicode。因此py2也有encode和decode的方式。
无论py2还是py3，计算机内存处理的字串都是unicode，当写入文件或者在网络IO流中，都应该编码成utf-8的格式（utf-8国际通用，就不必使用gbk了）。
解码的时候就不能一概而论了。很多爬虫的程序中，被爬的网站比较古老，使用了gbk的编码。若不假思索的就以utf-8的方式decode，肯定会报错。使用requests库的时候，很少出现字符解码错误，因为它内部有一个程序会先判断目标字符的编码，然后再针对性的解码。因此我们写程序的时候，解码也应该先猜除对方编码。至于怎么猜，可以学习requests的方式。
resp 字符编码
说来那么多python的编码，为得是下面RESP做铺垫。根据redis.py 的源码，编码和解码的方法挂载在Connection类的下面。因此我们的客户端调用代码如下：
args = ('PING',)
packed_command = Connection().pack_command(*args)
print(packed_command)
调用打印的结果为 [b'*1\r\n$4\r\nPING\r\n']，和预期的编码一样。
Connection 类
首先创建一个Connection类，我们需要初始化其编码方式和编码错误。
class Connection(object):
def __init__(self, encoding='utf-8', encoding_errors='strict'):
self.encoding = encoding
self.encoding_errors = encoding_errors
def pack_command(self, *args):
pass
编码命令
接下来实现pack_command 方法。
def pack_command(self, *args):
"""将redis命令安装redis的协议编码,返回编码后的数组,如果命令很大,返回的是编码后chunk的数组"""
output = []
command = args[0]
if ' ' in command:
args = tuple([Token(s) for s in command.split(' ')]) + args[1:]
else:
args = (Token(command),) + args[1:]
buff = SYM_EMPTY.join(
(SYM_STAR, b(str(len(args))), SYM_CRLF))
for arg in map(self.encode, args):
# 数据量特别大的时候,分成部分小的chunk
if len(buff) > 6000 or len(arg) > 6000:
buff = SYM_EMPTY.join((buff, SYM_DOLLAR, b(str(len(arg))), SYM_CRLF))
output.append(buff)
output.append(arg)
buff = SYM_CRLF
else:
buff = SYM_EMPTY.join((buff, SYM_DOLLAR, b(str(len(arg))), SYM_CRLF, arg, SYM_CRLF))
output.append(buff)
return output
该方法首先判断了命令的方式，是单命令（PING）还是复合命令（CONFIG SET）。然后针对这两种方式分别使用Token编码。Token即命令的头标签。
然后使用SYM_EMPTY把字符头标签进行编码。
def b(x):
'''将`unicode`编码成`bytes` 编码格式位 `latin-1`'''
return x.encode('latin-1') if not isinstance(x, bytes) else x
SYM_STAR = b('*')
SYM_DOLLAR = b('$')
SYM_CRLF = b('\r\n')
SYM_EMPTY = b('')
因为传输的字串应该是字节串（bytes）类型，并且几个符号都是ascii符号，因此编码成latin-1和utf-8都是一样的。
可以看见PING编码的头标签为'*1\r\n， CONFIG SET的oken为b'*4\r\n'。
接下来就是一个迭代编码除了token之外，编码命令和参数。当buff不大的时候，就直接按照RESP协议串联即可。即token + $ + 字节串长度+CRLF+参数+CRLF的方式
如果token和参数大于6000字节长度，就把编码的命令组合拆分为小长度的chunk数组。
当然，在迭代命令和参数之前，需要将这些字串编码成字节串。即map(self.encode, args)的功能，对应的encode方法如下：
def encode(self, value):
if isinstance(value, Token):
return b(value.value)
elif isinstance(value, bytes):
return value
elif isinstance(value, int):
value = b(str(value))
elif not isinstance(value, str):
value = str(value)
if isinstance(value, str):
value = value.encode(self.encoding, self.encoding_errors)
return value
此时可以看出头标签使用Token封装，便于此时encode成bytes字节串，同时为python2提供了兼容的接口。python2只要重写一个b函数即可。
总结
RESP编码比较简单，源于RESP的协议设计精巧。代码实现的内容并不多。无非就是需要注意头标签token的编码，和当命令参数特别长的时候，拆分字节串为chunk数组来发送数据。此外还需要注意，任何网络传输的数据，都不能是直接的字符串，而是编码成utf-8的字节串。
RESP的编码并不复杂，更多挑战在于如何解码redis服务器的响应。在解析响应之前，我们应该创建redis的连接，将编码的命令发送到redis服务器。
文中相关代码
网友评论