redis队列操作redis-MQ
redis的队列效率高，而且简单易用。下面我说一个最近项目中的需求，来介绍reids队列，更容易理解并且当你也有这种项目中类似的需求的时候可以很轻松的拿来用。
首先我的项目需要根据传递的不同的参数，爬取境外网站的一些内容，例如facebook中。但是项目目前的服务器不能翻墙，所以要在另一台服务器上运行爬虫，在目前项目服务器上传参数给翻墙过的服务器用来运行爬虫。
lpush, lrange
首先我需要把参数塞到redis服务，现在第一步从左往右插入队列。用lpush，然后用lrange直接验证是否插入成功，代码如下：
push_params.py
#-*-coding:utf-8-*-
import redis
import json
# redis连接
re_queue = redis.Redis(host='localhost', port=6379 )
# 顺序插入五条数据到redis队列，sort参数是用来验证弹出的顺序
num = 0
for i in range(0, 5):
num = num + 1
# params info
params_dict = {"channel":"facebook", "operate":"publish", "sort":num}
# 从左往右入队到redis
re_queue.lpush("params_info", json.dumps(params_dict))
# 查看目标队列数据
result = re_queue.lrange("params_info", 0, 10)
print(result)
# 结果输出
# [b'{"channel": "facebook", "operate": "publish", "sort": 5}', b'{"channel": "facebook", "operate": "publish", "sort": 4}', b'{"channel": "facebook", "operate": "publish", "sort": 3}', b'{"channel": "facebook", "operate": "publish", "sort": 2}', b'{"channel": "facebook", "operate": "publish", "sort": 1}']
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
rpop
从左往右，第一个进的肯定是在最右边，要处理第一个，就要从右往左弹出，代码如下：
pop_params.py
#-*-coding:utf-8-*-
import redis
import json
# redis连接
re_queue = redis.Redis(host='localhost', port=6379)
for i in range(0, 5):
result = re_queue.rpop("params_info")
print(result)
# 结果输出
#b'{"channel": "facebook", "operate": "publish", "sort": 1}'
#b'{"channel": "facebook", "operate": "publish", "sort": 2}'
#b'{"channel": "facebook", "operate": "publish", "sort": 3}'
#b'{"channel": "facebook", "operate": "publish", "sort": 4}'
#b'{"channel": "facebook", "operate": "publish", "sort": 5}'
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
rpush,lpop
rpush从右往左入队，第一个在最左边，把上边lpush改成rpush，输出结果如下：
[b'{"channel": "facebook", "operate": "publish", "sort": 1}', b'{"channel": "facebook", "operate": "publish", "sort": 2}', b'{"channel": "facebook", "operate": "publish", "sort": 3}', b'{"channel": "facebook", "operate": "publish", "sort": 4}', b'{"channel": "facebook", "operate": "publish", "sort": 5}']
1
1
lpop从左边弹出结果如下：
把上边rpop改成lpop，输出结果如下：
b'{"channel": "facebook", "operate": "publish", "sort": 1}'
b'{"channel": "facebook", "operate": "publish", "sort": 2}'
b'{"channel": "facebook", "operate": "publish", "sort": 3}'
b'{"channel": "facebook", "operate": "publish", "sort": 4}'
b'{"channel": "facebook", "operate": "publish", "sort": 5}'
1
2
3
4
5
1
2
3
4
5
小结
这些出对入队的方式理解了之后，你就对redis的队列有了一定的认识，最终到底怎么用，还是看你的项目需要了。真正的项目应用中，是在原来项目中把另一台服务器需要的参数传到目标redis服务端，地址也不是localhost，需要你把localhost改成目标host，端口也需要根据你们设置的端口进行更改，默认的是6379。push到redis队列之后，接下来就要在你需要的服务器上取出redis队列中的参数，现在你取出参数之后就要根据参数的区别进行不同的调用了。
---------------------
作者：chinesepython
来源：CSDN
原文：https://blog.csdn.net/chinesepython/article/details/82867629
版权声明：本文为博主原创文章，转载请附上博文链接！
网友评论