Django中使用celery框架

一. 目的

批量做接口请求时，运行时长超过1min，前端不可能一直等待结果，因此考虑异步处理的方式

二. 处理方式

使用celery框架

三. 介绍

celery是一个使用python编写的简单、实用的分布式任务框架，采用典型的生产者-消费者模式，主要由三部分组成：broker（消息队列）、workers（消费者：处理任务）、backend（存储结果）。broker消息队列负责发送和接收消息，celery本身不提供消息服务，但celery官网给出了多个broker的备选方案：RabbitMQ、Redis、Database（不推荐）以及其他的消息中间件；workers任务执行单元，可在一台或者多台机器中同时开启多个worker进程分布式地并发处理任务；backend结果存储位置，Django项目中，若未定义，默认存储在数据库中，倘若对任务执行过程【未执行、执行中等状态】比较重视的话，需要考虑一下

四. 版本选择

一种方式使用Django-celery库，另一方式直接使用celery 4.0版本
由于项目使用的是redis 2.0版本，这里选用celery 3.0版本，原因：celery 4.0版本对redis版本有要求，必须3.0版本以上；而celery 3.0 依赖于djcelery，因此直接执行pip install djcelery,下载已包括了celery 3.1.26.post2,无无需单独下载celery库

五. 应用

编写待执行的任务，我这里是放在需要执行任务的app目录下，文件tasks.py

from celery import task

@task
def manual_request_task(args):  # task标记任务
    pass

不过我并没有用Django的Celery实例，而是自己初始化的实例，见下面的celery.py文件，调用实例的task标记函数如下

from 项目名称.celery import app  # 涉及隐私，用中文名代替匿了
 
@app.task
def manual_request_task(args):

其他地方调用异步执行任务【这里是views.py】

from APP名称.tasks import manual_request_task  # 中文匿了
manual_request_task.delay(req)   # delay() 异步执行任务

创建Celery 实例，文件名：celery.py,放置与settings.py同目录的地方

from __future__ import absolute_import, unicode_literals
import os
from django.conf import settings
from celery import Celery, platforms

platforms.C_FORCE_ROOT = True  # 为了能让supervisor运行celery的worker进程设置,否则运行权限不够，同时也要考虑安全


# set the default Django settings module for the 'celery' program.目的：让celery实例能找到Django项目及配置信息
os.environ.setdefault('DJANGO_SETTINGS_MODULE', '项目名称.settings')  # 中文代替匿了

# 实例化对象
app = Celery('项目名称')  # 中文代替匿了

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings')  # 4.0 版本后才有的参数namespace='CELERY'，4.0 要求的redis 是3.2.0及以上

# Load task modules from all registered Django app configs.不需要手动把一个个模块加到 CELERY_IMPORTS 配置中
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)  # 自动发现项目中各app下的tasks任务

settings.py增加相关配置

BROKER_URL = 'redis://:****'  # 4.0的celery 前缀需要CELERY_
CELERY_RESULT_BACKEND = 'redis://:****' 
CELERY_TASK_SERIALIZER = 'pickle'  # 4.0版本需要配置，这里未配置
CELERY_RESULT_SERIALIZER = 'pickle'  # 4.0版本需要配置，这里未配置

启动worker

celery -A 项目 worker --loglevel=info  # 我这里使用-A 后的参数是项目，不具体指定tasks

到这里基本介绍完celery在Django中异步执行任务的功能，定时任务暂时无需求，略

六. 问题处理

1. 报错raise AppRegistryNotReady("Apps aren't loaded yet."),worker启动参数问题
2. 报错TypeError: 'Settings' object is not subscriptable,celery版本问题，更新适合的celery版本