Django celery怎么實現異步任務操作并在后臺運行守護進程

這篇文章主要介紹了Django celery怎么實現異步任務操作并在后臺運行守護進程，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

沒廢話，直接上代碼。

環境說明：

python3.6

django2.0.5

我們使用redis的作為celery任務隊列，有一個合成包可以直接安裝兩者一起使用需要的安裝包

直接在終端鍵入

pip install celery-with-redis

就可以安裝需要的依賴包了

構建項目過程略過，直接開始進行celery配置

一、celery配置。

我們的項目名稱為myproject，首先setting配置，添加

# celery settings
# celery中間人 redis://redis服務所在的ip地址:端口/數據庫號
BROKER_URL = 'redis://localhost:6379/3'
# celery結果返回，可用于跟蹤結果
CELERY_RESULT_BACKEND = 'redis://localhost:6379/3'
 
# celery內容等消息的格式設置
CELERY_ACCEPT_CONTENT = ['application/json', ]
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
 
# celery時區設置，使用settings中TIME_ZONE同樣的時區
CELERY_TIMEZONE = TIME_ZONE

然后在PATH/myproject/myproject/即setting的同級目錄下創建celery.py，初始化celery。

from __future__ import absolute_import, unicode_literals
 
from celery import Celery
from django.conf import settings
import os
 
# 獲取當前文件夾名，即為該Django的項目名
project_name = os.path.split(os.path.abspath('.'))[-1]
project_settings = '%s.settings' % project_name
 
# 設置環境變量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', project_settings)
 
# 實例化Celery
app = Celery(project_name)
 
# 使用django的settings文件配置celery
app.config_from_object('django.conf:settings')
 
# Celery加載所有注冊的應用
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

這里第一行輸入不能換位置，只能在首行，否則會報錯。

這里的實例化celery的app我們在別處要導入，為了方便導入，我們把它放到__init__.py里，所以在/myproject/myproject/__init__.py我們加入

from __future__ import absolute_import, unicode_literals
 
# 引入celery實例對象
from .celery import app as celery_app

這樣同時也能告知django celery.py文件的存在。

二、用celery裝飾我們的需要進行的異步函數。

我們在項目根目錄下創建celery_tasks模塊，即在PATH/myproject/下創建該模塊，然后在該模塊下創建tasks.py，把我們的耗時程序寫進去。

from myproject import celery_app
import time
 
@celery_app.task
def time_consuming_fun():
  for i in range(5):
    time.sleep(1)
    print(i)
  return 'ok'

直接用我們的celery_app下的task方法裝飾需要進行異步處理的函數即可。

三、調用異步函數。

在view中調用，這里用的是Django的類視圖。

from celery_tasks.tasks import time_consuming_fun
from django.views import View
from django.http import JsonResponse
 
# Create your views here.
 
class MyView(View):
  def get(self,request):
    #異步調用
    time_consuming_fun.delay()
    #直接調用
    #time_consuming_fun()
    return JsonResponse({'msg':'ok','code':200})

配置好url即可。

四、啟動celery。

在項目根目錄下，即managy同級文件目錄下，輸入命令：

celery -A myproject worker -l info

此時celery在終端窗口運行，關閉終端celery就會停止。

輸入命令

celery multi start w1 -A myproject -l info --logfile = celerylog.log --pidfile = celerypid.pid

此時celery為守護進程，日志記錄在celerylog.log里。

日志文件可以指定路徑PATH/celerylog.log，此時會在指定路徑下創建日志文件。進程號文件類似。

停止或重啟將開始換為stop或restart即可，所以需記錄w1，即需記錄woker的名稱來方便重啟和停止。

補充：Django項目后臺不掛斷運行

方法一：

1、進入項目目錄下，運行下面程序：

nohup python manage.py runserver 0.0.0.0:5008 &

nohup(no hang up)用途：不掛斷的運行命令

&用途：在后臺運行

nohup /root/start.sh &

在shell中回車后提示：

[~]$ appending output to nohup.out

原程序的的標準輸出被自動改向到當前目錄下的nohup.out文件，起到了log的作用。

注意：在nohup執行成功后直接點擊關閉程序按鈕關閉終端，會斷掉該命令對應的session，導致nohup對應的進程被通知一起shutdown。所以在使用nohup命令后臺運行命令之后，需要使用exit正常退出當前賬戶，這樣才能保證命令一直在后臺運行。

方法二：這個比較高級，使用screen

1、安裝screen

yum install -y screen

2、新建一個screen

screen -S xiedi

這樣會新開一個窗口，然后執行命令即可

python manage.py runserver 0.0.0.0:9000

3、重開一個窗口，列出所有screen進程，如下

[root@docker ~]# screen -ls
There are screens on:
    3029.xiedi  (Attached)

4、如果想鏈接上這個會話，執行命令即可

screen -r 3029

感謝你能夠認真閱讀完這篇文章，希望小編分享的“Django celery怎么實現異步任務操作并在后臺運行守護進程”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!