Tornado使用Celery作任务调度

** 背景 **
后台开发过程中,一个请求比较耗时,大致过程如下:

  1. 根据前端传入的两个img_url去第三方下载图片。
  2. 将获取到的图片进行适当缩放,并解析成base64编码。
  3. 再将解析好的base64编码的图片拿去请求第三方。

** 处理过程 **
明显的,以上三步均比较耗时。
所以,将其处理为异步是必然的。况且用的是tornado这个单进程框架,不异步岂不是作死。

因为请求会相对比较频繁,单纯的异步还不能完美解决。这个时候,初出茅庐的我当然是想到了Celery(只想到了它)。

具体实施为:

  1. 当接收到请求时,项目对参数作详细检查,然后发送一个task任务到Celery的BROKER中,然后立即返回“请求成功”的结果至前端(结果仅仅表示前端的请求,后端接收成功,并开始处理)。
  2. 事先启动好的worker进程(可放在其他服务器上)从BROKER中读取task任务,并执行。
  3. Celery的worker执行完任务后,将得到的数据写入数据库。

这样处理的好处是:

  1. 实现了异步,用户不用“耐心”的等待。
  2. 分布式任务处理,解决的单机的cpu处理能力不足的问题。

这样处理的缺点是:

  1. 用户不能立马得到结果。
  2. 需要额外再次请求另一个查询接口才能获取数据。

** 解决的问题 **
在执行task的时候,task中需要读写数据库,但celery的worker是额外的进程,并不能继续使用项目中的数据库对象(用的pony orm)来读写数据库。所以,导致了调试过程中出现MySQL server has gone away或其他类似的数据库连接或映射的错误。

** 解决办法 **
既然是因为数据库连接问题,那么简单,直接再连接一次就行了。刚开始的时候,懵逼般的在每次任务的时候去连接一次。后来在后续的代码阅读的过程中发现这样处理有些不妥啊。任务很多的话岂不是会频繁的去连接?后来发现,在启动worker的命令中,需要指定一个task任务文件(就是被celery的task装饰器修饰的任务函数),所以,可以在task所在文件的最外层作一个数据库的连接。这样的话,最终实现的就是每一个worker均有一个自己的数据库连接对象,就像这样的task文件:

# coding=utf-8

from celery import Celery, platforms
from configs.config import BROKER, DATABASE
from apps.ylzh.ylzh import PylzhProcess
from apps.zs.handler import FaceOneToOneProcess
from apps.commons.database import PonyDatabase

# 加try是因为项目(不是worker)在执行时,已经有了一个PonyDatabase
(这是一个我处理过的pony的Database的单例类)数据库操作对象,
而项目因为要发送task,所以会引入这个类,会导致db再次bind而发生异常
所以,用了try
try: 
    db = PonyDatabase()
    db.bind('mysql', host=DATABASE['host'], db=DATABASE['db_name'], user=DATABASE['username'], passwd=DATABASE['password']            )
    db.generate_mapping()
except Exception:
    pass

app = Celery("celery_model", broker=BROKER)    platforms.C_FORCE_ROOT = True
app.conf.update(CELERY_DEFAULT_QUEUE='default_queue')

@app.task()
def ylzh(user_data):
    PylzhProcess().request_data(user_data)
...
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,612评论 5 471
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,345评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,625评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,022评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,974评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,227评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,688评论 3 392
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,358评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,490评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,402评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,446评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,126评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,721评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,802评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,013评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,504评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,080评论 2 341

推荐阅读更多精彩内容