异步任务队列 celery

BSD
Python
跨平台
2011-07-29
renwofei423

celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。

celery用于生产系统每天处理数以百万计的任务。

celery是用Python编写的,但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。

建议的消息代理RabbitMQ的,但提供有限支持RedisBeanstalkMongoDBCouchDB, ,和数据库(使用SQLAlchemy或Django的 ORM) 。

 

celery是易于集成Django, Pylons and Flask,使用 django-celerycelery-pylons and Flask-Celery 附加包即可。

例子:

两个数相加的例子:

 

from celery.task import task

@task
def add(x, y):
    return x + y

你可以后台运行,或者等待它完成:

>>> result = add.delay(8, 8) 
>>> result.wait() # wait for and return the result 16
加载中

评论(0)

暂无评论

celery 4.0 正式版发布,不再支持 Windows

在经过 6 个候选版后,celery 4.0 正式版发布了。celery (芹菜) 是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery 用于生产系统每天处理数以...

2016/11/13 08:11

Celery 3.0 发布,异步任务队列系统

Celery 3.0 发布,celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery用于生产系统每天处理数以百万计的任务。celery是用Python编...

2012/07/08 00:07

没有更多内容

加载失败,请刷新页面

没有更多内容

2
回答
celery发送消息,rabbitmq接受不到的问题

@siddontang 你好,想跟你请教个问题:我看了你关于celery的文章,想问问你,有没有遇到celery发送消息给rabbitmq时,rabbit...

2014/11/04 10:53
4
回答
Django1.10.4和celery4.0.2如何在windows下实现定时任务

Django1.10.4 celery4.0.2 windows10 任务类型为rss的读取,这部分可以单独实现了,就是想做成每过10分钟运行一次的,求助!!

2017/01/04 17:51
1
回答
Celery4.0.2+Django1.8.12 动态添加PeriodicTask不执行

Django 1.8.12 + Celery 4.0.2 Broker:Redis backends result:django_celery_resul...

2017/03/21 09:12
1
回答
django-celery异步任务,同个task有没法设置阻塞
zhtengsh 的回答 2016/08/02 17:55
最佳答案
解决了,启动worker的时候加参数 -P threads,把程序切换成多线程模式 然后在方法中加加入result的参数 --tasks.py @task def add(r, x, y): if r: time_wait = 0 while not r.ready(): print r.st...
4
回答
Celery中如何配置多台机器,为每个机器启动一个worker?

@Hochikong 你好,想跟你请教个问题:如何在多个机器上搭建celery的集群环境?

2015/10/15 21:03
4
回答
各位能不能给推荐一个python的分布式爬虫框架

目前我采用celery做分布式处理,采用master-slave模式,每个slave采用scrapy进行detail页的爬取和存储,其中scrapy的调度...

2013/03/22 13:30
35
回答
python(django) 牛人,你在哪里?
coding--- 的回答 2013/08/09 11:43
最佳答案
最近我从美国zimbio辞职,回到国内创业了,拿到晨兴创投一笔300万美金的A轮投资,正在招兵买马中。。。 非常期待志同道合的朋友和我一起创业吧!我们不给任何人设立天花板,只要你有能来,你就可以是公司未来的的CEO! 晨兴创投 早年投资过搜狐,携程,UC, 最近投资过小米科技,大搜车,车易拍,...
4
回答
使用 django+celery+RabbitMQ 实现异步执行

RabbitMQ大家应该不陌生,著名的消息队列嘛。可惜我最近才听说它的大名,了解之后不禁惊呼,世界上居然还有这种东西! 立刻觉得手里有了锤子,就看什么都是...

2011/07/29 10:09

没有更多内容

加载失败,请刷新页面

没有更多内容

Celery的命令一览表

Celery是一个基于Python的并行数据处理框架,采用消息总线作为分布式任务调度机制。这里列出其命令行参数。Celery也支持基于WebUI的管理。

2015/06/02 10:49
2.1K
0
python-celery使用教程

Celery是Python开发的分布式任务调度模块。Celery的出现,出色的解决了python运行后台任务的需求,成为了后端python程序员,必备的一个python库。

2015/07/23 15:14
1K
1
在django中使用Celery 和 Celery-Flower

在django中使用Celery 和 Celery-Flower 1、Celery方式的选择 这里Celery的中间人,我采用Redis。也可以用Django自身和mongodb等。Celery的中间人你可以理解为在Celery执行过程中的数据支持。...

2018/09/25 15:12
351
0
celery异步分布式2

Celery模块调用 既然celery是一个分布式的任务调度模块,那么celery是如何和分布式挂钩呢,celery可以支持多台不通的计算机执行不同的任务或者相同的任务。如果要说celery的分布式应用的话,...

2018/05/27 19:33
11
0
项目 3

from __future__ import absolute_import, unicode_literals import os from celery import Celery from django.conf import settings # set the default Django settings module for the 'c...

02/25 00:37
1
0
django 异步

django,异步,celery

2014/05/08 16:12
264
0
Celery-RabbitMQ-Django-Cron

Celery-RabbitMQ-Django-Cron

2016/03/18 16:37
256
1
Celery 和 Redis 入门

**Celery** 是一个广泛应用于网络应用程序的任务处理系统。 它可以在以下情况下使用: **在请求响应周期中做网络调用**。服务器应当立即响应任何网络请求。如果在请求响应周期内需要进行网络调...

2015/08/31 08:13
208
0
PyStudy Celery异步任务队列

1 Celery概述 关于celery的定义,首先来看官方网站: Celery(芹菜) 是一个简单、灵活且可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必需工具。 简单来看,是一个基于pytho...

05/03 09:59
11
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部