celery 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
celery 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议 BSD
开发语言 Python
操作系统 跨平台
软件类型 开源软件
开发厂商
地区 不详
提 交 者 renwofei423
适用人群 未知
收录时间 2011-07-29

软件简介

celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。

celery用于生产系统每天处理数以百万计的任务。

celery是用Python编写的,但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。

建议的消息代理RabbitMQ的,但提供有限支持RedisBeanstalkMongoDBCouchDB, ,和数据库(使用SQLAlchemy或Django的 ORM) 。

 

celery是易于集成Django, Pylons and Flask,使用 django-celerycelery-pylons and Flask-Celery 附加包即可。

例子:

两个数相加的例子:

 

from celery.task import task

@task
def add(x, y):
    return x + y

你可以后台运行,或者等待它完成:

>>> result = add.delay(8, 8) 
>>> result.wait() # wait for and return the result 16
展开阅读全文

评论 (0)

加载中
更多评论
发表了资讯
2016/11/13 08:12

celery 4.0 正式版发布,不再支持 Windows

在经过 6 个候选版后,celery 4.0 正式版发布了。celery (芹菜) 是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery 用于生产系统每天处理数以百万计的任务。celery 是用 Python 编写的,但该协议可以在任何语言实现。它也可以与其他语言通过 webhooks 实现。 部分更新内容...

22
28
发表了资讯
2012/07/08 00:00

Celery 3.0 发布,异步任务队列系统

Celery 3.0 发布,celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery用于生产系统每天处理数以百万计的任务。celery是用Python编写的,但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。 Celery 3.0 版本改进内容包括: 全新和改进的 API,...

0
19
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/02/14 14:35

celery

1.什么是celery(任务队列)? 任务队列是一种在线程或机器间分发任务的机制。 消息队列的输入是工作的一个单元,称为任务,独立的职程(Worker)进程持续监视队列中是否有需要处理的新任务。 Celery 用消息通信,通常使用中间人(Broker)在客户端和职程间斡旋。这个过程从客户端向队列添加消息开始,之后中间人把消息派送...

0
0
发表了博客
2019/02/18 22:14

Celery

1 . 什么是Celery ? Celery : 一个懂得异步任务,定时任务,周期任务的 芹菜 Celery : 是基于1python实现的模块.用于执行异步定时周期任务的 其结构组成是由 :   1.用户任务 app   2.管道 :     broker : 用于存储任务 , 官方推荐使用 redis / rabbitMQ     backend : 用于存储任务执行结果的   3.员工 : wo...

0
0
发表了博客
2019/05/07 09:52

celery

分布式任务队列Celery入门与进阶 一、简介   Celery是由Python开发、简单、灵活、可靠的分布式任务队列,其本质是生产者消费者模型,生产者发送任务到消息队列,消费者负责处理任务。Celery侧重于实时操作,但对调度支持也很好,其每天可以处理数以百万计的任务。特点: 简单:熟悉celery的工作流程后,配置使用简单 ...

0
0
发表了博客
04/12 12:37

Celery

1 Celery介绍   1、celery应用举例       1、Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理,           如果你的业务场景中需要用到异步任务,就可以考虑使用celery       2、你想对100台机器执行一条批量命令,可能会花很长时间 ,但你不想让你的...

0
0
发表了博客
2019/02/18 17:31

Celery

什么是Celery 本篇博客只是简单的介绍celery,关于celeey的执行机制和详情,推荐一篇博客.https://www.cnblogs.com/forward-wang/p/5970806.html   Celery的功能     Celery是基于python实现的第三方组件,可以实现定时任务,周期任务等.   Celery的组成   Celery的角色   -任务,创建或发布任务.   -使用redis...

0
0
发表了博客
2019/01/04 21:59

Celery

简介 Celery是由Python开发的一个简单、灵活、可靠的处理大量任务的分发系统,它不仅支持实时处理也支持任务调度。 user:用户程序,用于告知celery去执行一个任务。 broker: 存放任务(依赖RabbitMQ或Redis,进行存储) worker:执行任务 celery需要rabbitMQ、Redis、Amazon SQS、Zookeeper(测试中) 充当broker来进行...

0
0
发表了博客
07/29 07:21

Celery

Celery是由Python开发的一个简单、灵活、可靠的处理大量任务的分发系统,它不仅支持实时处理也支持任务调度。 user:用户程序,用于告知celery去执行一个任务。 broker: 存放任务(依赖RabbitMQ或Redis,进行存储) worker:执行任务 celery需要rabbitMQ、Redis、Amazon SQS、Zookeeper(测试中) 充当broker来进行消息的...

0
0
发表了博客
2019/09/26 15:19

(转)django使用django-celery与celery

一.引言 Django是python语言下的一个比较热门的Web框架,越来越多的企业和开发者使用Django实现自己的Web服务器。在Web服务器开发过程中,有时候我们不仅仅是要实现Web服务器端和用户端的简单逻辑交互,还要实现一些定时任务。举出以下的例子:   定期删除或缓存Redis数据库的记录 为了追求更高的数据库访问性能,我把...

0
0
发表了博客
05/03 14:50

celery札记-如何查看celery状态

celery是什么? 我的理解比较简单,它是一个「任务队列」,我主要拿他来做两件事情: 1.处理异步任务 2.处理定时任务 一个简单任务 安装相应的pip包 pip install celery[redis] 准备项目文件 项目文件结构如下: . ├── caller.py ├── tasks.py tasks.py中存放任务函数: import time from celery import Celery...

0
0
发表了博客
2018/08/24 10:09

【django-celery】异步任务管理器---celery

因为superviser不支持python3,而网上关于celery后台运行的说明大都使用superviser,所以对于python3用户celery后台运行便成为了一个问题。再没废话,直接上代码。 环境说明: python3.6 django2.0.5 我们使用redis的作为celery任务队列,有一个合成包可以直接安装两者一起使用需要的安装包 直接在终端键入 pip install ...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2014/11/04 10:53

celery发送消息,rabbitmq接受不到的问题

@siddontang 你好,想跟你请教个问题:我看了你关于celery的文章,想问问你,有没有遇到celery发送消息给rabbitmq时,rabbitmq没有收到消 息的情况?或者说怎么样才能避免这样的情况呢?我之前有使用过rabbitmq的publish confirm机制,但是这种机制会造成阻塞,不太好用。...

2
0
发表了问答
2017/01/04 17:51

Django1.10.4和celery4.0.2如何在windows下实现定时任务

Django1.10.4 celery4.0.2 windows10 任务类型为rss的读取,这部分可以单独实现了,就是想做成每过10分钟运行一次的,求助!!

4
0
发表了问答
2017/03/21 09:12

Celery4.0.2+Django1.8.12 动态添加PeriodicTask不执行

Django 1.8.12 + Celery 4.0.2 Broker:Redis backends result:django_celery_results beat:django_celery_beat 所用模块如上, 以前用的celery 3.1和djcelery,可以动态添加周期性任务。 现在改成4.0.2之后,发现情况: 1. 若初始化时,django DB中存有Periodic Task,则beat载入时,会写入schedule。 2.运行中,动态添...

1
0
发表了问答
2016/08/02 14:29

django-celery异步任务,同个task有没法设置阻塞

情景是这样子的, 1.有一个请求的处理比较耗时比如10s(比如去热更新服务器的数据) 2.采用异步处理后,可以保证这个耗时的处理不会影响到django的其他请求访问。 3.现在希望这个任务在执行的时候,能够按请求的顺序依次执行完毕。 @task def add(x, y): print 'celery_task' time.sleep(10) return x + y 比如上面这个t...

1
0
发表了问答
2015/10/15 21:03

Celery中如何配置多台机器,为每个机器启动一个worker?

@Hochikong 你好,想跟你请教个问题:如何在多个机器上搭建celery的集群环境?

4
1
发表了问答
2013/03/22 13:30

各位能不能给推荐一个python的分布式爬虫框架

目前我采用celery做分布式处理,采用master-slave模式,每个slave采用scrapy进行detail页的爬取和存储,其中scrapy的调度,去重,和cache自己用redis重写;在master一方进行request的分析调度,然后将request传递给各个slave,然后跟踪slave状态,这样master的主要任务就是调度和管理各个slave,底层存储采用的mongodb。 ...

4
12
发表了问答
2012/06/29 18:09

python(django) 牛人,你在哪里?

我们正在寻找一位能挑大梁的PYTHON(django) 资深工程师 我们希望您能大致符合如下描述: 5年以上服务器端开发经验。 在超过60万PV/天的网站上做过概要设计和实现; 对搜索系统、统计系统、广告系统的结构有深入了解,并实现过其中一种。 深入研究,并实际使用过分布式搜索引擎 ElasticSearch 深入了解基于PYTHON的各类优...

35
11
发表了问答
2011/07/29 10:09

使用 django+celery+RabbitMQ 实现异步执行

RabbitMQ大家应该不陌生,著名的消息队列嘛。可惜我最近才听说它的大名,了解之后不禁惊呼,世界上居然还有这种东西! 立刻觉得手里有了锤子,就看什么都是钉子了,主网站不愿意干的操作统统扔给RabbitMQ去做吧 言归正传,先介绍一下这篇文章的应用场景吧。我们知道大型网站的性能非常重要,然而有时不得不做一些相当耗时...

4
19
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
161 收藏
分享
返回顶部
顶部