Celery 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Celery 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Celery 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 BSD
开发语言 Python 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织
地区 不详
投 递 者 renwofei423
适用人群 未知
收录时间 2011-07-29

软件简介

Celery 是一个简单,灵活且可靠的分布式系统,可以处理大量消息,同时为操作提供维护该系统所需的工具。这是一个任务队列,着重于实时处理,同时还支持任务调度。

Celery 通过消息进行通信,通常使用经纪人在 clients 和 workers 之间进行调解。要启动一个任务,客户端会在队列中放入一条消息,然后经纪人将消息传递给工人。

一个Celery系统可以由多个worker和broker组成,从而实现高可用性和横向扩展。

Celery是用Python编写的,但协议可以用任何语言实现。除了Python之外,还有Node.js的Node-celery,PHP客户端,golang的gocelery和Rust的rusty-celery。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表了资讯
06/22 06:52

Celery 5.1.1 发布,异步任务队列系统

Celery 5.1.1 现已发布。Celery 是一个简单,灵活且可靠的分布式系统,可以处理大量消息,同时为操作提供维护该系统所需的工具。这是一个任务队列,着重于实时处理,同时还支持任务调度。Celery 是用 Python 编写的,但协议可以用任何语言实现。 新版本具体更新内容如下: 修复命令行选项解析中的--pool=threads支持。(#6787) 修复LoggingProxy.write()返回类型。(#6791) Couchdb key 现在总是被强制转换为字符串。(#6781) grp...

0
6
发表了资讯
2016/11/13 08:12

celery 4.0 正式版发布,不再支持 Windows

在经过 6 个候选版后,celery 4.0 正式版发布了。celery (芹菜) 是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery 用于生产系统每天处理数以百万计的任务。celery 是用 Python 编写的,但该协议可以在任何语言实现。它也可以与其他语言通过 webhooks 实现。 部分更新内容: 一、已移除功能 不再支持 Microsoft Windows 不再支持Jython 二、简单功能删除 Webhook任务机械(celer...

22
28
发表了资讯
2012/07/08 00:00

Celery 3.0 发布,异步任务队列系统

Celery 3.0 发布,celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery用于生产系统每天处理数以百万计的任务。celery是用Python编写的,但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。 Celery 3.0 版本改进内容包括: 全新和改进的 API,更见简单,功能更加强大 更少线程的 worker,大大提升性能 新的 “Canvas” 更容易定义复杂工作流 可通过 ...

0
19
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2020/04/12 12:37

Celery

1 Celery介绍   1、celery应用举例       1、Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理,           如果你的业务场景中需要用到异步任务,就可以考虑使用celery       2、你想对100台机器执行一条批量命令,可能会花很长时间 ,但你不想让你的程序等着结果返回,而是给你返回 一个任务ID,         你过一段时间只需要拿着这个任务id就可以拿到...

0
0
发表了博客
2019/02/18 17:31

Celery

什么是Celery 本篇博客只是简单的介绍celery,关于celeey的执行机制和详情,推荐一篇博客.https://www.cnblogs.com/forward-wang/p/5970806.html   Celery的功能     Celery是基于python实现的第三方组件,可以实现定时任务,周期任务等.   Celery的组成   Celery的角色   -任务,创建或发布任务.   -使用redis/rabbitMQ进行任务记录(broker)和任务返回结果(backend)的缓存   -worker,主动执行任务,主动返回结果. 简单...

0
0
发表了博客
2019/01/04 21:59

Celery

简介 Celery是由Python开发的一个简单、灵活、可靠的处理大量任务的分发系统,它不仅支持实时处理也支持任务调度。 user:用户程序,用于告知celery去执行一个任务。 broker: 存放任务(依赖RabbitMQ或Redis,进行存储) worker:执行任务 celery需要rabbitMQ、Redis、Amazon SQS、Zookeeper(测试中) 充当broker来进行消息的接收,并且也支持多个broker和worker来实现高可用和分布式。http://docs.celeryproject.org/en/late...

0
0
发表了博客
2020/07/29 07:21

Celery

Celery是由Python开发的一个简单、灵活、可靠的处理大量任务的分发系统,它不仅支持实时处理也支持任务调度。 user:用户程序,用于告知celery去执行一个任务。 broker: 存放任务(依赖RabbitMQ或Redis,进行存储) worker:执行任务 celery需要rabbitMQ、Redis、Amazon SQS、Zookeeper(测试中) 充当broker来进行消息的接收,并且也支持多个broker和worker来实现高可用和分布式。http://docs.celeryproject.org/en/latest/get...

0
0
发表了博客
2019/02/14 14:35

celery

1.什么是celery(任务队列)? 任务队列是一种在线程或机器间分发任务的机制。 消息队列的输入是工作的一个单元,称为任务,独立的职程(Worker)进程持续监视队列中是否有需要处理的新任务。 Celery 用消息通信,通常使用中间人(Broker)在客户端和职程间斡旋。这个过程从客户端向队列添加消息开始,之后中间人把消息派送给职程。 Celery 系统可包含多个职程和中间人,以此获得高可用性和横向扩展能力。 Celery 是用 Python 编写...

0
0
发表了博客
2019/02/18 22:14

Celery

1 . 什么是Celery ? Celery : 一个懂得异步任务,定时任务,周期任务的 芹菜 Celery : 是基于1python实现的模块.用于执行异步定时周期任务的 其结构组成是由 :   1.用户任务 app   2.管道 :     broker : 用于存储任务 , 官方推荐使用 redis / rabbitMQ     backend : 用于存储任务执行结果的   3.员工 : worker 2 . Celery的简单示例 from celery import Celery import time #创建一个Celery实例,这就是我们用...

0
0
发表了博客
2019/05/07 09:52

celery

分布式任务队列Celery入门与进阶 一、简介   Celery是由Python开发、简单、灵活、可靠的分布式任务队列,其本质是生产者消费者模型,生产者发送任务到消息队列,消费者负责处理任务。Celery侧重于实时操作,但对调度支持也很好,其每天可以处理数以百万计的任务。特点: 简单:熟悉celery的工作流程后,配置使用简单 高可用:当任务执行失败或执行过程中发生连接中断,celery会自动尝试重新执行任务 快速:一个单进程的celer...

0
0
发表于软件架构专区
2018/09/25 15:12

在django中使用Celery 和 Celery-Flower

# 在django中使用Celery 和 Celery-Flower ## 1、Celery方式的选择 这里Celery的中间人,我采用Redis。也可以用Django自身和mongodb等。Celery的中间人你可以理解为在Celery执行过程中的数据支持。保存列队记录、执行记录等等。安装Redis,可参考Redis在CentOS和Windows安装过程。 #### 安装redis ```python brew install redis ``` 安装celery-with-redis,执行命令: ```python pip install celery-with-redis ``` > 该命令会...

0
1
发表了博客
2019/09/26 15:19

(转)django使用django-celery与celery

一.引言 Django是python语言下的一个比较热门的Web框架,越来越多的企业和开发者使用Django实现自己的Web服务器。在Web服务器开发过程中,有时候我们不仅仅是要实现Web服务器端和用户端的简单逻辑交互,还要实现一些定时任务。举出以下的例子:   定期删除或缓存Redis数据库的记录 为了追求更高的数据库访问性能,我把Redis作为MySql数据库的缓存。把常访问的数据放在Redis中,然后定时存储到Mysql中。并且把过期的Redis数据...

0
0
发表了博客
2020/05/03 14:50

celery札记-如何查看celery状态

celery是什么? 我的理解比较简单,它是一个「任务队列」,我主要拿他来做两件事情: 1.处理异步任务 2.处理定时任务 一个简单任务 安装相应的pip包 pip install celery[redis] 准备项目文件 项目文件结构如下: . ├── caller.py ├── tasks.py tasks.py中存放任务函数: import time from celery import Celery app = Celery('tasks', broker='redis://localhost:6379/0') @app.task def add(x, y): time.sleep...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2017/01/04 17:51

Django1.10.4和celery4.0.2如何在windows下实现定时任务

Django1.10.4 celery4.0.2 windows10 任务类型为rss的读取,这部分可以单独实现了,就是想做成每过10分钟运行一次的,求助!!

4
0
发表了问答
2017/03/21 09:12

Celery4.0.2+Django1.8.12 动态添加PeriodicTask不执行

Django 1.8.12 + Celery 4.0.2 Broker:Redis backends result:django_celery_results beat:django_celery_beat 所用模块如上, 以前用的celery 3.1和djcelery,可以动态添加周期性任务。 现在改成4.0.2之后,发现情况: 1. 若初始化时,django DB中存有Periodic Task,则beat载入时,会写入schedule。 2.运行中,动态添加Periodic Task,则新任务没被载入。应该是beat 没有重载schedule的动作。 添加Periodic Task代码如下: ...

1
0
发表了问答
2015/10/15 21:03

Celery中如何配置多台机器,为每个机器启动一个worker?

@Hochikong 你好,想跟你请教个问题:如何在多个机器上搭建celery的集群环境?

15
1
发表了问答
2013/03/22 13:30

各位能不能给推荐一个python的分布式爬虫框架

目前我采用celery做分布式处理,采用master-slave模式,每个slave采用scrapy进行detail页的爬取和存储,其中scrapy的调度,去重,和cache自己用redis重写;在master一方进行request的分析调度,然后将request传递给各个slave,然后跟踪slave状态,这样master的主要任务就是调度和管理各个slave,底层存储采用的mongodb。 详请各位提一下意见,或者给个成熟的python开源分布式爬虫框架。...

8
12
发表了问答
2012/06/29 18:09

python(django) 牛人,你在哪里?

我们正在寻找一位能挑大梁的PYTHON(django) 资深工程师 我们希望您能大致符合如下描述: 5年以上服务器端开发经验。 在超过60万PV/天的网站上做过概要设计和实现; 对搜索系统、统计系统、广告系统的结构有深入了解,并实现过其中一种。 深入研究,并实际使用过分布式搜索引擎 ElasticSearch 深入了解基于PYTHON的各类优秀开源项目: DJANGO 以及专注于分布式系统,实现异步执行的 celery+RabbitMQ 胜任全站级别模块划分和优化。...

49
11
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
164 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部