分布式 worker 任务队列 MRQ

MIT
Python
跨平台
2017-03-07
王练

MRQ(MR.Queue)是一个使用 Redis&gevent 的分布式 worker 任务队列。

MRQ 是一个独特的任务队列,它一方面旨在像 RQ 一样简单,另一方面要求有接近 Celery 的性能。MRQ最早在 Pricing Assistant 上被开发,它最初的功能设计是为了满足任务队列的各种任务需求(IO密集&CPU密集,很多小任务&几个大任务)。

特性

  • 代码简单:MRQ 和 RQ 一样容易理解并且更容易扩展。

  • 强大的用户面板:具有可视界面,可以控制一切,包括队列中的任务、当前任务、worker 的状态等等。

  • 按任务区分的日志:在面板中单独获得每个任务的输出日志。

  • Gevent worker:IO 密集型任务可以并行在同一个 Unix 进程中执行,以实现最大吞吐量。

  • 管理集成:CPU 密集型的任务可以通过单个命令行参数在多个 UNIX 进程之间拆分。

  • 任务管理:可以利用代码或者用户面板重试、重新入队和取消任务等。

  • 性能:批量作业排队,轻松作业分析。

  • 容易配置:MRQ 的每个参数都可以通过命令行参数或者配置文件进行配置。

  • 任务路由:和 Celery 一样,任务可以有默认的队列、过期时间和 ttl 值。

  • 内置的调度器:可以按照时间间隔和时间点对任务进行调度。

  • 策略:支持串行或者并行的处理队列,同时也支持一次性或者周期性的批量任务。

  • 子队列:简单的命令行来生成多个子队列,从 worker 的角度使用自动发现的方式。

  • 完备的测试体系:边界情况比如 worker 中断、Redis 失败等都在一个 docker 容器中测试。

  • 线程跟踪:可以调试查看每个 CPU 敏感的任务在每个线程消耗的时间。

  • 完备的内存泄露调试器:监视任务的内存泄露并且使用 objgraph 发现内存泄露。


加载中

评论(3)

老衲大海
国产开源作业调度工具TASKCTL已经开源,可关注:https://www.oschina.net/p/taskctl 了解更多。
不会飞的猪
不会飞的猪
mark
纵度飞行
纵度飞行
Mark下,一直想做消息队列

暂无资讯

暂无问答

脚本备份-rsync +inotify

/usr/bin/inotifywatch /usr/bin/inotifywait #!/bin/sh SRC=/opt/smc/xuanli DST=smc@*****:/opt/smc/xuanli /usr/bin/inotifywait -mrq -e modify,delete,create,attrib ${SRC} | while re...

2015/03/12 11:06
17
0
inotify实时同步脚本

inotify.sh #!/bin/bash src=/data/www/ /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src | while read file do /u...

2013/03/26 10:04
841
0
inotify-tools + rsync 实现实时文件同步关于exclude参数处理

网上搜索到一些相关参考文档,但是最郁闷的是发现inotify的--exclude参数不起作用:如需要忽略全部以.开头的临时文件,写成 --exclude '.*\..*'不起作用。 后来只能做个折中处理: 在inotify...

2013/11/17 21:18
1K
0
python项目实战:爬取东方财富热门股票数据

前言 今天为大家分享一个用Python爬取股票的今开 成交量 ,最高, 涨停, 内盘 ,成交额 ,委比 ,流通市值市盈率MRQ ,每股收益总股本 ,昨收 ,换手率, 跌停等一系列信息,能够帮你更好的分析股票,以...

04/07 21:26
0
0
基于linux-2.6.38.8内核的SDIO/wifi驱动分析

1、sdio接口层解析 SDIO总线 SDIO总线 和 USB总线 类似,SDIO也有两端,其中一端是HOST端,另一端是device端。所有的 通信 都是 由HOST端 发送 命令 开始的,Device端只要能解析命令,就可以...

2013/06/03 15:38
359
0
Mac公钥ssh登录Linux,并设置iTerm2记住服务器无密码快捷登录

Mac无密码ssh登录Linux,无需密码

2016/08/15 01:08
2.4K
1
unison+inotify实现目录数据实时双向同步

本人目前就只有两台机器需要同步,所以采用此方案,涉及到多台机器的时候,如果你不嫌麻烦,也可以用此方案。当然,不建议多台机器互相同步目录采用此方案,会有比较多的“意外问题”出现!还...

2016/07/20 17:46
123
0
linux文件同步+nginx负载均衡分流网站

1.主服务器安装rsync wget https://download.samba.org/pub/rsync/src/rsync-3.1.1.tar.gz tar -zxvf rsync-3.1.1.tar.gz cd rsync-3.1.1 ./configure --prefix=/usr/local/rsync make && ma...

2015/07/05 00:03
1K
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部