任务调度程序 Gearman

未知
Perl
Linux
2009-01-18
Gearman 正在参加 2019 年度最受欢迎开源中国软件评选,请投票支持!
Gearman 在 2019 年度最受欢迎开源中国软件评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票赢奖品
已投票

Gearman是一个分发任务的程序框架,可以用在各种场合,与Hadoop相比,Gearman更偏向于任务分发功能。它的 任务分布非常 简单,简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能,由于图片resize需要消耗大量计算资 源,因此需要调度到后端多台服务器执行,完成任务之后返回前端再呈现到界面。

Gearman 分布式任务实现原理上只用到2个字段,function name和data。function name即任务名称,由client传给job server, job server根据function name选择合适的worker节点来执行。data通常为执行任务所需的自定义的内容,比如简单的做法可以把需要执行的脚本当成data即可(当然要注 意其中的安全防范)。如果有多个worker可以处理同一个function name, 则job server会自动分配一个。当用于远程监控场景时,我们可以让每个worker注册成不同的业务名称,以达到方便控制每台worker节点的目的。

加载中

评论(0)

暂无评论

暂无资讯

8
回答
Instagram 架构分析笔记

by Fenng@dbanotes.net Instagram 团队上个月才迎来第 7 名员工,是的,7个人的团队。用户数量超过 1400 万,图片数量:...

2011/12/07 16:41
3
回答
用 Gearman 分发 PHP 应用程序的工作负载

尽管一个 Web 应用程序的大部分内容都与表示有关,但它的价值与竞争优势却可能体现在若干专有服务或算法方面。如果这类处理过于复杂或拖沓,最好是进行异步执行...

2010/02/02 16:52
1
回答
消息队列的异步处理(求代码)
harleyliao 的回答 2015/05/20 14:45
最佳答案
给你一个思路, 比如一个社交系统,在增加好友后,会触发以下逻辑 (1) 为搜索提供索引数据 (2) 为推荐系统提供数据 (3) 为feed系统提供数据 (4) 为统计系统提供数据 怎么把数据给其他系统,同时又不会因为其他系统出问题而影响了加好友的流程? (1) 在加好友成功之后,打印日志 ad...
1
回答
怎样看gearman Server端 有多少worker注册了

怎样看gearman Server端 有多少worker注册了,如果注册了同名的worker server是怎么处理的,其中有几个worker(name一...

2012/08/15 12:00
6
回答
gearman with http,用GET方式时怎样携带数据?

gearmand --http-port=8080 -r http 开启了http方式,后用POST方式,可以调用成功,POST数据内容即为workloa...

2014/07/24 14:00
1
回答
ActiveMQ 和 Gearman 有可比性吗??

ActiveMQ 和 Gearman 有可比性吗?? 最近公司要求做一个任务调度系统,这两者那一个更合适呢?

2012/11/13 18:59
3
回答
使用 Gearman 实现分布式处理

因为近来在研究 Mogilefs 的分布文件系统,在读读这个的源码,另外,为公司新设计了一个下载的系统,所以更加要深入研究一下,因为这个好东西是 Perl...

2010/09/08 15:37

没有更多内容

加载失败,请刷新页面

没有更多内容

【迁移2015-09-01 15:56】 Gearman(一)

简单介绍 Gearman译为“齿轮工”,从字面上看,他的职责就是通过齿轮将不同的组件结合在一起。作为一个任务分发架构,Gearman请求的处理过程涉及三个角色:Client -> Job Server -> Worker。...

2018/08/10 10:01
27
0
【迁移2015-09-06 10:49】 Gearman(二)

Simple Demo 下面是一个简单的仅仅是输出Hello world的实例。 创建一个Maven项目,在pom.xml文件中添加以下jar包 <!-- Java Gearman Service --> <dependency> <groupId>org.gearman.jgs</g...

2018/08/10 10:01
16
0
分布式计算框架Gearman和PHP Gearman扩展安装流程

一、安装包 Gearman下载地址(C语言版): https://launchpad.net/gearmand PHP Gearman扩展下载地址: http://pecl.php.net/get/gearman-1.1.0.tgz 二、安装流程 1、源代码编译安装Gearman...

2018/06/15 15:10
4
0
通过Gearman实现MySQL到Redis的数据复制

对于变化频率非常快的数据来说,如果还选择传统的静态缓存方式(File System等)展示数据,可能在缓存的存取上会有很大的开销,并不能很好的满足需要,而Redis这样基于内存的NoSQL数据库,就...

2015/12/04 10:11
133
0
使用Gearman提高自动化运维的远程执行速度

使用Gearman快速执行远程命令,响应速度远远快于ssh,适用于提高自动化运维的执行速度。

2015/04/17 22:09
217
0
Gearman异步服务安装使用

php异步处理服务

2017/08/07 17:50
41
0
Gearman及python客户端安装和简单试用

Gearman 简介 Gearman是一个用来把工作委派给其他机器、分布式的调用更适合做某项工作的机器、并发的做某项工作在多个调用间做负载均衡、或用来在调用其它语言的函数的系统。 Gearman提供了一...

2013/01/19 13:23
689
0
如何在基于 Docker 的 PHP 环境安装 Gearman 扩展

> 在 pecl 中的扩展 [gearman](https://pecl.php.net/package/gearman) 已经很久没有更新,最新是 2013 年发布的 gearman-1.1.2.tgz,该版本只支持 PHP7 以下的版本。如果想 在 PHP7.0+ 的环...

2018/03/07 17:47
433
1
Gearman及python客户端安装和简单试用

Gearman 简介 Gearman是一个用来把工作委派给其他机器、分布式的调用更适合做某项工作的机器、并发的做某项工作在多个调用间做负载均衡、或用来在调用其它语言的函数的系统。 Gearman提供了一...

2014/03/27 17:32
1K
2
通过Gearman实现MySQL到Redis的数据同步

对于变化频率非常快的数据来说,如果还选择传统的静态缓存方式(Memocached、File System等)展示数据,可能在缓存的存取上会有很大的开销,并不能很好的满足需要,而Redis这样基于内存的NoS...

2013/08/01 17:17
322
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部