分布式任务调度云系统 Juice

GPL
Java
跨平台
2017-04-19
王练

Juice 是沪江( hujiang )学习系统项目组( LMS )所开发的一套基于 Mesos Framework 的分布式任务调度云系统,基于此系统,可以实现任何作业型任务的调度工作。

耗时计算型任务处理在沪江一直是个持续的需求,例如多媒体转码、Map Reduce、密集计算等等任务。在 Juice 出现以前,各个项目组各显神通,开发着不同的任务处理系统,不但耗费人力,还特别耗费服务器。  Juice 利用 Mesos 集群空闲的计算能力,负责统一的接口返回和任务查询功能,其优点如下:

  • 基于 Mesos 集群,最大程度利用空闲资源完成耗时计算

  • 异步调度,并提供结果查询和回调两种方法获取执行结果

  • 分布式管理,所有耗时任务都在资源池中无状态调度。

  • 任务查询,目前只开放通过接口查询任务的状态和结果。

How To Use Juice

创建任务步骤:

  • 开发能够使用 Docker 启动的任务(主业务逻辑)并 PUSH 到 Docker 镜像仓库。

  • 调用 Juice API 发起任务

  • 等待回调结果,或主动 fetch 结果

Juice最适合运行Docker任务,通常做法将Jar包打入一个Docker镜像,提交此镜像到dockerhub上,提交一个Container模式的任务到到Juice,其中参数dockerImage为Docker镜像名。
Juice会自动的寻找一个合适的Agent来执行此任务,调用方不必关心在哪个Host上执行,而只需要关心任务是否执行成功即可。
加载中

评论(3)

老衲大海
国产开源作业调度工具TASKCTL已经开源,可关注:https://www.oschina.net/p/taskctl 了解更多。
金贞花
金贞花
楼上说的 好有艺术感
james_you
james_you
懂了,分布式jar包执行系统

暂无资讯

暂无问答

TED记录

观看过的 TED的纪录

2015/12/26 22:18
9
0
JsonDB的一个使用实例

JsonDB是一个python实现的基于JSON格式的轻量级数据库开源项目,你可以通过github进行下载和安装,项目地址是:https://github.com/hujiang001/jsonDB/ 。 作者提供了完整的参考文档,而且是...

2016/11/05 13:44
319
0
【Java】复习j2se

枚举enum

2016/02/16 21:14
6
1
iKcamp|基于Koa2搭建Node.js实战(含视频)☞ 处理静态资源

# 处理静态资源 > 无非花开花落,静静。 ## 指定静态资源目录 这里我们使用第三方中间件: `koa-static` ### 安装并使用 安装 `koa-static`: ```js npm i koa-static -S ``` 修改 `app.js`...

2018/01/12 11:11
15
0
java框架学习日志-2

上篇文章(java框架学习日志-1)虽然跟着写了例子,也理解为什么这么写,但是有个疑问,为什么叫控制反转?控制的是什么?反转又是什么? 控制其实就是控制对象的创建。 反转与正转对应,正转...

2018/12/12 00:06
17
0
2.使用集合

2.1数组 1array ![输入图片说明](https://static.oschina.net/uploads/img/201702/08174931_JMEv.png "在这里输入图片标题") 添加相同类型元素: 1.先把常量的值赋给变量 ~~~~~~~~~~~~~~ 9...

2017/02/08 17:45
1
0
日语汉字发音规律

http://bulo.hujiang.com/u/14652738/diary/251526/ 汉字读音在线速查: http://akanjidict.org/ ★日语汉字发音规律之一:凡是在汉语中是前鼻音的,在日语中基本为拨音;凡是在汉语中是后鼻...

2016/11/03 16:02
55
0
The Mid-Autumn Festival

The Mid-Autumn Festival is a very important Chinese festival. It’s on the fifth of August. We can hang lanterns in the house. In the evening, we have a big dinner. Look, there ...

2016/09/14 19:07
7
0
How to catch a cold - a way you will never fail

>Why you need to catch a cold? I don't know, maybe you need to get some sympathy from others for some stupid reasons. maybe catching a cold will give you a reason to sleep a who...

2013/10/31 11:33
37
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部